الانحدار متعدد الحدود

الانحدار متعدد الحدود

الانحدار متعدد الحدود أو كثير الحدود هو نوع من الانحدار الخطي حيث تعتمد العلاقة بين المتغير x والمتغير y على عدد nth درجة متعدد الحدود. والانحدار متعدد الحدود يمثل علاقة غير خطية بين المتغير x ومتوسط المتغير y المقابل، ويرمز ب E(y | x). ويستخدم لوصف الظاهرة غير الخطية مثل معدل نمو الأنسجة، توزيع نظائر الكربون في رواسب البحيرات، وتطور الأمراض الوبائية. بالرغم من أن الانحدار متعدد الحدود يمثل علاقة غير خطية للبيانات، ولتقدير المشكلة الإحصائية الخطية، بمعنى إن دالة الانحدار الخطية في المتغيرات غير المعلومة التي تقدر وتحسب من البيانات. لذلك فإن الانحدار متعدد الحدود يعتبر نوع خاص من الانحدار الخطي المتعدد. ونتائج توسع متعدد الحدود للمتنبئات الأساسية تعرف بمميزات التفاعل. حيث تستخدم تلك المميزات أيضا في اعداد التصنيفات.

التاريخ

الانحدار متعدد الحدود تمثل نماذجه باستخدام طريقه اقل فرق مربع للقيم للقيم.تلك الطريقة تقلل من التباين لمميزات التفاعل المشاركة من المعاملات، في ظل ظروف نظرية جاوس-ماركوف.تم نشر طريقه أقل فرق مربع للقيم بواسطه ليجندر عام 1805 وجاوس عام 1809.وظهر أول تصميم لتجربه الانحدار متعدد الحدود في البحث العلمي لجيرموني عام 1815. في القرن العشرين، الانحدار متعدد الحدود كان له دورهام في تحليل الانحدار مع مزيد من التركيز علي التصميم والاستنتاج. وفي الفترة الأخيره، تم استكمال نماذج متعدده الحدود عن طريق وسائل أخرى، مع نماذج غير متعدد الحدود لها مميزات لبعض أنواع المشاكل.

تعريف ومثال

الانحدار متعدد الحدود المكعب يناسب مجموعه البيانات. النطاق الموثق يمثل 95% منه باستخدام طريقه Scheffé

.

هدف تحليل الانحدار هو عرض القيمة المتوقعه للمتغير Y بدلاله المتغيرات الغير معتمده X.في الانحدار الخطي البسيط، النموذج: $y=a_0+a_{1}x+\epsilon ,$ هوالمستخدم، حيث ƹ خطأ عشوائي غير ملموس حقيقيا مع متوسط الصفر مشروطا برقم مفرد المتغير X.في هذا النموذج، لكل وحده زياده لقيمه المتغير X, القيمة المتوقعه للمتغير Y تزيد ب a1 وحده.في العديد من الحالات، مثل وجود علاقة خطية قد لا تصمد. على سبيل المثال، إذا كنا نصمم العائد من التركيب الكيميائي من حيث درجه الحرارة التي يحدث بها التركيب.قد نجد أن العائد يحسن من خلال زياده المبالغ المخصصه لكل وحده زياده في درجه الحرارة.في هذه الحالة، نحن نقترح نموذجا من الدرجة الثانية من النموذج:$y=a_0+a_{1}x+a_2{x}^2+\epsilon .$ في هذا النموذج، عندما تزداد درجه الحرارة من X الي X+1 وحده، العائد المتوقع يتغير بمعدل a1 + 2a2x.حقيقه ان تغيير العائد يعتمد علي المتغير X هي من تجعل العلاقة غير خطيه(هذا لا يجب الخلط بينه وبين القول أن هذا الانحدار غير خطي، بل علي العكس، مازالت حاله من الانحدار الخطي). في العموم، يمكن تصميم القيمة المتوقعه للمتغير Y كمتعددالحدود من الدرجة n, محققا نموذج الانحدار متعدد الحدود العام.

$y=a_0+a_{1}x+a_2{x}^2+a_3{x}^3+\cdots +a_n{x}^n+\epsilon .$.

للتوضيح، كل النماذج خطيه من حيث نظريه الاستنتاج حيث أن داله الانحدار خطيه بدلاله المعاملات الغير معلومه ao, a1 لذلك، لتحليل أقل فرق مربع للقيم، المشاكل الحسابية والاستنتاجيه من الانحدار متعدد الحدود يمكن التعامل معه بشكل كامل باستخدام طريقه الانحدار المتعدد. يتم ذلك عن طريق علاج x,x2 باعتبارها متغيرات مستقلة متميزة في نموذج الانحدار المتعدد.

شكل مصفوفة وحساب التقديرات

نموذج الانحدار متعدد الحدود:$y_i=a_0+a_1{x}_i+a_2{x}_i^2+\cdots +a_m{x}_i^m+{\epsilon }_i(i=1,2,\dots ,n)$ يمكن التعبير عنها بشكل مصفوفة من حيث مصفوفة تصميم $\mathbf{X}$, متجه الاستجابة $\overrightarrow{y}$ , ومتجه المعلمة $\overrightarrow{a}$ , ومتجه$\overrightarrow{\epsilon }$ من الاخطاء عشوائية.الصف ithمن $\mathbf{X}$ و $\overrightarrow{y}$ يحتوي على قيم X,Y للحصول على نموذج بيانات ith. ثم يمكن أن تكون مكتوبة في النموذج كنظام المعادلات الخطية.

$\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{ccccc}1& x_1& x_1^2& \dots & x_1^m\\ 1& x_2& x_2^2& \dots & x_2^m\\ 1& x_3& x_3^2& \dots & x_3^m\\ ⋮& ⋮& ⋮& & ⋮\\ 1& x_n& x_n^2& \dots & x_n^m\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ ⋮\\ a_m\end{array}\right]+\left[\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ {\epsilon }_3\\ ⋮\\ {\epsilon }_n\end{array}\right]$

وعند استخدام تدوين المصفوفة النقية كما هو مكتوب: $\overrightarrow{y}=\mathbf{X}\overrightarrow{a}+\overrightarrow{\epsilon }.$ تقدير المتجه لمعاملات الانحدار متعدد الحدود (باستخدام تقدير المربعات الصغرى) هو: $\hat{\overrightarrow{a}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\overrightarrow{y}.$ هذا هو الحل الوحيد لمربعات الصغيرة حيث ان $\mathbf{X}$ لديها أعمدة خطيا مستقلة.حيث ان $\mathbf{X}$ هي مصفوفة Vandermonde وهذا يضمن لعقد المقدمة التي على الأقل m + 1 من x_i ان تكون مميزة (بشرط ان m < n).

التفسير

على الرغم من أن الانحدار متعدد الحدود هو حالة خاصة من الانحدار الخطي المتعدد من الناحية الفنية، إلا أن تفسير نموذج الانحدار متعدد الحدود المجهزة يتطلب منظورا مختلفا إلى حد ما. غالباً ما يصعب تناسب تفسير المعاملات الفردية في انحدار متعدد الحدود، بما إن Monomials الاساسية يمكن أن تكون مرتبطة إلى حد كبير.على سبيل المثال، x,x² يكون الارتباط بينهما حول0.97 .عندما يتم X توزيعها بشكل موحد على الفاصل الزمني (0, 1). على الرغم من أن العلاقة يمكن أن تخفض باستخدام كثيرات الحدود المتعامدة، فهو عموما أكثر غنى بالمعلومات للنظر في وظيفة الانحدار المجهزة ككل. ثم يمكن استخدام النقطة الحكيمة أو نطاقات الثقة في وقت واحد لتوفير شعور من عدم اليقين في تقدير دالة الانحدار.

النهج البديلة

الانحدار متعدد الحدود هو أحد الأمثلة على تحليل الانحدار باستخدام دالات أساسية لنموذج علاقة وظيفية بين كميتين. وبشكل أكثر تحديدا فإنه يستبدل $x\in R^{d_x}$ في الانحدار الخطي مع أساس متعدد الحدود$\varphi (x)\in R^{d_{\varphi }}$ على سبيل المثال $[1,x]\stackrel{\varphi }{\to }[1,x,x^2,...,x^d]$. ومن عيوب قواعد تعدد الحدود أن المهام الأساسية «غير محلية» مما يعني أن قيمة المجهزة y عند قيمة معينة x = x₀ تعتمد بقوة على قيم البيانات مع x أبعد ما تكون عن x₀

في الإحصاءات الحديثة، تستخدم دالات تعدد الحدود جنبا إلى جنب مع دالات أساسية جديدة مثل منحنيات، وظائف القاعدة الشعاعية،والمويجات. وتوفر هذه العوائل من الدالات كل على حدة تناسب أكثر شحيح جداً للعديد من أنواع البيانات الهدف من الانحدار متعدد الحدود هو في تصميم نموذج لعلاقة غير خطية بين المتغيرات المستقلة وغير المستقلة (من الناحية الفنية، بين المتغير المستقل والمتوسط الشرطي للمتغير التابع). هذا مماثل للهدف المتمثل في النهج الغير حدودي الانحدار، الذي يهدف إلى التقاط علاقات الانحدار الغير خطية. ولذلك يمكن أن تكون النهج الغير حدودي الانحدار مثل التجانس بدائل مفيدة لانحدار متعدد الحدود. تستخدم بعض هذه الأساليب استخدام النموذج المحلي من الانحدار متعدد الحدود الكلاسيكية و من مميزات الانحدار متعدد الحدود التقليدية أنه يمكن استخدام إطار استنتاجي الانحدار المتعدد (وهذا حاصل أيضا عند استخدام العوائل الأخرى من الدالات كل على حدة مثل المنحنيات).

والبديل الأخير هو استخدام نماذج kernelized مثل دعم متجه الانحدار مع نواة متعدد الحدود

ملاحظات

مايكروسوفت اكسل يستخدم الانحدار متعدد الحدود عند توصيل خط اتجاه لنقاط البيانات على رسم مبعثر XY.