نظرية التقدير

نظرية التقدير Estimation theory هي فرع من علوم الإحصاء ومعالجة الإشارات التي تتعامل مع تقدير القيم من المَعلَمَات Parameters بناء على بيانات مقاسة / التجريبية التي تحتوي على عنصر عشوائي. المَعلَمَات تصف وضع مادي ضمني بطريقة أن قيمها تؤثر على توزيع البيانات المقاسة. المقدّر Estimator يحاول أن يضع قيم تقريبة للمَعلَمَات المجهولة باستخدام القياسات.

على سبيل المثال، من المرغوب فيه لتقدير نسبة من السكان من الناخبين الذين سيصوتون لصالح مرشح معين. هذه النسبة هي المعلمة غير قابلة للرصد، ويستند هذا التقدير على عينة عشوائية صغيرة من الناخبين. أو، على سبيل المثال، في الرادار يكون الهدف هو تقدير المدى أجسام (الطائرات والقوارب، وغيرها) عن طريق تحليل توقيت العبور في الاتجاهين للأصداء الواردة من النبضات المرسلة. حيث أن النبضات المنعكسة هي حتما جزء لا يتجزأ من إشارات الضوضاء الكهربائية، فإن قيمها المقاسة توزع عشوائيا بحيث يجب تقدير وقت العبور.

في نظرية التقدير، يفترض أن البيانات المقاسة تكون عشوائية مع توزيع احتمالي معتمد على المَعلَمَات ذات الاهتمام. على سبيل المثال، في نظرية الاتصال الكهربائية، غالبا ما ترتبط القياسات التي تحتوي على معلومات تتعلق المَعلَمَات ذات الاهتمام مع إشارة ضوضاء. بدون العشوائية، أو الضجيج، فإن المشكلة تكون حتمية ولن تكون هناك حاجة تقدير.

عملية التقدير

الغرض كله من نظرية تقدير هو التوصل إلى مقدر، ويفضل أن يكون قابلاً للتنفيذ ويمكن استخدامه فعليا. المقدر يأخذ البيانات المقاسة كمدخل وينتج تقدير للمعلمات. من المفضل أيضا استخلاص مقدر ذو خاصية مثالية. مثالية المقدر عادة ما تشير إلى تحقيق الحد الأدنى من متوسط الخطأ على نطاق من بعض فئات المقدرات، على سبيل المثال، المقدر غير المتحيز ذى أقل تباين. في هذه الحالة، فإن الطبقة هي مجموعة من المقدرات غير المتحيزة، وقيمة متوسط الخطأ هي قيمة التباين (متوسط تربيعية الخطأ بين قيمة التقدير والمعلمة). ومع ذلك، المقدرات الأمثل لا وجود لها دائما.

هذه هي الخطوات العامة للتوصل إلى مقدر:

• من أجل التوصل إلى مقدر المطلوب، فمن الضروري أولا تحديد التوزيع الاحتمالي للبيانات المقاسة، ومدى ارتباط التوزيع بالمعلمات المجهولة ذات الصلة. في كثير من الأحيان، قد يكون التوزيع الاحتمالي مشتق من النماذج المادية التي تظهر بوضوح علاقة البيانات المقاسة بالمعلمات المطلوب تقديرها، وكيف تتلف البيانات عن طريق أخطاء عشوائية أو ضوضاء. في حالات أخرى، يتم «افتراض» التوزيع الاحتمالي للبيانات المقاسة ببساطة، على سبيل المثال، على أساس الإلمام بطبيعة البيانات المقاسة و/أو الملائمة التحليلية.
• بعد اتخاذ قرار بناء على نموذج احتمالي، فإنه من المفيد العثور على القيود المفروضة على المقدر. هذا القيد، على سبيل المثال، يمكن العثور من خلال حد كريمر-راو Cramér–Rao bound.
• تاليا، المقدر يحتاج إلى تطوير أو تطبيق في حالة وجود مقدر معروف وصالح لهذا النموذج. لا بد من اختبارالمقدر إزاء القيود لتحديد ما إذا كان هو المقدر الأمثل (وإذا كان الأمر كذلك فإنه لا مقدر أخرى سوف يؤدي بشكل أفضل منه).
• وأخيرا، يمكن تشغيل وإجراء تجارب محاكاة باستخدام مقدر لاختبار أدائها.

بعد الوصول إلى المقدر، يمكن أن تبين البيانات الحقيقية أن النموذج المستخدم للتوصل إلى المقدر غير صحيحة، مما قد يتطلب تكرار هذه الخطوات لإيجاد مقدر جديد. والمقدر الغير قابل للتنفيذ أو غير المجدي يمكن إلغاءه ويمكن بدأ هذه العملية من جديد.

وباختصار، فإن المقدر يقدر المعلمات الخاص بنموذج مادي على أساس البيانات المقاسة.

أساسيات

الأول هو عبارة عن مجموعة من العينات الإحصائية مأخوذة من متجهات عشوائية (RV) من حجم N. بعد وضعها في متجه

$\mathbf{x}=\left[\begin{array}{c}x[0]\\ x[1]\\ ⋮\\ x[N-1]\end{array}\right].$

ثانيا، لدينا المعلمات M المقابلة

$\mathit{\theta }=\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_M\end{array}\right],$

والتي تحتاج إلى أن تنشأ مع دالة الكثافة الاحتمالية (د.ك.ا) المستمرة أو تظيرنها دالة الكتلة الاحتمالية المنفصلة

$p(\mathbf{x}|\mathit{\theta }).$

ومن الممكن أيضا للمعلمات أنفسهم أن يكون لديهم توزيع احتمالي (على سبيل المثال، إحصائيات بايزي). ومن ثم من الضروري تحديد احتمال بايزي

$\pi (\mathit{\theta }).$

بعد أن يتم تشكيل النموذج، يصبح الهدف من ذلك هو تقدير المعلمات، وترمز عادة $\hat{\mathit{\theta }}$، حيث تشير «القبعة» إلى التقدير. وهناك مقدر واحد مشترك هو مقدر متوسط مربع الخطأ الأدنى Minimum mean squared error (MMSE)، الذي يستخدم خطأ بين المعلمات المقدرة والقيمة الفعلية للمعلمات

$\mathbf{e}=\hat{\mathit{\theta }}-\mathit{\theta }$

كأساس للمثالية. ويتم تربيع وتقليل مصطلح الخطأ أجل مقدر MMSE.

مقدرون

هذا مسرد للمقدرون وطرق التقدير الأكثر شياعاً، والموضوعات المتعلقة بها:

• مقدر الإمكان الأعظم
• مقدر بايز
• طريقة العزوم
• حد كرايمر راو
• متوسط مربع الخطأ الأدنى ويعرف أيضا بخطأ بايز المربعات الصغرى
• تعظيم الاقتران البعدي
• المقدر غير متحيز ذى أقل تباين
• أحسن مقدر خطي غير متحيز
• مقدر غير متحيز
• مرشح الجسيم
• مونتي كارلو سلسلة ماركوف
• مرشح كالمان
• مرشح كالمان المجموعة
• مرشح وينر

أمثلة

ثابت مجهول في الضجيج الأبيض الغوصي الجمعي

لننظر في إشارة متقطعة وردت، $x[n]$, من $N$ من عينات مستقلة التي تتألف من ثابت مجهول $A$ مع ضجيج أبيض غوصي جمعي (AWGN) $w[n]$ مع تباين معروف ${\sigma }^2$ (أي، $\mathcal{N}(0,{\sigma }^2)$). يعني أن المعلمة المجهول هي فقط $A$. النموذج للإشارة يكون

$x[n]=A+w[n]n=0,1,\dots ,N-1$

اثنان من المقدرون (الكثر) الممكنة هما:

• ${\hat{A}}_1=x[0]$
• ${\hat{A}}_2=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$ والذي هو متوسط العينة

كل من هذه المقدرات لديها متوسط $A$, التي يمكن أن تظهر من خلال أخذ القيمة المتوقعة من كل مقدر

$\mathrm{E}[{\hat{A}}_1]=\mathrm{E}[x[0]]=A$

و

$\mathrm{E}[{\hat{A}}_2]=\mathrm{E}[\frac{1}{N}\sum _{n=0}^{N-1}x[n]]=\frac{1}{N}[\sum _{n=0}^{N-1}\mathrm{E}[x[n]]]=\frac{1}{N}[NA]=A$

عند هذه النقطة، فإن هذان المقدران يظهران وكأنهما يعطين نفس الأداء. ومع ذلك، فإن الفارق بينهما يصبح واضحا عند مقارنة التباينات.

$\mathrm{v}\mathrm{a}\mathrm{r}({\hat{A}}_1)=\mathrm{v}\mathrm{a}\mathrm{r}(x[0])={\sigma }^2$

و

$\mathrm{v}\mathrm{a}\mathrm{r}({\hat{A}}_2)=\mathrm{v}\mathrm{a}\mathrm{r}(\frac{1}{N}\sum _{n=0}^{N-1}x[n])\stackrel{i}{=}\frac{1}{N^2}[\sum _{n=0}^{N-1}\mathrm{v}\mathrm{a}\mathrm{r}(x[n])]=\frac{1}{N^2}[N{\sigma }^2]=\frac{{\sigma }^2}{N}$

يبدو أن متوسط العينة هو أفضل مقدر لأن التباين الخاص فيه يكون أقل عن كل N> 1.

الإمكان الأعظم

المقالة الرئيسية: إمكان أعظم

بالاستمرار بالمثال باستخدام مقدر الإمكان الأعظم، دالة الكثافة الاحتمالية (د. ك. ا) من ضوضاء عينة واحدة $w[n]$ هي

$p(w[n])=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{1}{2{\sigma }^2}w[n{]}^2)$

واحتمال $x[n]$ يصبح ($x[n]$ ويمكن اعتباره $\mathcal{N}(A,{\sigma }^2)$)

$p(x[n];A)=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{1}{2{\sigma }^2}(x[n]-A{)}^2)$

بناء على عدم العلاقة، احتمال $\mathbf{x}$ يصبح

$p(\mathbf{x};A)=\prod _{n=0}^{N-1}p(x[n];A)=\frac{1}{{(\sigma \sqrt{2\pi })}^N}\exp (-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A{)}^2)$

وبحساب اللوغاريتم الطبيعي ل (د. ك. ا)

$\ln p(\mathbf{x};A)=-N\ln (\sigma \sqrt{2\pi })-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A{)}^2$

ومقدر الإمكان الأعظم هو

$\hat{A}=\arg max\ln p(\mathbf{x};A)$

ويحساب المشتقة الأولى لدالة الإمكان اللوغاريتمية

$\frac{\partial }{\partial A}\ln p(\mathbf{x};A)=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}(x[n]-A)]=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]$

ووضع قيمتها إلى الصفر

$0=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]=\sum _{n=0}^{N-1}x[n]-NA$

النتائج من مقدر الإمكان الأعظم

$\hat{A}=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$

والتي هي ببساط متوسط العينة من هذا المثال نجد أن متوسط العينة هو مقدر الإمكان الأعظم ل $N$ عينات ذات معلمة ثابتة ومجهولة ومشوشة ب AWGN.

حد كرايمر-راو الأقل

لمعلوماتٍ أكثر: حد كرايمر-راو

لإيجاد حد كرايمر-راو الأقل لمقدر متوسط العينة، فأنه من الضروري إيجاد رقم معلومات فيشر

$\mathcal{I}(A)=\mathrm{E}({[\frac{\partial }{\partial \theta }\ln p(\mathbf{x};A)]}^2)=-\mathrm{E}[\frac{{\partial }^2}{\partial {\theta }^2}\ln p(\mathbf{x};A)]$

وبالأخذ من أعلاه

$\frac{\partial }{\partial A}\ln p(\mathbf{x};A)=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]$

وبحساب المشتقة الثانية

$\frac{{\partial }^2}{\partial A^2}\ln p(\mathbf{x};A)=\frac{1}{{\sigma }^2}(-N)=\frac{-N}{{\sigma }^2}$

وإيجاد القيمة السالبة المتوقعة يصبح بسيطاً لأنها الآن ثابت حتمي

$-\mathrm{E}[\frac{{\partial }^2}{\partial A^2}\ln p(\mathbf{x};A)]=\frac{N}{{\sigma }^2}$

وأخيراً توضع معلومات فيشر:

$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{A})\ge \frac{1}{\mathcal{I}}$

وهذا ينتج:

$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{A})\ge \frac{{\sigma }^2}{N}$

بمقارنة هذا تباين متوسط العينة (التي سبق تحديدها) يظهر أن متوسط العينة يساوي حد كرايمر-راو الأقل لجميع قيم $N$ و$A$.

وبكلمات أخرى، فأن متوسط العينة هو (فريدة من نوعها بالضرورة) المقدر الأكفأ، وبالتالي المقدر غير متحيز ذى أقل تباين بالإضافة لكونه مقدر الإمكان الأعظم.

الحد الأقصى للتوزيع المنتظم

المقالة الرئيسية: مسألة الدبابة الألمانية

واحد من أبسط الأمثلة غير تافهة من التقدير هو تقدير الحد الأقصى لتوزيع موحد. فهو يستخدم كتمارين في الفصول الدراسية والتدريب العملي على توضيح المبادئ الأساسية لنظرية التقدير. علاوة على ذلك، في حالة التقدير استنادا إلى عينة واحدة، فإنه يظر مسائل فلسفية وسوء فهم محتمل في استخدام مقدر الإمكان الأعظم ومقدر دالة الإمكان. لنأخذ توزيع متقطع منتظم $1,2,\dots ,N$ مع حد أقصى مجهول، المقدر المنتظم غير المتحيز ذى اقل تباين للحد الأقصى معطى بواسطة

$\frac{k+1}{k}m-1=m+\frac{m}{k}-1$

حيث m هي حد العينة الأقصى وkهي حجم العينة، أخذ العينات بدون تبديل. هذه المسألة تعرف عادة بمسألة الدبابة الألمانية نظراً لتطبيق أقصى تقدير لتقديرات إنتاج الدبابة الألمانية خلال الحرب العالمية الثانية. يمكن فهم المعادلة بشكل حدسي كما يلي:

«الحد الأقصى للعينة بالإضافة إلى الفجوة بين متوسط الملاحظات في العينة»,

وأضيفت الفجوة للتعويض عن التحيز السلبي للحد الأقصى للعينة وكمقدر للحد الأقصى لمجتمع العينات. هذا عنده تباين

$\frac{1}{k}\frac{(N-k)(N+1)}{(k+2)}\approx \frac{N^2}{k^2}\text{ for small samples }k\ll N$

لذا فإن الانحراف المعياري تقريبا $N/k$، لحجم العينات متوسط حجم الفجوة بين العينات؛ مقارنة $\frac{m}{k}$ أعلاه. ويمكن رؤية هذا على أنه حالة بسيطة جدا من تقدير المسافة القصوى maximum spacing estimation. الحد الأقصى للعينة هو مقدر الإمكان الأعظم للحد الأقصى لمجتمع العينات population maximum ، ولكن، كما نوقش أعلاه، هو منحاز.

تطبيقات

العديد من المجالات تتطلب استخدام نظرية التقدير. في ما يلي بعض من هذه المجالات: (ولكنها لا تقتصر عليها بأي حال من الأحوال):

• تفسير التجارب علمية
• معالجة الإشارات
• التجارب السريرية
• استطلاعات الرأي
• ضبط الجودة
• الاتصالات السلكية واللاسلكية
• إدارة المشاريع
• هندسة البرمجيات
• نظرية التحكم (التحكم التكيفي على وجه الخصوص)
• نظام شبكة كشف التسلل
• تقرير المدار

البيانات المقاسة من المحتمل أن تكون عرضة للضوضاء أو عدم اليقين، ومن خلال الاحتمالية الإحصائية يتم البحث عن الحلول المثلى لاستخراج قدر أكبر من المعلومات من البيانات قدر الإمكان.

انظر أيضاً

• *
• مقدر، تحيز المقدر
• نظرية المعلومات
• مرشح كالمان
• سلسلة ماركوف مونتي كارلو (MCMC)