اعتلاج شرطي

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي $Y$ بالنظر إلى أن قيمة متغير عشوائي آخر $X$ معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا $Y$ مشروطة $X$ مكتوب مثل $\mathrm{H}(Y|X)$ .

تعريف

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة $X$ و $Y$ . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة $\mathrm{H}(X,Y)$. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية $\mathrm{H}(X)$ ، مع انتروبيا الحمراء إنتروبيا مشروطة $\mathrm{H}(X|Y)$ . الدائرة على اليمين (الأزرق والبنفسجي) $\mathrm{H}(Y)$ ، مع المجال الأزرق $\mathrm{H}(Y|X)$ . البنفسج هو المعلومات المتبادلة $\mathrm{I}(X;Y)$ .

الانتروبيا الشرطية $Y$ بفرض $X$ يعرف بـ

$\mathrm{H}(Y|X)=-{\sum }_{x\in \mathcal{X},y\in \mathcal{Y}}p(x,y)\log \frac{p(x,y)}{p(x)}$ (Eq.1)

حيث $\mathcal{X}$ و $\mathcal{Y}$ تدل على مجموعات الدعم $X$ و $Y$ .

ملاحظة: من المعتاد أن تكون التعابير $0\log 0$ و $0\log c/0$ للإصلاح $c>0$ يجب أن تعامل على أنها تساوي الصفر. هذا بسبب $\underset{\theta \to 0^{+}}{lim}\theta \log c/\theta =0$ و $\underset{\theta \to 0^{+}}{lim}\theta \log \theta =0$

شرح بديهي للتعريف  : حسب التعريف ، $H(Y|X)=\mathbb{E}(f(X,Y))$ حيث $f:(x,y)\to -\log (p(y|x))$. $f$ مرتبطة بـ $(x,y)$ محتوى المعلومات $(Y=y)$ بفرض $(X=x)$ وهو مقدار المعلومات اللازمة لوصف الحدث $(Y=y)$ بفرض $(X=x)$ . وفقا لقانون الأعداد الكبيرة، $H(Y|X)$ هي المعنى الحسابي لعدد كبير من التحويلات المستقلة$f(X,Y)$.

انظر أيضًا

• إنتروبي (نظرية المعلومات)
• معلومات متبادلة
• دالة الإمكان