اعتلاج شرطي

في نظرية المعلومات، تحدد الإنتروبيا الشرطية (أو الالتباس equivocation) كمية المعلومات اللازمة لوصف نتيجة متغير عشوائي $Y$ بالنظر إلى أن قيمة متغير عشوائي آخر $X$ معروف. هنا، يتم قياس المعلومات في شانون، ناتس، أو hartleys. انتروبيا $Y$ مشروطة $X$ مكتوب مثل $\mathrm{H}(Y|X)$ .

تعريف

ملف:Entropy-mutual-information-relative-entropy-relation-diagram.svg

يوضح مخطط فين العلاقات المضافة والطرحية مقاييس المعلومات المختلفة المرتبطة بالمتغيرات المرتبطة $X$ و $Y$ . المنطقة التي تحتوي عليها كلتا الدائرتين هي الانتروبيا المشتركة $\mathrm{H}(X,Y)$. الدائرة على اليسار (الأحمر والبنفسجي) هي الإنتروبيا الفردية $\mathrm{H}(X)$ ، مع انتروبيا الحمراء إنتروبيا مشروطة $\mathrm{H}(X|Y)$ . الدائرة على اليمين (الأزرق والبنفسجي) $\mathrm{H}(Y)$ ، مع المجال الأزرق $\mathrm{H}(Y|X)$ . البنفسج هو المعلومات المتبادلة $\mathrm{I}(X;Y)$ .

الانتروبيا الشرطية $Y$ بفرض $X$ يعرف بـ

$\mathrm{H}(Y|X)=-\sum _{x\in {𝒳},y\in {𝒴}}p(x,y)\log \frac{p(x,y)}{p(x)}$ (Eq.1)

حيث ${𝒳}$ و ${𝒴}$ تدل على مجموعات الدعم $X$ و $Y$ .

ملاحظة: من المعتاد أن تكون التعابير $0\log 0$ و $0\log c/0$ للإصلاح $c>0$ يجب أن تعامل على أنها تساوي الصفر. هذا بسبب $\underset{\theta \to 0^{+}}{\lim }\theta \log c/\theta =0$ و $\underset{\theta \to 0^{+}}{\lim }\theta \log \theta =0$

شرح بديهي للتعريف  : حسب التعريف ، $H(Y|X)=\mathbb{𝔼}(f(X,Y))$ حيث $f:(x,y)\to -\log (p(y|x))$. $f$ مرتبطة بـ $(x,y)$ محتوى المعلومات $(Y=y)$ بفرض $(X=x)$ وهو مقدار المعلومات اللازمة لوصف الحدث $(Y=y)$ بفرض $(X=x)$ . وفقا لقانون الأعداد الكبيرة، $H(Y|X)$ هي المعنى الحسابي لعدد كبير من التحويلات المستقلة$f(X,Y)$.

انظر أيضًا

• إنتروبي (نظرية المعلومات)
• معلومات متبادلة
• دالة الإمكان