مصدر المعلومات (رياضيات)

في الرياضيات تكون مصدر المعلومات عبارة عن متسلسلة للمتغيرات العشوائية تتراوح في الأبجدية المحدودة للحرف Γ, ممتلكةً للتوزيعات المحطية stationary distribution.

إن عدمية اليقين, أو معدل الإنتروبية, entropy rate لمصدر المعلومات تعرف بالطريقة التالية

$H\{\mathbf{X}\}=\underset{n\to \mathrm{\infty }}{lim}H(X_n|X_0,X_1,\dots ,X_{n-1})$

حيث أن

$X_0,X_1,\dots ,X_n$

هي متسلسلة لمتغير عشوائي تعرف بمصدر المعلومات , و

$H(X_n|X_0,X_1,\dots ,X_{n-1})$

هي إنتروبية المعلومات الشرطية information entropy لمتسلسلة المتغير العشوائي. و بشكل متكافئ, تكون واحدة منها

$H\{\mathbf{X}\}=\underset{n\to \mathrm{\infty }}{lim}\frac{H(X_0,X_1,\dots ,X_{n-1},X_n)}{n+1}.$

المراجع

• روبرت بي. آش، نظرية المعلومات, (1965) منشورات دوفر. ISBN 0-486-66521-6