معامل كوهين كابا

معامل كوهين كابا (κ) هو مقياس إحصائي يقيس ما يعرف بالتوافق بين المُقيم الداخلي للبنود النوعية. وهو يأخذ بنظر الاعتبار ما يتم احتسابه من توافق عن طريق الصدفة كما أنه أكثر رصانة كمقياس من حساب نسبة التوافق. غير أن هناك جدل حول معامل كوهين كابا بسبب صعوبة في تفسير مؤشرات التوافق التي يصدرها. وقد اقترح بعض الباحثين أنه من قد يكون من الأبسط أن يتم احتساب الاختلاف بين العناصر بدلاً من التوافق.

معامل كوهين كابا

الاحتساب

يقيس كابا كوهين الاتفاق بين اثنين من المُقيمين (الذين يقومون بالتقييم) الذين يصنف كل منهم العناصر بعدد N إلى فئات C متبادلة. يعزى أول ذكر لإحصاء يشبه الكابا إلى غالتون (1892)؛ ويُمكن الاطلاع أيضاً على سميتون (1985).

تعريف K هو:

$kappa\equiv \frac{p_o-p_e}{1-p_e}=1-\frac{1-p_o}{1-p_e}$

حيث p_o هو الاتفاق المرصود نسبيًا بين المقيمين (وهو مطابق لقيمة الدقة)، أما p_e فهو الاحتمال الافتراضي لاتفاق الصدفة، وذلك باستخدام البيانات المرصودة لحساب احتمالات كل مراقب يرى كل فئة بشكل عشوائي. إذا كان المقيمون في اتفاق كامل بعد ذلك، فإن k = 1 وهي أعلى قيمة يُمكن الحصول عليها وتشير إلى المثالية في تنبؤ النظام. وبعكسها تكون قيم k هي صفر والتي تشير إلى عدم توافق المقيمين وإلى عشوائية التنبؤ (فيما إذا كان المؤشر يستخدم لتقييم عملية تنبأ في التعلم الآلي). من الممكن للقيمة أن تكون سالبة ، وهي تعني عندئذ، أنه لا يوجد اتفاق فعال بين الطرفين، أو أن التوافق أسوأ من العشوائية.

تم نشر الورقة التي تقدم kappa كتقنية جديدة بواسطة يعقوب كوهين (Jacob Cohen) في مجلة القياس التربوي والنفسي في عام 1960.

مثال

افترض أنك كنت تقوم بتحليل البيانات المتعلقة بمجموعة من 50 شخصًا يتقدمون للحصول على منحة. تمت قراءة كل اقتراح من قبل اثنين من القراء وكان كل قارئ قد وضع جوابه حول تقديم المنحة إما بـ «نعم» أو «لا». ولنفترض أن بيانات تعداد الخلاف كانت كما يلي، حيث A و B قراء، أما البيانات في المصفوفة فهي (أ ود) وهي تحسب عدد الاتفاقات والبيانات خارج القطر (ب وج) تحسب عدد الخلافات:

		ب
		نعم	لا
ا	نعم	ا	ب
	لا	ج	د

على سبيل المثال

		ب
		نعم	لا
ا	نعم	20	5
	لا	10	15

الاتفاق النسبي الملحوظ هو:

$p_o=\frac{a+d}{a+b+c+d}=\frac{20+15}{50}=0.7$

لحساب p_e (احتمال الاتفاق العشوائي) نلاحظ ما يلي:

• قال القارئ A «نعم» لـ 25 من المتقدمين و «لا» لـ 25 من المتقدمين. وقال القارئ A «نعم» 50٪ من الوقت.
• قال القارئ B «نعم» لـ 30 من المتقدمين و «لا» لـ 20 من المتقدمين. وقال القارئ B «نعم» 60٪ من الوقت.

لذا فإن الاحتمال المتوقع أن يقول كلاهما نعم بشكل عشوائي هو:

$p_{\text{Yes}}=\frac{a+b}{a+b+c+d}\cdot \frac{a+c}{a+b+c+d}=0.5\times 0.6=0.3$

وبالمثل:

$p_{\text{No}}=\frac{c+d}{a+b+c+d}\cdot \frac{b+d}{a+b+c+d}=0.5\times 0.4=0.2$

احتمال الاتفاق العشوائي عموماً، هو احتمال اتفاقهم إما نعم أو لا، أي:

$p_e=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5$

والآن نطبق صيغتنا على كوهين كابا لنحصل على الآتي:

$kappa=\frac{p_o-p_e}{1-p_e}=\frac{0.7-0.5}{1-0.5}=0.4$