نموذج الخليط

نموذج الخليط

في الإحصائيات، يعد نموذج الخليط نموذجًا احتماليًا لتمثيل وجود مجموعات سكانية فرعية ضمن إجمالي عدد السكان، دون تحديد أي من مجموعة البيانات التي تمت ملاحظتها هي المجموعة الفرعية التي تنتمي إليها الملاحظات الفردية. يتطابق نموذج الخليط كلياً مع توزيع الخليط الذي يمثل التوزيع الاحتمالي للتدقيقات في إجمالي السكان. ولذلك، في حين أن المشكلات المتعلقة بـ «توزيعات المزيج» ترتبط باشتقاق مميزات إجمالي السكان من تلك الخاصة بالسكان الفرعيين، فإن «نماذج المزيج» يعد مناسباً لإجراء استنتاجات إحصائية حول خصائص المجموعات الفرعية مع الأخذ بعين الاعتبار من الملاحظات فقط على تجمع السكان، دون معلومات هوية السكان الفرعية.

تتضمن بعض طرق تنفيذ نماذج المزيج بعض خطوات التي تُنسب إلى هويات السكان الفرعية المفترضة إلى الملاحظات الفردية (أو الأوزان تجاه هذه الفئات الفرعية)، وفي هذه الحالة يجب اعتبارها أنواعًا من أنواع التعلم الغير خاضع للرقابة أو إجراءات التجميع. ولذاك، لا تنطوي جميع إجراءات الاستدلال على مثل هذه الخطوات.

لا يجب الخط بين النوذج اخليطي والبيانات التركيبية، أي تلك البيانات التي تكون مقيدة (1، 100٪، إلخ.). لذلك، يمكن اعتبارهم جميعا نماذج مختلطة، حيث يتم أخذ عينات من السكان بشكل عشوائي. على العكس من ذلك، يمكن اعتبار نماذج الخليط كنماذج تركيبية، حيث تم تطبيع إجمالي حجم القراءة إلى 1.

بناء

نموذج الخليط العام

نموذج الخلط ذو الأبعاد المحدودة النموذجية هو نموذج هرمي يتكون من المكونات التالية:

• N المتغيرات العشوائية التي يتم ملاحظتها، يتم توزيع كل منها وفقًا لمزيج من مكونات K ، مع المكونات التي تنتمي إلى نفس المجموعة البارامترية للتوزيع (على سبيل المثال، كل عادي، كل Zipfian ، وما إلى ذلك) ولكن مع معلمات مختلفة
• N المتغيرات الكامنة العشوائية التي تحدد هوية مكون الخليط لكل ملاحظة، يتم توزيع كل منها وفقًا لتوزيع فئوي الأبعاد K
• مجموعة من أوزان خليط K ، وهي احتمالات تساوي 1.
• مجموعة من معلمات K ، تحدد كل منها معلمة مكون الخليط المقابل. في كثير من الحالات، تكون كل «معلمة» في الواقع مجموعة من المعلمات. على سبيل المثال، إذا كانت مكونات الخليط هي توزيعات غوسية، فسيكون هناك متوسط وتباين لكل مكون. إذا كانت مكونات الخليط عبارة عن توزيعات فئوية (على سبيل المثال، عندما تكون كل ملاحظة رمزية من أبجدية محدودة بحجم V)، فسيكون هناك ناقل احتمالات V يلخص إلى 1.

بالإضافة إلى ذلك، في إعداد بايزي، فإن أوزان ومعلمات الخليط ستكون نفسها متغيرات عشوائية، وسيتم وضع التوزيعات السابقة على المتغيرات. في مثل هذه الحالة، يُنظر إلى الأوزان عادةً على أنها متجه عشوائي ذو أبعاد K مستمد من توزيع Dirichlet (اقتران سابق للتوزيع القاطع)، وسيتم توزيع المعلمات وفقًا للتصاميم المتقاربة الخاصة بها.

رياضيا، يمكن وصف نموذج الخليط المعلمي الأساسي على النحو التالي:

$\begin{array}{ccc}K& =& \text{number of mixture components}\\ N& =& \text{number of observations}\\ {\theta }_{i=1\dots K}& =& \text{parameter of distribution of observation associated with component }i\\ {\varphi }_{i=1\dots K}& =& \text{mixture weight, i.e., prior probability of a particular component }i\\ {\varphi }& =& K\text{-dimensional vector composed of all the individual }{\varphi }_{1\dots K}\text{; must sum to 1}\\ z_{i=1\dots N}& =& \text{component of observation }i\\ x_{i=1\dots N}& =& \text{observation }i\\ F(x|\theta )& =& \text{probability distribution of an observation, parametrized on }\theta \\ z_{i=1\dots N}& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}|z_{i=1\dots N}& \sim & F({\theta }_{z_i})\end{array}$

$\begin{array}{ccc}K,N& =& \text{as above}\\ {\theta }_{i=1\dots K},{\varphi }_{i=1\dots K},{\varphi }& =& \text{as above}\\ z_{i=1\dots N},x_{i=1\dots N},F(x|\theta )& =& \text{as above}\\ \alpha & =& \text{shared hyperparameter for component parameters}\\ \beta & =& \text{shared hyperparameter for mixture weights}\\ H(\theta |\alpha )& =& \text{prior probability distribution of component parameters, parametrized on }\alpha \\ {\theta }_{i=1\dots K}& \sim & H(\theta |\alpha )\\ {\varphi }& \sim & {\mathrm{S}\mathrm{y}\mathrm{m}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{-}\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}}_K(\beta )\\ z_{i=1\dots N}|{\varphi }& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}|z_{i=1\dots N},{\theta }_{i=1\dots K}& \sim & F({\theta }_{z_i})\end{array}$

يستخدم هذا التوصيف F و H لوصف التوزيعات التعسفية على الملاحظات والمعلمات، على التوالي. عادةً ما يكون H هو المرافقة السابقة لـ F. الخياران الأكثر شيوعًا لـ F هما Gaussian المعروف أيضًا باسم «طبيعي» (للملاحظات ذات القيمة الحقيقية) والفئات (للملاحظات المنفصلة). الاحتمالات الشائعة الأخرى لتوزيع مكونات الخليط هي:

• التوزيع ذو الحدين، لعدد «الوقائع الإيجابية» (على سبيل المثال، النجاحات، نعم الأصوات، إلخ) بالنظر إلى عدد ثابت من إجمالي الوقائع
• التوزيع متعدد الحدود، مشابه للتوزيع ذي الحدين، ولكن بالنسبة لعدد التكرارات متعددة الطرق (على سبيل المثال، نعم / لا / ربما في استطلاع)
• التوزيع السلبي ذي الحدين، للملاحظات من النوع ذي الحدين ولكن عندما تكون كمية الاهتمام هي عدد حالات الفشل قبل حدوث عدد معين من حالات النجاح
• توزيع بواسون، لعدد مرات وقوع حدث في فترة زمنية معينة، لحدث يتميز بمعدل ثابت من الحدوث
• التوزيع الأسي، للوقت الذي يسبق الحدث التالي، لحدث يتميز بمعدل ثابت من الحدوث
• توزيع لوغاريتمي عادي، للأرقام الحقيقية الموجبة التي يفترض أن تنمو بشكل كبير، مثل الدخول أو الأسعار
• التوزيع الطبيعي متعدد المتغيرات (المعروف أيضًا باسم التوزيع الغوسي متعدد المتغيرات)، لناقلات النتائج المترابطة التي يتم توزيعها بشكل فردي
• التوزيع متعدد المتغيرات للطلاب (المعروف أيضًا باسم التوزيع المتعدد المتغيرات)، لناقلات النتائج ذات الذيل الثقيل ذات الصلة
• متجه لقيم Bernoulli الموزعة، المقابلة، على سبيل المثال، لصورة بالأبيض والأسود، مع كل قيمة تمثل بكسل؛ راجع مثال التعرّف على خط اليد أدناه

أمثلة محددة

نموذج الخليط الغوسي

نموذج خليط غاوسي غير بايزي باستخدام تدوين اللوحة. تشير المربعات الصغيرة إلى معلمات ثابتة؛ تشير الدوائر الأكبر إلى متغيرات عشوائية. تشير الأشكال المملوءة إلى القيم المعروفة. تشير الإشارة [K] إلى متجه الحجم K.

$\begin{array}{ccc}K,N& =& \text{as above}\\ {\varphi }_{i=1\dots K},{\varphi }& =& \text{as above}\\ z_{i=1\dots N},x_{i=1\dots N}& =& \text{as above}\\ {\theta }_{i=1\dots K}& =& \{{\mu }_{i=1\dots K},{\sigma }_{i=1\dots K}^2\}\\ {\mu }_{i=1\dots K}& =& \text{mean of component }i\\ {\sigma }_{i=1\dots K}^2& =& \text{variance of component }i\\ z_{i=1\dots N}& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}& \sim & \mathcal{𝒩}({\mu }_{z_i},{\sigma }_{z_i}^2)\end{array}$

نموذج الخليط الغازي بايزي باستخدام تدوين اللوحة. تشير المربعات الصغيرة إلى معلمات ثابتة؛ تشير الدوائر الأكبر إلى متغيرات عشوائية. تشير الأشكال المملوءة إلى القيم المعروفة. تشير الإشارة [K] إلى متجه الحجم K.

نسخة بايزي لنموذج خليط غوسي هي كما يلي:

$\begin{array}{ccc}K,N& =& \text{as above}\\ {\varphi }_{i=1\dots K},{\varphi }& =& \text{as above}\\ z_{i=1\dots N},x_{i=1\dots N}& =& \text{as above}\\ {\theta }_{i=1\dots K}& =& \{{\mu }_{i=1\dots K},{\sigma }_{i=1\dots K}^2\}\\ {\mu }_{i=1\dots K}& =& \text{mean of component }i\\ {\sigma }_{i=1\dots K}^2& =& \text{variance of component }i\\ {\mu }_0,\lambda ,\nu ,{\sigma }_0^2& =& \text{shared hyperparameters}\\ {\mu }_{i=1\dots K}& \sim & \mathcal{𝒩}({\mu }_0,\lambda {\sigma }_i^2)\\ {\sigma }_{i=1\dots K}^2& \sim & \mathrm{I}\mathrm{n}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{e}\mathrm{-}\mathrm{G}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}(\nu ,{\sigma }_0^2)\\ {\varphi }& \sim & {\mathrm{S}\mathrm{y}\mathrm{m}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{-}\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}}_K(\beta )\\ z_{i=1\dots N}& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}& \sim & \mathcal{𝒩}({\mu }_{z_i},{\sigma }_{z_i}^2)\end{array}$${\displaystyle }$

عادة ما يتم توسيع نموذج الخليط الغازي بايزي لتناسب ناقلًا لمعلمات غير معروفة (يشار إليها بخط غامق)، أو توزيعات عادية متعددة المتغيرات. في توزيع متعدد المتغيرات (أي نمذجة متجه واحد $\mathit{x}$ مع المتغيرات العشوائية N) يمكن للمرء أن يصمم متجهًا للمعلمات (مثل عدة ملاحظات لإشارة أو بقع داخل صورة) باستخدام نموذج خليط غوسي التوزيع المسبق على متجه التقديرات المقدمة من

$p({\theta })=\sum _{i=1}^K{\varphi }_i\mathcal{𝒩}({{\mu }}_{\mathit{i}},{\mathrm{\Sigma }}_{\mathit{i}})$

حيث يتميز مكون المتجه ^الأول بتوزيعات عادية مع الأوزان ${\varphi }_i$ ، يعني ${{\mu }}_{\mathit{i}}$ ومصفوفات التباين المشترك ${\mathrm{\Sigma }}_{\mathit{i}}$ . لدمج هذا مسبقًا في تقدير بايزي، يتم ضرب السابق في التوزيع المعروف $p(\mathit{x}|{\theta })$ من البيانات $\mathit{x}$ مشروطة على المعلمات ${\theta }$ ليتم تقديرها. مع هذه الصيغة، التوزيع الخلفي $p({\theta }|\mathit{x})$ هو أيضًا نموذج خليط غوسي من النموذج

مع معلمات جديدة $\widetilde{{\varphi }_i},\widetilde{{{\mu }}_{\mathit{i}}}$ و $\widetilde{{\mathrm{\Sigma }}_{\mathit{i}}}$ التي يتم تحديثها باستخدام خوارزمية EM. على الرغم من أن تحديثات المعلمات المستندة إلى EM راسخة جيدًا، إلا أن تقديم التقديرات الأولية لهذه المعلمات يعد حاليًا مجالًا للبحث النشط. لاحظ أن هذه الصيغة تعطي حلًا مغلقًا للتوزيع الخلفي الكامل. تقديرات المتغير العشوائي ${\theta }$ يمكن الحصول عليها عبر أحد المُقدِّرين العديدين، مثل متوسط التوزيع الخلفي أو الحد الأقصى له.

مثل هذه التوزيعات مفيدة لافتراض أشكال الصور والمجموعات، على سبيل المثال. في حالة تمثيل الصورة، يمكن إمالة كل غوسي وتوسيعه وتشويهه وفقًا لمصفوفات التغاير ${\mathrm{\Sigma }}_{\mathit{i}}$ . يتناسب توزيع غوسي واحد للمجموعة مع كل رقعة (عادة بحجم 8 × 8 بكسل) في الصورة. والجدير بالذكر أن أي توزيع للنقاط حول مجموعة (انظر k- يعني) قد يتم إعطاؤه بدقة مكونات غوسية كافية، ولكن نادرًا ما تكون هناك حاجة إلى مكونات K = 20 لوضع نموذج لتوزيع صورة أو مجموعة بيانات بدقة.

نموذج خليط قاطع

نموذج خليط قاطع غير بايزي باستخدام تدوين اللوحة. تشير المربعات الصغيرة إلى معلمات ثابتة؛ تشير الدوائر الأكبر إلى متغيرات عشوائية. تشير الأشكال المملوءة إلى القيم المعروفة. تشير الإشارة [K] إلى متجه الحجم K ؛ وبالمثل ل [V].

• $K,N:$ على النحو الوارد أعلاه
• ${\varphi }_{i=1\dots K},{\varphi }:$ على النحو الوارد أعلاه
• $z_{i=1\dots N},x_{i=1\dots N}:$ على النحو الوارد أعلاه
• $V:$ أبعاد الملاحظات الفئوية، على سبيل المثال، حجم مفردات الكلمات
• ${\theta }_{i=1\dots K,j=1\dots V}:$ احتمالية المكون $i$ بند المراقبة $j$
• ${{\theta }}_{i=1\dots K}:$ متجه البعد $V,$ تتكون من ${\theta }_{i,1\dots V};$ يجب أن يساوي 1

المتغيرات العشوائية:

$\begin{array}{ccc}{z}_{i=1\dots N}& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}& \sim & \text{Categorical}({{\theta }}_{z_i})\end{array}$

نموذج خليط بيزي الفصلي باستخدام تدوين اللوحة. تشير المربعات الصغيرة إلى معلمات ثابتة؛ تشير الدوائر الأكبر إلى متغيرات عشوائية. تشير الأشكال المملوءة إلى القيم المعروفة. تشير الإشارة [K] إلى متجه الحجم K ؛ وبالمثل ل [V].

يبدو نموذج الخليط البايزي النموذجي مع الملاحظات الفئوية كما يلي:

• $K,N:$ على النحو الوارد أعلاه
• ${\varphi }_{i=1\dots K},{\varphi }:$ على النحو الوارد أعلاه
• $z_{i=1\dots N},x_{i=1\dots N}:$ على النحو الوارد أعلاه
• $V:$ أبعاد الملاحظات الفئوية، على سبيل المثال، حجم مفردات الكلمات
• ${\theta }_{i=1\dots K,j=1\dots V}:$ احتمالية المكون $i$ بند المراقبة $j$
• ${{\theta }}_{i=1\dots K}:$ متجه البعد $V,$ تتكون من ${\theta }_{i,1\dots V};$ يجب أن يساوي 1
• $\alpha :$ تقاسم فرط التركيز ${\theta }$ لكل مكون
• $\beta :$ فرط تركيز ${\varphi }$

$\begin{array}{ccc}{\varphi }& \sim & {\mathrm{S}\mathrm{y}\mathrm{m}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{-}\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}}_K(\beta )\\ {{\theta }}_{i=1\dots K}& \sim & {\text{Symmetric-Dirichlet}}_V(\alpha )\\ z_{i=1\dots N}& \sim & \mathrm{C}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{o}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{a}\mathrm{l}({\varphi })\\ x_{i=1\dots N}& \sim & \text{Categorical}({{\theta }}_{z_i})\end{array}$

أمثلة

نموذج مالي

يتم رسم التوزيع الطبيعي باستخدام وسائل مختلفة والتباينات

غالبًا ما تتصرف العوائد المالية بشكل مختلف في المواقف العادية وأثناء أوقات الأزمات. يبدو أن نموذج الخليط للبيانات المرتجعة معقول. في بعض الأحيان يكون النموذج المستخدم عبارة عن نموذج للانتشار السريع، أو كخليط من توزيعين عاديين. انظر علم الاقتصاد المالي # التحديات والنقد لمزيد من السياق.

أسعار المنزل

نفترض أننا نلاحظ أسعار N منازل مختلفة. أنواع مختلفة من المنازل في أحياء مختلفة سيكون لها أسعار مختلفة إلى حد كبير، ولكن سعر نوع معين من المنازل في حي معين (على سبيل المثال، منزل مكون من ثلاث غرف نوم في حي راقي باعتدال) يميل إلى التجمع عن كثب تقريبًا حول المتوسط. قد يكون أحد النماذج المحتملة لهذه الأسعار هو افتراض أن الأسعار موصوفة بدقة من خلال نموذج مزيج بمكونات K مختلفة، يتم توزيع كل منها كتوزيع عادي بمتوسط وتباين غير معروفين، مع تحديد كل مكون لمجموعة معينة من نوع المنزل / الحي. إن ملاءمة هذا النموذج للأسعار المرصودة، على سبيل المثال، باستخدام خوارزمية التوقع إلى أقصى حد، يميل إلى تجميع الأسعار وفقًا لنوع / حي المنزل وكشف انتشار الأسعار في كل نوع / حي. (لاحظ أنه بالنسبة لقيم مثل الأسعار أو الدخول المضمونة بأنها إيجابية والتي تميل إلى النمو بشكل كبير، قد يكون التوزيع اللوغاريتمي الطبيعي في الواقع نموذجًا أفضل من التوزيع العادي.)

الموضوعات في المستند

افترض أن الوثيقة تتكون من N كلمات مختلفة من إجمالي مفردات الحجم V ، حيث تتوافق كل كلمة مع أحد الموضوعات المحتملة K. توزيع مثل هذه الكلمات يمكن أن تكون على غرار على شكل مزيج من K مختلفة V الابعاد توزيعات القاطع . عادة ما يطلق على نموذج من هذا النوع نموذج موضوع . لاحظ أن زيادة التوقعات المطبقة على مثل هذا النموذج ستفشل عادةً في تحقيق نتائج واقعية، ويرجع ذلك (من بين أمور أخرى) إلى العدد المفرط من المعلمات . عادة ما تكون بعض أنواع الافتراضات الإضافية ضرورية للحصول على نتائج جيدة. عادة يتم إضافة نوعين من المكونات الإضافية إلى النموذج: