توزیع مزدوج پیشین

در تئوری احتمال بیزی، اگر توزیعات احتمال پسین ${\displaystyle p(\theta \mid x)}$ با توزیع احتمال پیشین ${\displaystyle p(\theta )}$ خانواده ای یکسان داشته باشد آن گاه به توزیعات پیشین و پسین توزیعات مزدوج گفته شده و توزیع پیشین را توزیع مزدوج پیشین برای تابع درست‌نمایی (likelihood) می‌نامند. به عنوان مثال، خانوادهٔ گاوسی مزدوج خودش (یا خود مزدوج) نسبت به یک تابع درست‌نمایی گاوسی است: اگر تابع درست‌نمایی گوسی باشد، انتخاب توزیع پیشین گاوسی برای میانگین تضمین می‌کند که توزیع پسین نیز گاوسی خواهد بود. این به این معناست که توزیع گاوسی، تابع مزدوج پیشین تابع درست‌نمایی گوسی است. این مفهوم و عبارت «مزدوج پیشین» توسط هاوارد رایفا و رابرت اشلایفر در کارشان روی تئوری انتخاب بیزی معرفی شدند. مفهوم مشابهی نیز به‌طور مستقل توسط جورج آلفرد بارنارد کشف شده بود.[1]

توزیع مزدوج پیشین (انگلیسی: Conjugate prior)

مسئلهٔ کلی یافتن توزیع برای یک پارامتر θ به شرط یک داده یا مجموعه داده‌های x را در نظر بگیرید. از قضیه بیز می‌دانیم که توزیع پسین برابر با حاصلضرب تابع درست‌نمایی ${\displaystyle \theta \mapsto p(x\mid \theta )\!}$ و توزیع پیشین ${\displaystyle p(\theta )\!}$ نرمالیزه شده با (تقسیم بر) احتمال دادهٔ ${\displaystyle p(x)\!}$ است:

${\displaystyle p(\theta \mid x)={\frac {p(x\mid \theta )\,p(\theta )}{\int p(x\mid \theta ')\,p(\theta ')\,d\theta '}}.\!}$

فرض می‌کنیم تابع درست‌نمایی ثابت است. تابع درست‌نمایی معمولاً به خوبی از بیانی از فرایند تولید داده مشخص می‌گردد. واضح است که انتخاب‌های متفاوت برای توزیع پیشین ${\displaystyle p(\theta )}$ محاسبهٔ انتگرال را سخت‌تر یا آسان‌تر می‌کند و حاصل ضرب ${\displaystyle p(x\mid \theta ).p(\theta )}$ فرم جبری متفاوتی بگیرد. برای انتخاب‌های مشخصی از توزیع پیشین، توزیع پسین فرم جبری مشابه توزیع پیشین خواهد داشت (عموماً با مقادیر پارامترهای متفاوت). چنین انتخابی یک توزیع مزدوج پیشین است.

یک توزیع مزدوج پیشین یک آسودگی جبری است که توصیف بسته ای برای توزیع پسین ارائه می‌دهد. در غیر این صورت ممکن است انتگرال عددی لازم باشد. علاوه بر این، توزیعات پیشین مزدوج با بیشتر و شفاف نشان دادن اینکه چگونه یک تابع درست‌نمایی یک توزیع پیشین را به روز می‌کند درکی مستقیم ارائه می‌دهند.

تمام اعضای خانواده نمایی توزیعات پیشین مزدوج دارند.[2]

مثال

فرم توزیع پیشین مزدوج عموماً می‌تواند با بررسی تابع چگالی احتمال یا تابع جرم احتمال آن توزیع مشخص گردد. به عنوان مثال، یک متغیر تصادفی را در نظر بگیرید که شامل تعداد موفقیت‌های ${\displaystyle s}$ در ${\displaystyle n}$ آزمایش برنولی با احتمال موفقیت نامعلوم ${\displaystyle q}$ در بازهٔ [۰٬۱] است. این متغیر تصادفی با تابع جرم احتمال زیر از توزیع دوجمله ای تبعیت می‌کند:

${\displaystyle p(s)={n \choose s}q^{s}(1-q)^{n-s}}$

توزیع مزدوج پیشین معمول توزیع بتا با پارامترهای (${\displaystyle \alpha }$, ${\displaystyle \beta }$):

${\displaystyle p(q)={q^{\alpha -1}(1-q)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}}$

که در آن ${\displaystyle \alpha }$ و ${\displaystyle \beta }$ برای نمایش هرگونه باور یا اطلاعات به کار می‌رود (۱ = ${\displaystyle \alpha }$ و ۲ = ${\displaystyle \beta }$ توزیع یکنواخت را به دست می‌دهند) و B(α, β) تابع بتا است که به عنوان ثابت نرمالیزه کننده استفاده می‌شود.

در اینجا ${\displaystyle \alpha }$ و ${\displaystyle \beta }$ ابرپارامتر خوانده می‌شوند (پارامترهای توزیع پیشین) تا از پارامترهای مدل اساسی (در اینجا q) متمایز گردند. یکی از ویژگی‌های معمول توزیعات پیشین مزدوج این است که ابعاد ابرپارامترها یک واحد بزرگتر از ابعاد پارامترهای توزیع اصلی‌اند. اگر همهٔ پارامترها مقادیر اسکالر باشند آنگاه به این معناست که یک ابرپارامتر بیشتر از پارامتر خواهیم داشت. البته این نکته دربارهٔ پارامترهای با مقادیر برداری و ماتریسی نیز صدق می‌کند. (به مقالهٔ کلی دربارهٔ خانواده نمایی رجوع کنید و توزیع ویشارت را که مزدوج پیشین ماتریس کوواریانس توزیع نرمال چند متغیره است به عنوان مثالی برای ابعاد بزرگ در نظر بگیرید)

آن گاه اگر از این متغیر تصادفی نمونه برداری کنیم و s موفقیت و p شکست به دست آوریم داریم:

${\displaystyle {\begin{aligned}P(s,f\mid q=x)&={s+f \choose s}x^{s}(1-x)^{f},\\P(x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid x)P(x)dx}}\\&={{{s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},\\\end{aligned}}}$

که توزیع بتای دیگری با پارامترهای (s + ${\displaystyle \alpha }$, ${\displaystyle \beta }$ + f) است. این توزیع پسین نیز می‌تواند به عنوان توزیع پیشین نمونه‌های بیشتر با اضافه کردن هر چه بیشتر اطلاعات توسط ابرپارامترها مورد استفاده قرار گیرد.

شبه مشاهدات

اغلب سودمند است که هایپرپارامترهای توزیع مزدوج پیشین را متناظر با انجام تعدادی شبه مشاهده با ویژگی‌هایی که توسط پارامترها مشخص می‌شود در نظر بگیریم. به عنوان مثال، مقادیر ${\displaystyle \alpha }$ و ${\displaystyle \beta }$ برای یک توزیع بتا را می‌توان متناظر با ۱ - ${\displaystyle \alpha }$ موفقیت و ۱ - ${\displaystyle \beta }$ شکست در نظر گرفت اگر مد توزیع پسین برای انتخاب یک تنظیمات پارامتر بهینه انتخاب شود یا ${\displaystyle \alpha }$ موفقیت و ${\displaystyle \beta }$ شکست اگر میانگین توزیع پسین برای انتخاب یک تنظیمات پارامتر بهینه انتخاب شود. در حالت کلی، برای تقریباً تمام توزیعات مزدوج پیشین هایپر پارامترها می‌توانند بر حسب شبه مشاهدات تفسیر شوند. این عمل می‌تواند هم به فراهم آوردن درکی برای معادلات به‌روزرسانی اغلب درهم و شلوغ و هم برای انتخاب هایپرپارامترهای معقول برای یک توزیع پیشین کمک می‌کند.

تفسیرها

شباهت با توابع ویژه

توزیعات مزدوج پیشین مشابه تابع ویژه در نظریه عمل‌گرها هستند از این جهت که توزیعاتی هستند که در آن‌ها «عمل‌گر شرطی سازی»، در صورت در نظر گرفتن فرایند تغییر از توزیع پیشین به پسین به عنوان یک عمل‌گر، به روشی کاملاً قابل درک عمل می‌کند.

در هر دو توابع ویژه و توزیعات مزدوج پیشین فضایی با بعد متناهی وجود دارد که توسط عمل‌گر حفظ و نگهداری می‌شود: خروجی فرمی مشابه (فضایی مشابه) ورودی دارد. این عمل به شدت تجزیه و تحلیل را ساده می‌کند چون در غیر این صورت فضایی با بعد نامتناهی (فضای تمام توابع، فضای تمام توزیع‌ها) را در نظر می‌گیرد.

با این وجود، فرایندها تنها مشابه و نه یکسان هستند: شرطی سازی خطی نیست زیرا فضای توزیعات تحت ترکیب خطی بسته نمی‌شود بلکه تحت ترکیب محدب بسته می‌شود و توزیع پسین تنها فرمی مشابه توزیع پیشین دارد و ضریبی اسکالر از آن نیست.

همان‌طور که به راحتی می‌توان تجزیه و تحلیل کرد که چگونه ترکیبی خطی از توابع ویژه تحت استفاده از یک عمل‌گر تکامل می‌یابد (چون عمل‌گر نسبت به این توابع، قطری شده است)، به راحتی می‌توان تجزیه و تحلیل کرد که چگونه یک ترکیب محدب از توزیعات مزدوج پیشین تحت شرط سازی کامل می‌یابد؛ این عمل به وسیلهٔ یک توزیع هایپرپیشین صورت می‌گیرد و متناظر با استفاده از چگالی مخلوط توزیعات مزدوج پیشین به جای تک توزیع مزدوج پیشین است.

سیستم دینامیکی

می‌توان عمل شرطی سازی روی توزیعات مزدوج پیشین را تعریف کردن نوعی سیستم دینامیکی (زمان گسسته) در نظر گرفت: به ازای مجموعه ای داده شده‌ای از هایپرپارامترها، دادهٔ ورودی این هایپرپارامترها را به روز می‌کند. پس می‌توان تغییر در هایپرپارامترها را به نوعی «تکامل زمانی» تعبیر کرد که با «یادگیری» متناظر است. شروع در نقاط متفاوت جریان‌هایی متفاوت در طول زمان را سبب می‌گردد. این نیز مشابه سیستم دینامیکی است که با یک عمل‌گر خطی تعریف می‌شود ولی توجه کنید چون نمونه‌های متفاوت به استنتاج‌های متفاوت ختم می‌شود، این عمل به تنهایی وابسته به زمان نیست بلکه بیشتر وابسته به داده‌است. برای رویکردهای مرتبط، تخمین بیزی بازگشتی و داده گواری را ببینید.

جدول توزیعات مزدوج

فرض کنید n نشان دهندهٔ تعداد مشاهدات باشد. در تمام موارد زیر، فرض می‌شود که داده از n نقطهٔ ${\displaystyle x_{1},\ldots ,x_{n}}$ (که در موارد چند متغیره بردارهای تصادفی خواهند بود) تشکیل شود.

اگر تابع شباهت متعلق به خانواده نمایی باشد آن گاه توزیع مزدوج پیشین وجود دارد که اغلب اوقات آن نیز عضو خانوادهٔ نمایی است. به خانواده نمایی: توزیعات مزدوج رجوع کنید.

توزیعات گسسته

شباهت	پارامترهای مدل	توزیع مزدوج پیشین	هایپرپارامترهای پیشین	هایپرپارامترهای پسین	تفسیر هایپر پارامترها	توزیع پسین پیشگویانه[note 1]
برنولی	p (احتمال)	بتا	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ موفقیت، ${\displaystyle \beta -1}$ شکست	${\displaystyle p({\tilde {x}}=1)={\frac {\alpha '}{\alpha '+\beta '}}}$
دوجمله‌ای	p (احتمال)	بتا	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ موفقیت، ${\displaystyle \beta -1}$ شکست	${\displaystyle \operatorname {BetaBin} ({\tilde {x}}|\alpha ',\beta ')}$ (بتا-دوجمله‌ای)
دوجمله‌ای منفی با تعداد شکست‌های معلوم، r	p (احتمال)	بتا	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +rn\!}$	${\displaystyle \alpha -1}$ total موفقیت، ${\displaystyle \beta -1}$ شکست (یعنی، ${\displaystyle {\frac {\beta -1}{r}}}$ آزمایش، با فرض اینکه ${\displaystyle r}$ ثابت بماند)
پواسون	λ (نرخ)	گاما	${\displaystyle k,\,\theta \!}$	${\displaystyle k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1}}\!}$	${\displaystyle \operatorname {NB} \left({\tilde {x}}|k',{\theta '}\right)}$ (دوجمله‌ای منفی)
			${\displaystyle \alpha ,\,\beta \!}$[note 2]	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\ \beta +n\!}$	${\displaystyle \alpha }$ تعداد رخدادها در ${\displaystyle \beta }$ بازه	${\displaystyle \operatorname {NB} \left({\tilde {x}}|\alpha ',{\frac {1}{1+\beta '}}\right)}$ (دوجمله‌ای منفی)
مطلق	p (بردار احتمال), k (تعداد دسته‌بندی ها؛ یعنی، اندازهٔ p)	دیریکله	${\displaystyle {\boldsymbol {\alpha }}\!}$	${\displaystyle {\boldsymbol {\alpha }}+(c_{1},\ldots ,c_{k}),}$ که ${\displaystyle c_{i}}$ تعداد مشاهدات در دسته‌بندی i است.	${\displaystyle \alpha _{i}-1}$ رخداد در دسته‌بندی	${\displaystyle {\begin{aligned}p({\tilde {x}}=i)&={\frac {{\alpha _{i}}'}{\sum _{i}{\alpha _{i}}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
چندجمله‌ای	p (بردار احتمال), k (تعداد دسته‌بندی های؛ یعنی، اندازهٔ p)	دیریکله	${\displaystyle {\boldsymbol {\alpha }}\!}$	${\displaystyle {\boldsymbol {\alpha }}+\sum _{i=1}^{n}\mathbf {x} _{i}\!}$	${\displaystyle \alpha _{i}-1}$ رخدادهای دسته‌بندی	${\displaystyle \operatorname {DirMult} ({\tilde {\mathbf {x} }}|{\boldsymbol {\alpha }}')}$ (دیریکله—چندجمله‌ای)
فوق‌هندسی با اندازهٔ جمعیت کل معلوم، N	M (تعداد اعضای هدف)	بتا-دوجمله‌ای	${\displaystyle n=N,\alpha ,\,\beta \!}$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ موفقیت، ${\displaystyle \beta -1}$ شکست
هندسی	p0 (احتمال)	بتا	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}-n\!}$	${\displaystyle \alpha -1}$ آزمایش، ${\displaystyle \beta -1}$ کل شکست‌ها

توزیعات پیوسته

شباهت	پارامترهای مدل	توزیع مزدوج پیشین	هایپرپارامترهای پیشین	هایپرپارامترهای پسین	تفسیر هایپرپارامترها	توزیع پسین پیشگویانه[note 3]
نرمال با واریانس معلوم σ^2	μ (میانگین)	نرمال	${\displaystyle \mu _{0},\,\sigma _{0}^{2}\!}$	${\displaystyle {\frac {1}{{\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}}}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^{2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)^{-1}}$	میانگین از مشاهدات با دقت کل (مجموع تمام دقت‌های منفرد)${\displaystyle 1/\sigma _{0}^{2}}$ و میانگین نمونهٔ ${\displaystyle \mu _{0}}$ تحمین زده شده‌است.	${\displaystyle {\mathcal {N}}({\tilde {x}}|\mu _{0}',{\sigma _{0}^{2}}'+\sigma ^{2})}$[3]
نرمال با دقت معلوم τ	μ (mean)	نرمال	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle {\frac {\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}}{\tau _{0}+n\tau }},\,\tau _{0}+n\tau }$	میانگین از مشاهدات با دقت کل (مجموع تمام دقت‌های منفرد)${\displaystyle \tau _{0}}$ و میانگین نمونهٔ ${\displaystyle \mu _{0}}$ تخمین زده شده‌است.	${\displaystyle {\mathcal {N}}\left({\tilde {x}}|\mu _{0}',{\frac {1}{\tau _{0}'}}+{\frac {1}{\tau }}\right)}$[3]
نرمال با میانگین معلوم μ	σ^2 (واریانس)	گامای وارونه	${\displaystyle \mathbf {\alpha ,\,\beta } }$[note 4]	${\displaystyle \mathbf {\alpha } +{\frac {n}{2}},\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}-\mu )^{2}}}{2}}}$	واریانس از ${\displaystyle 2\alpha }$ مشاهدات با واریانس نمونهٔ ${\displaystyle \beta /\alpha }$ (یعنی جمع مجذور انحرافات ${\displaystyle 2\beta }$, که انحرافات از میانگین معلوم ${\displaystyle \mu }$ هستند) تخمین زده شده‌است.	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[3]
نرمال با میانگین معلوم μ	σ^2 (واریانس)	کی دو وارونهٔ مقیاس شده	${\displaystyle \nu ,\,\sigma _{0}^{2}\!}$	${\displaystyle \nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\nu +n}}\!}$	واریانس از ${\displaystyle \nu }$ مشاهدات با واریانس نمونهٔ ${\displaystyle \sigma _{0}^{2}}$ تخمین زده شده‌است.	${\displaystyle t_{\nu '}({\tilde {x}}|\mu ,{\sigma _{0}^{2}}')}$[3]
نرمال با میانگین معلوم μ	τ (دقت)	گاما	${\displaystyle \alpha ,\,\beta \!}$[note 2]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2}}\!}$	دقت از ${\displaystyle 2\alpha }$ مشاهدات با واریانس نمونهٔ ${\displaystyle \beta /\alpha }$ (یعنی جمع مجذور انحرافات ${\displaystyle 2\beta }$, که انحرافات از میانگین معلوم ${\displaystyle \mu }$ هستند) تخمین زده شده‌است.	${\displaystyle t_{2\alpha '}({\tilde {x}}|\mu ,\sigma ^{2}=\beta '/\alpha ')}$[3]
نرمال[note 5]	μ و σ^2 با این فرض که تعویض پذیری دارند	گامای نرمال وارونه	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ میانگین نمونه است.	میانگین از ${\displaystyle \nu }$ مشاهدات با میانگین نمونهٔ ${\displaystyle \mu _{0}}$ تخمین زده شده‌است؛ واریانس از ${\displaystyle 2\alpha }$ مشاهدات با میانگین نمونهٔ ${\displaystyle \mu _{0}}$ و مجموع مجذور انحرافات ${\displaystyle 2\beta }$ تخمین زده شده‌است.	${\displaystyle t_{2\alpha '}\left({\tilde {x}}|\mu ',{\frac {\beta '(\nu '+1)}{\nu '\alpha '}}\right)}$[3]
نرمال	μ و τ با فرض اینکه تعویض پذیری دارند	نرمال-گاما	${\displaystyle \mu _{0},\,\nu ,\,\alpha ,\,\beta }$	${\displaystyle {\frac {\nu \mu _{0}+n{\bar {x}}}{\nu +n}},\,\nu +n,\,\alpha +{\frac {n}{2}},\,}$ ${\displaystyle \beta +{\tfrac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ میانگین نمونه است.	میانگین از ${\displaystyle \nu }$ مشاهدات با میانگین نمونهٔ ${\displaystyle \mu _{0}}$, و دقت از ${\displaystyle 2\alpha }$ مشاهدات با میانگین نمونهٔ ${\displaystyle \mu _{0}}$ و مجموع مجذور انحرافات ${\displaystyle 2\beta }$ تخمین زده شده‌است.	${\displaystyle t_{2\alpha '}\left({\tilde {x}}|\mu ',{\frac {\beta '(\nu '+1)}{\alpha '\nu '}}\right)}$[3]
نرمال چندمتغیره با ماتریس کوواریانس معلوم Σ	μ (بردار میانگین)	نرمال چند متغیره	${\displaystyle {\boldsymbol {\boldsymbol {\mu }}}_{0},\,{\boldsymbol {\Sigma }}_{0}}$	${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}\left({\boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x}} \right),}$ ${\displaystyle \left({\boldsymbol {\Sigma }}_{0}^{-1}+n{\boldsymbol {\Sigma }}^{-1}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ میانگین نمونه است.	میانگین از مشاهداتی با دقت کل (مجموع تمام دقت‌های منفرد)${\displaystyle {\boldsymbol {\Sigma }}_{0}^{-1}}$ و میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ تخمین زده شده‌است.	${\displaystyle {\mathcal {N}}({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{{\boldsymbol {\Sigma }}_{0}}'+{\boldsymbol {\Sigma }})}$[3]
نرمال چندمتغیره با ماتریس دقت معلوم Λ	μ (بردار میانگین)	نرمال چندمتغیره	${\displaystyle \mathbf {\boldsymbol {\mu }} _{0},\,{\boldsymbol {\Lambda }}_{0}}$	${\displaystyle \left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)^{-1}\left({\boldsymbol {\Lambda }}_{0}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_{0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}} }$ میانگین نمونه است.	میانگین از مشاهداتی با دقت کل (مجموع تمام دقت‌های منفرد)${\displaystyle {\boldsymbol {\Lambda }}}$ و میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ تخمین زده شده‌است.	${\displaystyle {\mathcal {N}}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',({{{\boldsymbol {\Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1})^{-1}\right)}$[3]
نرمال چندمتغیره با میانگین معلوم μ	Σ (ماتریس کوواریانس)	ویشارت وارون	${\displaystyle \nu ,\,{\boldsymbol {\Psi }}}$	${\displaystyle n+\nu ,\,{\boldsymbol {\Psi }}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}}$	ماتریس کوواریانس از ${\displaystyle \nu }$ مشاهدات با مجموع حاصل‌ضرب‌های انحراف دو به دو ${\displaystyle {\boldsymbol {\Psi }}}$ تخمین زده شده‌است.	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\boldsymbol {\Psi }}'\right)}$[3]
نرمال چندمتغیره با میانگین معلوم μ	Λ (ماتریس دقت)	ویشارت	${\displaystyle \nu ,\,\mathbf {V} }$	${\displaystyle n+\nu ,\,\left(\mathbf {V} ^{-1}+\sum _{i=1}^{n}(\mathbf {x_{i}} -{\boldsymbol {\mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	ماتریس کوواریانس از ${\displaystyle \nu }$ مشاهدات با مجموع حاصل‌ضرب‌های انحراف دو به دو ${\displaystyle \mathbf {V} ^{-1}}$ تخمین زده شده‌است.	${\displaystyle t_{\nu '-p+1}\left({\tilde {\mathbf {x} }}|{\boldsymbol {\mu }},{\frac {1}{\nu '-p+1}}{\mathbf {V} '}^{-1}\right)}$[3]
نرمال چندمتغیره	μ (بردار میانگین) و Σ (ماتریس کوواریانس)	وارون نرمال-ویشارت	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,{\boldsymbol {\Psi }}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\Psi }}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}} }$ میانگین نمونه است. ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	میانگین از ${\displaystyle \kappa _{0}}$ مشاهدات با میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ تخمین زده شده‌است؛ ماتریس کوواریانس از ${\displaystyle \nu _{0}}$ مشاهدات با میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ و با مجموع حاصل‌ضرب‌های انحراف دو به دو${\displaystyle {\boldsymbol {\Psi }}=\nu _{0}{\boldsymbol {\Sigma }}_{0}}$ تخمین زده شده‌است.	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi }}'\right)}$[3]
نرمال چندمتغیره	μ (بردار میانگین) and Λ (ماتریس دقت)	نرمال-ویشارت	${\displaystyle {\boldsymbol {\mu }}_{0},\,\kappa _{0},\,\nu _{0},\,\mathbf {V} }$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu }}_{0}+n\mathbf {\bar {x}} }{\kappa _{0}+n}},\,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle \left(\mathbf {V} ^{-1}+\mathbf {C} +{\frac {\kappa _{0}n}{\kappa _{0}+n}}(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right)^{-1}}$ ${\displaystyle \mathbf {\bar {x}} }$ میانگین نمونه است. ${\displaystyle \mathbf {C} =\sum _{i=1}^{n}(\mathbf {x_{i}} -\mathbf {\bar {x}} )(\mathbf {x_{i}} -\mathbf {\bar {x}} )^{T}}$	میانگین از ${\displaystyle \kappa _{0}}$ مشاهدات با میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ تخمین زده شده‌است؛ ماتریس کوواریانس از ${\displaystyle \nu _{0}}$ مشاهدات با میانگین نمونهٔ ${\displaystyle {\boldsymbol {\mu }}_{0}}$ و با مجموع حاصل‌ضرب‌های انحراف دو به دو ${\displaystyle \mathbf {V} ^{-1}}$ تخمین زده شده‌است.	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tilde {\mathbf {x} }}|{{\boldsymbol {\mu }}_{0}}',{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\right)}$[3]
یکنواخت	${\displaystyle U(0,\theta )\!}$	پارتو	${\displaystyle x_{m},\,k\!}$	${\displaystyle \max\{\,x_{1},\ldots ,x_{n},x_{\mathrm {m} }\},\,k+n\!}$	${\displaystyle k}$ مشاهدات با مقدار بیشینهٔ ${\displaystyle x_{m}}$
پارتو با کمینهٔ معلوم xm	k (شکل)	گاما	${\displaystyle \alpha ,\,\beta \!}$	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}\!}$	${\displaystyle \alpha }$ مشاهدات با مجموع ${\displaystyle \beta }$ مرتبه بزرگی هر مشاهده (یعنی لگاریتم نسبت هر مشاهده به کمینهٔ ${\displaystyle x_{m}}$)
توزیع وایبول با شکل معلوم β	θ (مقیاس)	توزیع گامای وارونه	${\displaystyle a,b\!}$	${\displaystyle a+n,\,b+\sum _{i=1}^{n}x_{i}^{\beta }\!}$	${\displaystyle a}$ مشاهدات با مجموع ${\displaystyle b}$ β'امین توان هر مشاهده
توزیع لگاریتمی نرمال با دقت معلوم τ	μ (میانگین)	نرمال	${\displaystyle \mu _{0},\,\tau _{0}\!}$	${\displaystyle \left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}\ln x_{i}\right)\right/(\tau _{0}+n\tau ),\,\tau _{0}+n\tau }$	«میانگین» از مشاهداتی با دقت کل (مجموع تمام دقت‌های منفرد)${\displaystyle \tau _{0}}$ و با میانگین نمونهٔ ${\displaystyle \mu _{0}}$ تخمین زده شده‌است.
توزیع لگاریتمی نرمال با میانگین معلوم μ	τ (دقت)	گاما	${\displaystyle \alpha ,\,\beta \!}$[note 2]	${\displaystyle \alpha +{\frac {n}{2}},\,\beta +{\frac {\sum _{i=1}^{n}(\ln x_{i}-\mu )^{2}}{2}}\!}$	دقت از ${\displaystyle 2\alpha }$ مشاهدات با واریانس نمونهٔ ${\displaystyle {\frac {\beta }{\alpha }}}$ (یعنی مجموع مجذور انحرافات لگاریتمی ${\displaystyle 2\beta }$ — یعنی انحرافات لگاریتم نقاط داده از "میانگین")
نمایی	λ (نرخ)	گاما	${\displaystyle \alpha ,\,\beta \!}$[note 2]	${\displaystyle \alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha -1}$ مشاهدات با مجموع ${\displaystyle \beta }$[4]	${\displaystyle \operatorname {Lomax} ({\tilde {x}}|\beta ',\alpha ')}$ (توزیع لوماکس)
گاما با شکل معلوم α	β (نرخ)	گاما	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i}\!}$	${\displaystyle \alpha _{0}/\alpha }$ مشاهدات با مجموع ${\displaystyle \beta _{0}}$	${\displaystyle \operatorname {CG} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',{\beta _{0}}')=\operatorname {\beta '} ({\tilde {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$[note 6]
توزیع گامای وارونه با شکل معلوم α	β (نرخ معکوس)	گاما	${\displaystyle \alpha _{0},\,\beta _{0}\!}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}{\frac {1}{x_{i}}}\!}$	${\displaystyle \alpha _{0}/\alpha }$ مشاهدات با مجموع ${\displaystyle \beta _{0}}$
گاما با نرخ معلوم β	α (شکل)	${\displaystyle \propto {\frac {a^{\alpha -1}\beta ^{\alpha c}}{\Gamma (\alpha )^{b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\displaystyle a\prod _{i=1}^{n}x_{i},\,b+n,\,c+n\!}$	${\displaystyle b}$ or ${\displaystyle c}$ مشاهدات (${\displaystyle b}$ برای تخمین ${\displaystyle \alpha }$, ${\displaystyle c}$ برای تخمین ${\displaystyle \beta }$) با حاصل‌ضرب ${\displaystyle a}$
گاما	α (شکل), β (نرخ معکوس)	${\displaystyle \propto {\frac {p^{\alpha -1}e^{-\beta q}}{\Gamma (\alpha )^{r}\beta ^{-\alpha s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\displaystyle p\prod _{i=1}^{n}x_{i},\,q+\sum _{i=1}^{n}x_{i},\,r+n,\,s+n\!}$	${\displaystyle \alpha }$ از ${\displaystyle r}$ مشاهدات با حاصل‌ضرب ${\displaystyle p}$ تخمین زده شده‌است؛ ${\displaystyle \beta }$ از ${\displaystyle s}$ مشاهدات با مجموع ${\displaystyle q}$ تخمین زده شده‌است.

جستارهای وابسته

• توزیع بتا-دوجمله‌ای

نکات

1. این توزیع پسین پیشگویانه یک نقطهٔ دادهٔ جدید ${\displaystyle {\tilde {x}}}$ با فرض نقاط دادهٔ مشاهده شده‌است که پارامترهای آن حاشیه سازی شده‌است. متغیرهای پریم دار مقادیر پسین پارامترها را نشان می‌دهند.
2. β نرخ یا معکوس مقیاس است. در پارامتر سازی توزیع گاما، θ = 1/β و k = α.
3. این توزیع پسین پیشگویانه نقطهٔ دادهٔ جدید ${\displaystyle {\tilde {x}}}$ با فرض نقاط دادهٔ مشاهده شده‌است که پارامترهای آن حاشیه سازی شده‌است. متغیرهای پریم دار مقادیر پسین پارامترها را نشان می‌دهند. ${\displaystyle {\mathcal {N}}}$ و ${\displaystyle t_{n}}$ به ترتیب به توزیع نرمال و توزیع تی-استیودنت، یا در موارد چند متغیره به توزیع نرمال چند متغیره و توزیع تی چند متغیره اشاره دارند.
4. برحسب گامای وارونه، ${\displaystyle \beta }$ پارامتر مقیاس است.
5. توزیع مزدوج پیشینی متفاوت برای میانگین و واریانس نامعلومی با رابطه ای خطی و ثابت میان آن‌ها در مخلوط نرمال واریانس-میانگین یافت می‌شود که گاوسی معکوس تعمیم‌یافته توزیع مخلوط مزدوج آن است.
6. ${\displaystyle \operatorname {CG} ()}$ یک توزیع گامای مرکب است؛ ${\displaystyle \operatorname {\beta '} ()}$ در اینجا یک توزیع بتا پریم تعمیم یافته است.

منابع

1. Jeff Miller et al. Earliest Known Uses of Some of the Words of Mathematics, "conjugate prior distributions". Electronic document, revision of November 13, 2005, retrieved December 2, 2005.
2. For a catalog, see Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. (2003). Bayesian Data Analysis (2nd ed.). CRC Press. ISBN 1-58488-388-X.
3. Murphy, Kevin P. (2007). "Conjugate Bayesian analysis of the Gaussian distribution" (PDF).
4. Statistical Machine Learning, by Han Liu and Larry Wasserman, 2014, pg. 314: http://www.stat.cmu.edu/~larry/=sml/Bayes.pdf