رگرسیون پواسون

در آمار، رگرسیون پواسون نوعی از تحلیل رگرسیون و زیرمجموعه‌ای از مدل‌های خطی تعمیم‌یافته است که برای تحلیل داده‌های حاصل از شمارش به کار می‌رود. اگر ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ برداری از متغیر وابسته و مستقل باشد، فرم زیر را می‌گیرد:[1]

${\displaystyle \log(\operatorname {E} (Y|\mathbf {x} ))=\mathbf {a} '\mathbf {x} +b,\,}$

بخشی از مجموعه مباحث دربارهٔ آمار
تحلیل رگرسیون
مدل‌ها
رگرسیون خطی رگرسیون ساده خطی ‏(en)‏ رگرسیون چندجمله‌ای ‏(en)‏ رگرسیون چندمتغیره
مدل خطی تعمیم‌یافته انتخاب گسسته ‏(en)‏ رگرسیون لجستیک لوجیت چندجمله‌ای ‏(en)‏ لوجیت آمیخته ‏(en)‏ مدل پروبیت ‏(en)‏ پروبیت چندجمله‌ای ‏(en)‏ لوجیت مرتب ‏(en)‏ پروبیت مرتب ‏(en)‏ رگرسیون پواسون
مدل چندسطحی ‏(en)‏ مدل اثرهای ثابت ‏(en)‏ مدل اثرهای تصادفی ‏(en)‏ مدل آمیخته ‏(en)‏
رگرسیون غیرخطی ‏(en)‏ رگرسیون غیرپارامتریک ‏(en)‏ رگرسیون نیمه‌پارامتریک ‏(en)‏ رگرسیون باثبات رگرسیون چندک رگرسیون ایزوتونیک ‏(en)‏ رگرسیون مولفه اصلی رگرسیون کمترین زاویه رگرسیون موضعی ‏(en)‏ رگرسیون مقطع ‏(en)‏
مدل خطا در متغیرها ‏(en)‏
تخمین
کمترین مربعات کمترین مربعات خطی ‏(en)‏ کمترین مربعات غیرخطی ‏(en)‏
حداقل مربعات معمولی حداقل مربعات وزن‌دار ‏(en)‏ روش تعمیم‌یافته کمترین مربعات
رگرسیون پاره‌ای کمتری مربعات مجموع کمترین مربعات ‏(en)‏ کمترین مربعات نامنفی ‏(en)‏ تنظیم تیخونوف کمترین مربعات منظم ‏(en)‏
کمترین انحرافات مطلق ‏(en)‏ کمترین مربعات بازوزن‌داده مکرر ‏(en)‏ رگرسیون خطی بیزی رگرسیون چندمتغیره خطی بیزی
پیش‌زمینه
اعتبارسنجی مدل رگرسیون ‏(en)‏ پاسخ میانگین و پیش‌بینی‌شده ‏(en)‏ خطاها و باقی‌مانده‌ها در آمار ‏(en)‏ نیکویی برازش باقی‌مانده استودنت‌شده ‏(en)‏ قضیه گوس-مارکف
درگاه آمار

که در آن ${\displaystyle \mathbf {a} \in \mathbb {R} ^{n}}$ و ${\displaystyle b\in \mathbb {R} }$. می‌توان فرم بالا را به این صورت نیز نوشت:

${\displaystyle \log(\operatorname {E} (Y|\mathbf {x} ))={\boldsymbol {\theta }}'\mathbf {x} ,\,}$

که در آن x بردار (${\displaystyle \mathbf {n+1} }$)-بعدی از متغیرهاست. با داشتن پارامتر رگرسیون پواسون ${\displaystyle \mathbf {\theta } }$ و بردار ورودی ${\displaystyle \mathbf {x} }$، می‌توان پیش‌بینی را به اینصورت بدست آورد:

${\displaystyle \operatorname {E} (Y|\mathbf {x} )=e^{\left({{\boldsymbol {\theta }}'\mathbf {x} }\right)}.\,}$

تخمین پارامترها بر اساس بیشینه درست نمایی

بردار متغیر وابسته ${\displaystyle x}$ است و ${\displaystyle \theta }$ پارامتر مدل رگرسیون پوسان است، ${\displaystyle Y}$ متغیر مستقل است که آنرا با یک توزیع پوسان شبیه‌سازی می‌کنیم که میانگین آن در معادله پایین آمده‌است:[2]

${\displaystyle \lambda$ :=\operatorname {E} (Y\mid x)=e^{\theta 'x},\,}

از این رو تابع احتمال این توزیع برابر است با:

${\displaystyle p(y\mid x;\theta )={\frac {\lambda ^{y}}{y!}}e^{-\lambda }={\frac {e^{y\theta 'x}e^{-e^{\theta 'x}}}{y!}}}$

حال اگر فرض کنیم که ${\displaystyle m}$ داده داریم یعنی ${\displaystyle (x_{1},y_{1}),\cdots ,(x_{m},y_{m})}$ و مقادیر متغیر مستقل از مجموعه اعداد طبیعی می‌آید یعنی ${\displaystyle y_{1},\ldots ,y_{m}\in \mathbb {N} }$ و متغیرهای وابسته ${\displaystyle n+1}$ هستند یعنی ${\displaystyle x_{i}\in \mathbb {R} ^{n+1},\,i=1,\ldots ,m}$ آنگاه احتمال متغیرهای مستقل به شرط مشاهده متغیرهای وابسته برابر خواهد شد با:

${\displaystyle p(y_{1},\ldots ,y_{m}\mid x_{1},\ldots ,x_{m};\theta )=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.}$

حال بر حسب اصل بیشینه‌سازی درست نمایی باید به دنبال پارامتری بگردیم که این درست نمایی به بیشترین مقدار خود برسد، یعنی تابع پایین بیشینه شود:

${\displaystyle L(\theta \mid X,Y)=\prod _{i=1}^{m}{\frac {e^{y_{i}\theta 'x_{i}}e^{-e^{\theta 'x_{i}}}}{y_{i}!}}.}$

از آنجا که تابع لگاریتم مطلقاً صعودی است به‌جای بیشینه کردن تابع درست نمایی می‌توان لگاریتم آن را بیشینه کرد که تابع را ساده‌تر می‌کند. به عبارتی دیگر همان پارامتری که لگاریتم تابع درست نمایی را بیشینه می‌کند، همان پارامتر، خودِ تابع درست نمایی را نیز بیشنه می‌کند. لگاریتم تابع با معادله پایین برابر خواهد شد:

${\displaystyle \ell (\theta \mid X,Y)=\log L(\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}-\log(y_{i}!)\right).}$

از آنجا که ${\displaystyle \sum _{i=1}^{m}\log(y_{i}!)}$ ثابت است و پارامتر ${\displaystyle \theta }$ را در خود ندارد می‌توان آنرا از تابع حذف کرد و به تابع پایین رسید[2]

${\displaystyle \ell (\theta \mid X,Y)=\sum _{i=1}^{m}\left(y_{i}\theta 'x_{i}-e^{\theta 'x_{i}}\right).}$

حال برای پیدا کردن بیشینه تابعِ ${\displaystyle \ell (\theta \mid X,Y)}$ باید گرادیان آنرا با صفر یکی کرد، یعنی ${\displaystyle {\frac {\partial \ell (\theta \mid X,Y)}{\partial \theta }}=0}$. این معادله اما جوابی در فرم بسته ندارد و باید جواب آنرا از روشی دیگر پیدا کرد. از آنجا که ${\displaystyle -\ell (\theta \mid X,Y)}$ تابعی محّدب است، می‌توان به پارامتر بهینه یعنی پارامتری که ${\displaystyle -\ell (\theta \mid X,Y)}$ را کمینه و ${\displaystyle \ell (\theta \mid X,Y)}$ را بیشینه کند با روشهای بهینه‌سازی محّدب مانند گرادیان کاهشی رسید.

رگرسیون پواسون تنظیم شده

برای جلوگیری از بیش‌برازش در رگرسیون پواسون، جریمه‌ای برای پارامترهای بزرگ در نظر گرفته می‌شود و تابع پایین به‌جای تابع ${\displaystyle \sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}}))}$ بهینه می‌گردد:[3]

${\displaystyle \sum _{i=1}^{m}\log(p(y_{i};e^{\theta 'x_{i}}))-\lambda \left\|\theta \right\|_{2}^{2}}$

جستارهای وابسته

• توزیع پواسون
• رگرسیون خطی
• رگرسیون لجیستیک
• رگرسیون لارس
• رگرسیون چندک
• مایکروسافت اکسل
• آر (زبان برنامه‌نویسی)
• ساس (نرم‌افزار)
• اس‌پی‌اس‌اس
• متلب

منابع

• Cameron, A.C. and P.K. Trivedi (1998). Regression analysis of count data, Cambridge University Press. ISBN 0-521-63201-3
• Christensen، Ronald (۱۹۹۷). Log-linear models and logistic regression. Springer Texts in Statistics (ویراست Second). New York: Springer-Verlag. صص. xvi+۴۸۳. MR 1633357. شابک ۰-۳۸۷-۹۸۲۴۷-۷.
• Hilbe, J. M. (2007). Negative Binomial Regression, Cambridge University Press. ISBN 978-0-521-85772-7

1. Greene, William H. (2003). Econometric Analysis (Fifth ed.). Prentice-Hall. pp. 740–752. ISBN 978-0-13-066189-0.
2. MacDonald, John M.; Berk, Richard (2008-09-01). "Overdispersion and Poisson Regression". Journal of Quantitative Criminology. 24 (3): 269–284. doi:10.1007/s10940-008-9048-4. ISSN 1573-7799.
3. Perperoglou, Aris (2011-09-08). "Fitting survival data with penalized Poisson regression". Statistical Methods & Applications. Springer Nature. 20 (4): 451–462. doi:10.1007/s10260-011-0172-1. ISSN 1618-2510.