نیکویی برازش

نیکویی برازش (به انگلیسی: Goodness of fit) یا خوش سازگاری برای یک مدل آماری بیان کننده آن است که آن «مدل آماری» به چه اندازه با یک مجموعه از «مشاهدات» متناسب است. اندازه نیکویی برازش معمولاً تفاوت بین مقادیر مشاهده شده و مقادیر مورد انتظار در مدل بررسی شونده را خلاصه سازی می‌کند. از این اندازه می‌توان در آزمون فرض آماری استفاده کرد، مثلاً برای آزمون بهنجاری باقیمانده، یا برای آزمون آنکه بررسی شود که آیا دو نمونه از یک توزیع یکسان گرفته شده‌اند یا نه، (آزمون کولموگروف–اسمیرنف را ببینید)، یا اینکه آیا فرکانس‌های حاصل شده از توزیع تعیین شده پیروی می‌کنند (آزمون کای مربع پیرسون را ببینید). در تحلیل واریانس، یکی از مولفه‌هایی که واریانس به آن بخش‌بندی می‌شود، می‌تواند فقدان تناسب مجموع مربعات باشد.

بخشی از مجموعه مباحث دربارهٔ آمار
تحلیل رگرسیون
مدل‌ها
رگرسیون خطی رگرسیون ساده خطی ‏(en)‏ رگرسیون چندجمله‌ای ‏(en)‏ رگرسیون چندمتغیره
مدل خطی تعمیم‌یافته انتخاب گسسته ‏(en)‏ رگرسیون لجستیک لوجیت چندجمله‌ای ‏(en)‏ لوجیت آمیخته ‏(en)‏ مدل پروبیت ‏(en)‏ پروبیت چندجمله‌ای ‏(en)‏ لوجیت مرتب ‏(en)‏ پروبیت مرتب ‏(en)‏ رگرسیون پواسون
مدل چندسطحی ‏(en)‏ مدل اثرهای ثابت ‏(en)‏ مدل اثرهای تصادفی ‏(en)‏ مدل آمیخته ‏(en)‏
رگرسیون غیرخطی ‏(en)‏ رگرسیون غیرپارامتریک ‏(en)‏ رگرسیون نیمه‌پارامتریک ‏(en)‏ رگرسیون باثبات رگرسیون چندک رگرسیون ایزوتونیک ‏(en)‏ رگرسیون مولفه اصلی رگرسیون کمترین زاویه رگرسیون موضعی ‏(en)‏ رگرسیون مقطع ‏(en)‏
مدل خطا در متغیرها ‏(en)‏
تخمین
کمترین مربعات کمترین مربعات خطی ‏(en)‏ کمترین مربعات غیرخطی ‏(en)‏
حداقل مربعات معمولی حداقل مربعات وزن‌دار ‏(en)‏ روش تعمیم‌یافته کمترین مربعات
رگرسیون پاره‌ای کمتری مربعات مجموع کمترین مربعات ‏(en)‏ کمترین مربعات نامنفی ‏(en)‏ تنظیم تیخونوف کمترین مربعات منظم ‏(en)‏
کمترین انحرافات مطلق ‏(en)‏ کمترین مربعات بازوزن‌داده مکرر ‏(en)‏ رگرسیون خطی بیزی رگرسیون چندمتغیره خطی بیزی
پیش‌زمینه
اعتبارسنجی مدل رگرسیون ‏(en)‏ پاسخ میانگین و پیش‌بینی‌شده ‏(en)‏ خطاها و باقی‌مانده‌ها در آمار ‏(en)‏ نیکویی برازش باقی‌مانده استودنت‌شده ‏(en)‏ قضیه گوس-مارکف
درگاه آمار

پس از تخمین یک مدل خطی خاص، سؤالی که مطرح می‌شود این است که: خط وایازش تخمین زده شده چه میزان با مشاهدات واقعی تطابق دارد؟ یک معیار سنجش مناسب برای نیکویی برازش (یا برازندگی)، نسبت واریانس نمونه ای y است که بوسیلهٔ مدل توضیح داده می‌شود. این متغیر ${\displaystyle \mathbb {R} ^{2}\,}$ نامیده شده و به صورت زیر تعریف می‌شود: رابطه (۱–۱)${\displaystyle \mathbb {R} ^{2}\,={\dfrac {{\hat {V}}({\hat {y}}_{i})}{{\hat {V}}(y_{i})}}={\dfrac {1/(N-1)\sum _{i=1}^{N}({\hat {y}}_{i}-{\bar {y}})^{2}}{1/(N-1)\sum _{i=1}^{N}(y_{i}-{\bar {y}})^{2}}},}$ که در این رابطه ${\displaystyle {\hat {y}}_{i}=x_{i}\ b}$ است و ${\displaystyle {\bar {y}}=(1/N)\sum y_{i}}$ بیانگر میانگین نمونه ای ${\displaystyle y_{i}}$ می‌باشد. توجه داشته باشید که ${\displaystyle {\bar {y}}}$ مساوی میانگین نمونه ای ${\displaystyle {\hat {y}}_{i}\,}$ است. از شرط مرتبه اول داریم:${\displaystyle \sum _{i=1}^{N}e_{i}\ x_{ik}=0,k=1,...,K}$در نتیجه می‌توانیم ${\displaystyle y_{i}}$ را به صورت زیر تعریف نماییم : ${\displaystyle y_{i}={\hat {y}}_{i}\ +e_{i},}$ که در آن ${\displaystyle \sum e_{i}{\hat {y}}_{i}=0}$ است. در بسیاری از مدل‌های مشابه که شامل عرض از مبدأ هستند رابطه زیر برقرار است: رابطه (2-1)${\displaystyle {\hat {V}}(y_{i})={\hat {V}}({\hat {y}}_{i})+{\hat {V}}(e_{i}),}$ که ${\displaystyle {\hat {V}}(e_{i})=s^{2},}$ است. با استفاده از این رابطه می‌توان ${\displaystyle R^{2}}$ را به صورت زیر بازنویسی کرد: رابطه(۳–۱)${\displaystyle \mathbb {R} ^{2}\,=1-{\dfrac {{\hat {V}}(e_{i})}{{\hat {V}}(y_{i})}}=1-{\dfrac {1/(N-1)\sum _{i=1}^{N}e_{i}^{2}}{1/(N-1)\sum _{i=1}^{N}(y_{i}-{\bar {y}})^{2}}}}$ فوق نشان می‌دهد که واریانس نمونه ای ${\displaystyle y_{i}}$ را می‌توان به صورت حاصل جمع واریانس‌های نمونه ای دو جزء متعامد تجزیه نمود: تخمین زن ${\displaystyle {\hat {y}}_{i}}$و ${\displaystyle e_{i}}$)residual). بنابراین ${\displaystyle \mathbb {R} ^{2}\,}$ بیان می‌کند که چه نسبتی از تغییرات نمونه در ${\displaystyle y_{i}}$ توسط مدل توضیح داده می‌شود. اگر مدل مورد مطالعه شامل عرض از مبدأ باشد دو عبارت فوق برای تعیین ${\displaystyle \mathbb {R} ^{2}\,}$ معادلند. علاوه بر این در این مورد می‌توان نشان داد که مقدار${\displaystyle \mathbb {R} ^{2}\,}$ همواره بین صفر و یک قرار دارد. تن‌ها اگر تمام ${\displaystyle e_{i}=0}$ باشند${\displaystyle \mathbb {R} ^{2}\,}$ مساوی یک خواهد بود و مقدار صفر ${\displaystyle \mathbb {R} ^{2}\,}$ نشان می‌دهد که مدل به جزمیانگین نمونه ای ${\displaystyle y_{i}}$ هیچ چیز دیگری را توضیح نمی‌دهد. در یک مورد استثنایی که مدل شامل عرض از مبدأ نیست دو عبارت مطرح شده برای ${\displaystyle \mathbb {R} ^{2}\,}$ معادل نیستند و این بدین دلیل است که رابطهٔ (۲–۱)نقض می‌شود زیرا ${\displaystyle \sum _{i=1}^{N}e_{i}}$دیگر معادل صفر نمی‌باشد. در این وضعیت ممکن است مقدار ${\displaystyle \mathbb {R} ^{2}\,}$ محاسبه شده از رابطه ی(۳–۱) منفی گردد. یک روش اندازه‌گیری جایگزین که به‌طور معمول به وسیلهٔ نرم‌افزارها مورد استفاده قرار می‌گیرد اگر عرض از مبدأ وجود نداشته باشد ${\displaystyle uncentred\mathbb {R} ^{2}}$است که طبق رابطهٔ زیر تعریف می‌گردد و مقدار آن بزرگتر از ${\displaystyle \mathbb {R} ^{2},}$ استاندارد است: رابطه (۴–۱) ${\displaystyle uncentred\mathbb {R} ^{2}={\dfrac {\sum _{i=1}^{N}{\hat {y}}_{i}^{2}}{\sum _{i=1}^{N}\ y_{i}^{2}}}=1-{\dfrac {\sum _{i=1}^{N}\ e_{i}^{2}}{\sum _{i=1}^{N}\ y_{i}^{2}}}}$ از آنجا که${\displaystyle \mathbb {R} ^{2}\,}$ تغییرات توضیح داده شده در${\displaystyle y_{i}}$ را توضیح می‌دهد نسبت به تغییر این متغیر حساس است؛ بنابراین در مدلهایی که مصرف را توضیح می‌دهند، تغییرات در مصرف یا رشد مصرف الزاماً توسط مقادیر ${\displaystyle \mathbb {R} ^{2}\,}$ شان قابل مقایسه با هم نمی‌باشند. به عنوان مثال تغییر در مصرف کل برای یک کشور مورد نظر معمولاً آسان‌تر از توضیح تغییرات cross-sectional مصرف در سطح خانوار هاست. در نتیجه معیار قطعی برای اینکه یک مقدار ${\displaystyle \mathbb {R} ^{2}\,}$ کم یا زیاد تلقی شود وجود نداردمثلا مقدار ۰٫۲ ممکن است در کارکرد خاص بزرگ و در سایر موارد کم تلقی شود و حتی مقدار ۰٫۹۵ ممکن است در یک مورد خاص کم به‌شمار آید گاهی اوقات ${\displaystyle \mathbb {R} ^{2}\,}$ به عنوان معیاری برای کیفیت مدل آماری تفسیر می‌شود که در این حالت چیزی به جز کیفیت تقریب خطی را اندازه‌گیری نمی‌نماید هنگامی که رویکردOLS برای بدست آوردن بهترین تقریب خطی توسعه داده شود، صرف نظر از درستی مدل و اعتبار فرضیاتش، تخمین مدل خطی به وسیلهٔ OLS بهترین ${\displaystyle \mathbb {R} ^{2}\,}$ ممکن را بدست می‌دهد. هر روش تخمین دیگر اگرچه دارای تخمین زن با مشخصات آماری بهتر تحت فرضیاتش باشد، منجر به ${\displaystyle \mathbb {R} ^{2}\,}$ کمتر ی خواهد شد. هنگامی که مدل توسط OLS تخمین زده نشود دو رابطهٔ (۱–۱) و (۲–۱)معادل نیستند و روشن نیست${\displaystyle \mathbb {R} ^{2}\,}$ چگونه باید تعریف شود. برای استفاده‌های بعدی ما تعریف جایگزینی برای ${\displaystyle \mathbb {R} ^{2}\,}$ ارائه می‌نماییم که برای OLS معادل روابط(۱–۱) و (۲–۱)و برای هر تخمین زن دیگری بین صفر و یک خواهد بود. رابطه(۵–۱) ${\displaystyle \mathbb {R} ^{2}=corr^{2}(y_{i},{\hat {y}}_{i})={\dfrac {(\sum (y_{i}-{\bar {y}})({\hat {y}}_{i}-{\bar {y}}))^{2}}{(\sum (y_{i}-{\bar {y}})^{2})(\sum ({\hat {y}}_{i}-{\bar {y}})^{2})}}}$ که بیانگر مجذور ضریب همبستگی بین مقدار واقعی و fitted value هاست. در نتیجه${\displaystyle \mathbb {R} ^{2}\,}$ مهم‌ترین جنبه از نتایج تخمین ما به‌شمار نمی‌آید. مشکل دیگر ${\displaystyle \mathbb {R} ^{2}\,}$ این است که مقدار ان با افزایش تعداد متغیرهای توضیح دهنده کاهش نمی‌یابد. یک راه معمول برای حل این مشکل تصحیح واریانس تخمین زده شده برای درجات آزادی است. این امر ${\displaystyle adjusted\mathbb {R} ^{2}\,}$ یا ${\displaystyle {\bar {R^{2}}}}$ را نتیجه می‌دهد که طبق رابطهٔ زیر تعریف می‌شود: رابطه(۶–۱) ${\displaystyle {\bar {R^{2}}}=1-{\dfrac {1/(N-K)\sum _{i=1}^{N}e_{i}^{2}}{1/(N-1)\sum _{i=1}^{N}(y_{i}-{\bar {y}})^{2}}}}$ این روش محاسبهٔ نیکویی برازش مقداری جریمه برای افزایش تعداد متغیرهای توضیح دهنده در مدل در نظر می‌گیرد و بنابراین هنگامی که متغیرهای توضیح دهنده به مدل اضافه می‌شوند افزایش نخواهند یافت. در حقیقت آن ممکن است با اضافه شدن یک متغیر به جمع متغیرهای توضیح دهنده کاهش یابد. توجه کنید که در بسیاری از موارد ${\displaystyle {\bar {R^{2}}}}$ ممکن است مقداری منفی باشد و همچنین مقدار آن کوچکتر از ${\displaystyle \mathbb {R} ^{2}\,}$ خواهد بود مگر اینکه مدل تنها شامل جزء ثابت بوده و هر دو مقدار مساوی صفر گردند.

پانویس

منابع

مشارکت‌کنندگان ویکی‌پدیا. «Goodness of fit». در دانشنامهٔ ویکی‌پدیای انگلیسی، بازبینی‌شده در ۳۰ سپتامبر ۲۰۲۰.

۲۰۰۴(A GUIDE TO ECONOMETRICS(VERBEEK