قضیه گوس-مارکوف

در علم آمار، قضیه گوس-مارکف (به انگلیسی: Gauss–Markov theorem) بیان می‌کند که در یک مدل خطی که خطاهای آن امید ریاضی صفر داشته، ناهمبسته بوده، و واریانسهای مساوی دارند، بهترین برآوردگر خطی نااریب برای ضرایب سیستم برابر برآوردگر کمترین مربعات می‌باشد.[1][2] شرح مدل خطی به صورت دقیقتر اینگونه‌است که

${\displaystyle \ E(ee')=\sigma ^{2}I.}$ ${\displaystyle \ E(e)=0,}$ ${\displaystyle \ Y=X\beta +e,}$

بخشی از مجموعه مباحث دربارهٔ آمار
تحلیل رگرسیون
مدل‌ها
رگرسیون خطی رگرسیون ساده خطی ‏(en)‏ رگرسیون چندجمله‌ای ‏(en)‏ رگرسیون چندمتغیره
مدل خطی تعمیم‌یافته انتخاب گسسته ‏(en)‏ رگرسیون لجستیک لوجیت چندجمله‌ای ‏(en)‏ لوجیت آمیخته ‏(en)‏ مدل پروبیت ‏(en)‏ پروبیت چندجمله‌ای ‏(en)‏ لوجیت مرتب ‏(en)‏ پروبیت مرتب ‏(en)‏ رگرسیون پواسون
مدل چندسطحی ‏(en)‏ مدل اثرهای ثابت ‏(en)‏ مدل اثرهای تصادفی ‏(en)‏ مدل آمیخته ‏(en)‏
رگرسیون غیرخطی ‏(en)‏ رگرسیون غیرپارامتریک ‏(en)‏ رگرسیون نیمه‌پارامتریک ‏(en)‏ رگرسیون باثبات رگرسیون چندک رگرسیون ایزوتونیک ‏(en)‏ رگرسیون مولفه اصلی رگرسیون کمترین زاویه رگرسیون موضعی ‏(en)‏ رگرسیون مقطع ‏(en)‏
مدل خطا در متغیرها ‏(en)‏
تخمین
کمترین مربعات کمترین مربعات خطی ‏(en)‏ کمترین مربعات غیرخطی ‏(en)‏
حداقل مربعات معمولی حداقل مربعات وزن‌دار ‏(en)‏ روش تعمیم‌یافته کمترین مربعات
رگرسیون پاره‌ای کمتری مربعات مجموع کمترین مربعات ‏(en)‏ کمترین مربعات نامنفی ‏(en)‏ تنظیم تیخونوف کمترین مربعات منظم ‏(en)‏
کمترین انحرافات مطلق ‏(en)‏ کمترین مربعات بازوزن‌داده مکرر ‏(en)‏ رگرسیون خطی بیزی رگرسیون چندمتغیره خطی بیزی
پیش‌زمینه
اعتبارسنجی مدل رگرسیون ‏(en)‏ پاسخ میانگین و پیش‌بینی‌شده ‏(en)‏ خطاها و باقی‌مانده‌ها در آمار ‏(en)‏ نیکویی برازش باقی‌مانده استودنت‌شده ‏(en)‏ قضیه گوس-مارکف
درگاه آمار

بطوری که ${\displaystyle \ X}$ ماتریس مدل بوده که معلوم و ثابت است، ${\displaystyle \ \beta }$ برداری نامعلوم با ابعاد ${\displaystyle p\times 1}$ در فضای ${\displaystyle \ R^{p}}$ است. بردار ${\displaystyle \ e}$ نیز بردار خطا می‌باشد.[1] در اینجا بهترین به معنای آن است که برآوردگر مورد نظر کمترین واریانس را در مقایسه با سایر برآوردگرهای خطی، داشته باشد. لازم نیست جمله‌های خطا توزیع طبیعی داشته باشند یا توزیع مستقل و یکسان داشته باشند و فرض ضروری ناهمبسته بودن و واریانس همسانی جمله‌های خطا می‌باشد. این قضیه به افتخار کارل فریدریش گاوس و آندری مارکوف نام‌گذاری شده‌است.

صورت قضیه

تساوی زیر را که به شکل ماتریسی نوشته شده‌است، در نظر بگیرید:

${\displaystyle y=X\beta +\varepsilon ,\quad (y,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K}{\text{ and }}X\in \mathbb {R} ^{n\times K})}$

که فرم باز شدهٔ آن به شکل زیر در می‌آید:

${\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad \forall i=1,2,\ldots ,n}$

در اینجا ${\displaystyle \beta _{j}}$ پارامترهای غیر تصادفی و غیرقابل مشاهده می‌باشند، ${\displaystyle X_{ij}}$ متغیرهای توضیحی خوانده می‌شوند که غیرتصادفی و قابل مشاهده می‌باشند،${\displaystyle y_{i}}$ و ${\displaystyle \varepsilon _{i}}$ تصادفی می‌باشند. متغیرهای تصادفی ${\displaystyle \varepsilon _{i}}$ «خطا» یا «اغتشاش» نامیده می‌شوند و باید بین آن‌ها و جمله‌های باقی‌مانده تمایز قائل شد. توجه کنید معمولاً با معرفی متغیر ${\displaystyle X_{i(K+1)}=1}$ در مدل رگرسیون خطی، جملهٔ ثابت ${\displaystyle \beta _{K+1}}$ را به مدل اضافه می‌کنند. قضیهٔ گاوس-مارکوف سه فرض اساسی در مورد متغیرهای تصادفی ${\displaystyle \varepsilon _{i}}$ دارد:

• همهٔ آن‌ها دارای میانگین صفر می‌باشند:

${\displaystyle \operatorname {E} [\varepsilon _{i}]=0}$

• جمله‌های خطا، واریانس همسانی دارند بدین معنی که واریانس آن‌ها محدود است:

${\displaystyle \operatorname {Var} (\varepsilon _{i})=\sigma ^{2}<\infty }$

• جمله‌های خطای متمایز ناهمبسته می‌باشند:

${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\forall i\neq j}$

برآوردگر خطی ${\displaystyle \beta _{j}}$ یک ترکیب خطی به شکل زیر می‌باشد:

${\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}}$

ضرایب ${\displaystyle c_{ij}}$ در معادلهٔ بالا مستقل از ضرایب ${\displaystyle \beta _{j}}$ می‌باشند زیرا همان‌طور که گفته شد ${\displaystyle \beta _{j}}$ قابل مشاهده نیستند ولی می‌توانند تابعی از مقادیر ${\displaystyle X_{ij}}$ باشند زیرا این داده‌ها قابل مشاهده می‌باشند. یک برآوردگر، نااریب می‌باشد اگر و تنها اگر

${\displaystyle \operatorname {E} ({\widehat {\beta }}_{j})=\beta _{j}}$

عبارت ${\displaystyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$را که یک ترکیب خطی از ضرایب می‌باشد، در نظر بگیرید، میانگین مربعات خطا به شکل زیر تعریف می‌شود:

${\displaystyle \operatorname {E} [(\sum _{j=1}^{K}\lambda _{j}({\widehat {\beta }}_{j}-\beta _{j}))^{2}]}$

توجه کنید چون در اینجا برآوردگر تمام پارامترها نااریب می‌باشند در نتیجه عبارت بالا معادل واریانس ترکیب خطی مذکور می‌باشد. بهترین برآوردگر خطی نااریب بردار پارامترهای ${\displaystyle \beta _{j}}$ بدین معناست که ترکیب خطی پارامترها به ازای هر بردار ${\displaystyle \lambda }$، دارای کمترین میانگین مربعات خطا می‌باشد. این شرط معادل این است که عبارت زیر یک ماتریس مثبت نیمه معین باشد:

${\displaystyle \operatorname {Var} ({\tilde {\beta }}_{j})-\operatorname {Var} (\beta _{j})}$

که در آن ${\displaystyle {\tilde {\beta }}_{j}}$ یک برآوردگر خطی نااریب می‌باشد. برآوردگر حداقل مربعات معمولی تابعی از ${\displaystyle X}$، ${\displaystyle y}$ و ${\displaystyle X'}$(ترانهادهٔ ماتریس ${\displaystyle X}$) به فرم زیر می‌باشد:

${\displaystyle {\widehat {\beta }}_{j}=(X'X)^{-1}X'y}$

ایدهٔ اصلی اثبات این است که برآوردگر حداقل مربعات معمولی با هر برآوردگر خطی نااریب دیگر ناهمسبته می‌باشد. در ادامه به اثبات قضیه می‌پردازیم.

اثبات[3]

${\displaystyle {\tilde {\beta }}=Cy}$ به عنوان برآوردگر خطی ${\displaystyle \beta }$ در نظر بگیرید، ماتریس ${\displaystyle C}$ را می‌توان اینگونه ${\displaystyle C=(X'X)^{-1}X+D}$ نوشت، که در آن${\displaystyle D}$ یک ماتریس ${\displaystyle K{\times }n}$ و غیر صفر می‌باشد. در ادامهٔ اثبات نشان می‌دهیم واریانس این برآوردگر نمی‌تواند کمتر از واریانس برآوردگر حداقل مربعات معمولی ${\displaystyle {\widehat {\beta }}}$ باشد.

${\displaystyle {\begin{aligned}\operatorname {E} \left[{\tilde {\beta }}\right]&=\operatorname {E} [Cy]\\&=\operatorname {E} \left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{aligned}}}$

شرط نااریب بودن برآوردگر بالا تنها در صورتی برقرار است که ${\displaystyle DX=0}$ باشد؛ بنابراین:

${\displaystyle {\begin{aligned}\operatorname {Var} \left({\tilde {\beta }}\right)&=\operatorname {Var} (Cy)\\&=C{\text{ Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{aligned}}}$

چون ${\displaystyle DD'}$ یک ماتریس مثبت نیمه معین می‌باشد بنابراین ${\displaystyle \operatorname {Var} ({\tilde {\beta }})}$ نمی‌تواند کمتر از ${\displaystyle \operatorname {Var} ({\widehat {\beta }})}$ باشد و اثبات کامل می‌شود.

جستارهای وابسته

• رگرسیون خطی
• متغیرهای تصادفی مستقل با توزیع یکسان
• واریانس ناهمسانی

پانویس

1. Hinkelmann, ‎Klaus (1994), Design and Analysis of Experiments: Introduction to experimental design, به کوشش Klaus Hinkelmann, Oscar Kempthorne. Oscar Kempthorne, John Wiley and Sons, p. p. 117, ISBN 0-471-55178-3
2. Hastie, ‎Trevor (2007), The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Jerome Friedman, Robert Tibshirani, Springer, p. p. 49, ISBN 0-387-95284-5
3. Davidson, Russell، Mackinnon, David (۲۰۰۴). Econometric Theory And Methods. Canada: Oxford University Press. شابک ۰۱۹۵۱۲۳۷۲۷, ۹۷۸۰۱۹۵۱۲۳۷۲۲ مقدار |شابک= را بررسی کنید: invalid character (کمک).

1. Davison, Russell, MacKinnon, David. Econometric Theory And Methods Canada: Oxford university press, 2004.
2. ویکی‌پدیای انگلیسی
3. http://qed.econ.queensu.ca/ETM/data/