مدل خودهمبسته

در آمار و پردازش سیگنال، مدل خود همبسته (به انگلیسی: Autoregressive model)، نوعی از فرایند تصادفی است که غالباً جهت مدلسازی و پیش‌بینی انواع مختلفی از پدیده‌های طبیعی و اجتماعی به کار می‌رود.

تعریف

عبارت (AR(p به مدل خودهمبستهٔ مرتبهٔ p اشاره دارد و به صورت زیر تعریف می‌شود:

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

که ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ پارامترهای مدل،${\displaystyle c}$ عدد ثابت و ${\displaystyle \varepsilon _{t}}$ نوفه سفید می‌باشد. عددثابت ${\displaystyle c}$ در بسیاری از مواقع جهت سادگی حذف می‌شود. یک مدل خودهمبسته می‌تواند به صورت خروجی یک فیلتر پاسخ ضربه با قطب‌های نامحدود که ورودی آن نوفهٔ سفید است، در نظرگرفته شود.

اعمال برخی محدودیت‌ها بر پارامترهای این مدل، برای فرایند مانا بودن آن الزامی است. برای مثال فرایند (AR(۱ با φ_۱| ≥ ۱| مانا نخواهد بود. به صورت کلی‌تر، برای اینکه مدل (AR(p مانا باشد، ریشه‌های چندجمله‌ای ${\displaystyle \textstyle z^{p}-\sum _{i=1}^{p}\varphi _{i}z^{p-i}}$ باید درون دایرهٔ واحد قرار گیرند، یعنی برای هر ریشهٔ ${\displaystyle z_{i}}$ باید داشته باشیم: ${\displaystyle z_{i}}$|<۱|.

مثال، یک فرایند (AR(۱

یک فرایند (AR(۱ به صورت زیر داریم:

${\displaystyle X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,}$

که ${\displaystyle \varepsilon _{t}}$ نوفه‌ی سفید با میانگین صفر و واریانس ${\displaystyle \sigma _{\varepsilon }^{2}}$ می‌باشد. (توجه کنید که زیرنویس ${\displaystyle \varphi _{1}}$ کنارگذاشته شده‌است.) این فرایند ماناست در صورتی‌که ${\displaystyle |\varphi |<1}$، زیرا در آن صورت مشابه خروجی یک فیلتر پایدار که وردی آن نوفهٔ سفید است، می‌باشد. اگر ${\displaystyle |\varphi |\geq 1}$ در آنصورت ${\displaystyle X_{t}}$ واریانس نامحدود خواهد داشت، و بنابراین مانا نخواهد بود. در نتیجهٔ فرض ${\displaystyle |\varphi |<1}$، میانگین (${\displaystyle {\mbox{E}}(X_{t}}$ برای تمام مقادیر ${\displaystyle t}$ یکسان خواهد بود. با قراردادن میانگین برابر ${\displaystyle \mu }$ خواهیم داشت:

${\displaystyle {\mbox{E}}(X_{t})={\mbox{E}}(c)+\varphi {\mbox{E}}(X_{t-1})+{\mbox{E}}(\varepsilon _{t})\Rightarrow \mu =c+\varphi \mu +0}$

و در نتیجه:

${\displaystyle \mu ={\frac {c}{1-\varphi }}}$

به صورت خاص اگر ${\displaystyle c=0}$، در آن صورت میانگین برابر صفر خواهد بود. نشان داده می‌شود که واریانس برابر خواهد بود با:

${\displaystyle {\textrm {var}}(X_{t})=E(X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}}$

که ${\displaystyle \sigma _{\varepsilon }}$ واریانس ${\displaystyle \varepsilon _{t}}$ می‌باشد. اتوکواریانس برابر خواهد بود با:

${\displaystyle B_{n}=E(X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}}$

تابع اتوکواریانس با ثابت زمانی ${\displaystyle \tau =-1/\ln(\varphi )}$ تنزیل می‌یابد. (برای اثبات کافی است ${\displaystyle B_{n}}$ به صورت ${\displaystyle B_{n}=K\varphi ^{|n|}}$ نوشته شود. توجه کنید که در این صورت خواهیم داشت: ${\displaystyle \varphi ^{|n|}=e^{|n|\ln \varphi }}$)

تابع چگالی طیفی، تبدیل فوریه تابع اتوکواریانس خواهد بود. در شرایط گسسته، تبدیل فوریه گسسته زمان تابع اتوکواریانس برابر خواهد بود با:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right)}$

این عبارت به علت ساختار گسستهٔ ${\displaystyle X_{j}}$، متناوب است، که در عبارت کسینوسی مخرج خود را نشان می‌دهد.

اگر فرض کنیم که زمان نمونه‌برداری (${\displaystyle \Delta t=1}$) نسبت به ثابت زمانی (${\displaystyle \tau }$) خیلی کوچک‌تر باشد، می‌توانیم از تقریب پیوستهٔ ${\displaystyle B_{n}}$ استفاده کنیم: ${\displaystyle B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$ که فرم لورنتزین تابع چگالی طیفی را نتیجه می‌دهد:

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

که ${\displaystyle \gamma =1/\tau }$ فرکانس زاویه‌ای متناسب با ثابت زمانی ${\displaystyle \tau }$ می‌باشد. نمایش دیگر برای ${\displaystyle X_{t}}$ از طریق جایگزین کردن ${\displaystyle X_{t-1}}$ با ${\displaystyle c+\varphi X_{t-2}+\varepsilon _{t-1}}$ در فرمول اصلی ${\displaystyle X_{t}}$ بدست می‌آید. با ${\displaystyle N}$ بار تکرار این جایگزینی خواهیم داشت:

${\displaystyle X_{t}=c\sum _{k=0}^{N-1}\varphi ^{k}+\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}}$

با میل کردن N به سمت بینهایت، ${\displaystyle \varphi ^{N}}$ به صفر میل کرده و خواهیم داشت:

${\displaystyle X_{t}={\frac {c}{1-\varphi }}+\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}}$

در آن صورت ${\displaystyle X_{t}}$ به صورت مجموعه‌ای از جملات اخلال به علاوهٔ میانگین ثابت درمی‌آید. در واقع این نمایش معادل یک میانگین متحرک از مرتبهٔ بینهایت، ${\displaystyle MA(\infty )}$ خواهد بود. اگر ${\displaystyle \varepsilon _{t}}$ یک فرایند گوسی باشد، ${\displaystyle X_{t}}$ نیز فرایند گوسی خواهد بود. در حالات دیگر، قضیه حد مرکزی بیان می‌کند که ${\displaystyle X_{t}}$، زمانی‌که ${\displaystyle \varphi }$ مقداری نزدیک به یک داشته باشد، به صورت تقریبی توزیع نرمال خواهد داشت.

محاسبهٔ پارامترهای AR

مدل (AR(p با معادلهٔ زیر داریم:

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,}$

یک تناظر مستقیم میان پارامترهای ${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$ و تابع کواریانس فرایند وجود دارد، این تناظر می‌تواند به گونه‌ای معکوس شود که پارامترها از روی تابع خودهمبستگی (که از کواریانس‌ها بدست می‌آید) تعیین و محاسبه شوند. این محاسبه از طریق حل معادلات یول-واکر انجام می‌شود:

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0}}$

که با p + 1، m = 0, ... , p معادله خواهیم داشت. ${\displaystyle \gamma _{m}}$ تابع خودهمبستگی Xو ${\displaystyle \sigma _{\varepsilon }}$ انحراف معیار فرایند جملهٔ اخلال ورودی و ${\displaystyle \delta _{m,0}}$ تابع دلتای کرونکر، ضربهٔ کرونکر، است.

از آنجا که قسمت آخر معادله، ${\displaystyle \delta _{m,0}}$، تنها در زمانی‌که m = ۰ باشد، غیر صفر است، معادله غالباً از طریق نمایش ماتریس برای m> 0 حل می‌شود، در این صورت خواهیم داشت:

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\dots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\dots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\dots \\\vdots &\vdots &\vdots &\ddots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\end{bmatrix}}}$

برای m = ۰ داریم:

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2}}$

که به اما اجازه می‌دهد ${\displaystyle \sigma _{\varepsilon }^{2}}$ را حل کنیم.

معادلات بالا، معادلات یول-واکر، از طریق جایگزین کردن کواریانس‌های نظری با مقادیر تخمین زده شده، یک مسیر برای تخمین پارامترهای مدل (AR(p فراهم می‌کنند. یک راه برای محاسبهٔ کواریانس‌های تخمین زده شده استفاده از برازش حداقل مربعات، رگرسیون خطی، مقادیرX_t بر p مقدار قبلی خود می‌باشد.

استخراج

معادلهٔ معرف فرایند (AR(p:

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}.\,}$

با ضرب هر دو طرف معادله در X_t − m و گرفتن امید انتظاری خواهیم داشت:

${\displaystyle E[X_{t}X_{t-m}]=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+E[\varepsilon _{t}X_{t-m}].}$

بنابر تعریف تابع خودهمبستگی داریم: ${\displaystyle E[X_{t}X_{t-m}]=\gamma _{m}}$. مقادیر جملهٔ اخلال از یکدیگر مستقل بوده و X_t − m به ازای m> 0، مستقل از ε_t است، یعنی برای m> 0 داریم:، E[ε_tX_t − m] = ۰. برای m = ۰:

${\displaystyle E[\varepsilon _{t}X_{t}]=E\left[\varepsilon _{t}\left(\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}\right)\right]=\sum _{i=1}^{p}\varphi _{i}\,E[\varepsilon _{t}\,X_{t-i}]+E[\varepsilon _{t}^{2}]=0+\sigma _{\varepsilon }^{2},}$

برای m ≥ ۰ داریم:

${\displaystyle \gamma _{m}=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+\sigma _{\varepsilon }^{2}\delta _{m}.}$

بعلاوه داریم:

${\displaystyle E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]=\sum _{i=1}^{p}\varphi _{i}\,E[X_{t}X_{t-m+i}]=\sum _{i=1}^{p}\varphi _{i}\,\gamma _{m-i},}$

از جایگذاری معادلهٔ بالا در معادلهٔ ${\displaystyle \gamma _{m}}$، معادلات یول-واکر تولید می‌شود، برای m ≥ ۰:

${\displaystyle \gamma _{m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{m-i}+\sigma _{\varepsilon }^{2}\delta _{m}.}$

برای m <0 داریم:

${\displaystyle \gamma _{m}=\gamma _{-m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{|m|-i}+\sigma _{\varepsilon }^{2}\delta _{m}.}$

منابع

• Mills, Terence C. Time Series Techniques for Economists. Cambridge University Press, 1990.
• Percival, Donald B. and Andrew T. Walden. Spectral Analysis for Physical Applications. Cambridge University Press, 1993.
• Pandit, Sudhakar M. and Wu, Shien-Ming. Time Series and System Analysis with Applications. John Wiley & Sons, Inc. , 1983.
• G. Udny Yule On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers Philosophical Transactions of the Royal Society of London, Ser. A, Vol. 226, (1927) 267--298.
• Gilbert Walker On Periodicity in Series of Related Terms, Proceedings of the Royal Society of London, Ser. A, Vol. 131, (1931) 518--532.