رگرسیون لارس

رگرسیون لارس یا رگرسیون کمترین زاویه[persian-alpha 1] یکی از روش‌های تحلیل رگرسیون است که در آن ضرایب رگرسیون در یک فرایند افزایشی تخمین زده می‌شوند.[1]

نحوه تخمین افزایشی ضرایب در رگرسیون کمترین زاویه (لارس)، در این شکل لارس ۱۱ ضریب برای مدل رگرسیون تولید می‌کند که با ۱۱ رنگ در شکل نشان داده شده‌اند. محور افقی مجموع نرمالیزه شده ضرایب را در ۱۱ مرحله نشان می‌دهد به این معنی که در هر مرحله مجموع ضرایب آن مرحله تقسیم بر مجموع ضرایب مرحله آخر می‌شود. محور عمودی اندازه ضرایب را در هر مرحله نشان می‌دهد. هر خطی سیاه عمودی نشان‌دهنده اضافه شدن یک ضریب جدید به مدل است. همان‌طور شکل نشان می‌دهد هر ضریب بعد از انتخاب شدن مرتباً تغییر خواهد کرد و این تغییر در راستای جهتی است که کمترین مربعات با متغیرهای مستقل اضافه شده ساخته‌است.

الگوریتم

در رگرسیون کمترین زاویه که به آن رگرسیون لارس هم گفته می‌شود، ضرایب رگرسیون در یک فرایند افزایشی به شکل زیر تخمین زده می‌شوند:[1]

• در ابتدا تمام ضرایب ${\displaystyle \beta _{i}}$ با عدد صفر مقداردهی می‌شوند.
• متغیر مستقل ${\displaystyle x_{j}}$ که بیشترین ضریب همبستگی را با متغیر وابسته ${\displaystyle y}$ دارد انتخاب می‌شود.
• ${\displaystyle \beta _{j}}$ در جهت علامت ضریب همبستگی افزایش می‌یابد تا جایی که همبستگی متغیر دیگری مانند ${\displaystyle x_{k}}$ با مانده ${\displaystyle r=y-{\hat {y}}}$ از همبستگی ${\displaystyle x_{j}}$ با مانده فزونی بیابد.
• حال (${\displaystyle \beta _{j}}$, ${\displaystyle \beta _{k}}$) در جهت بردار بهینه‌ای که از کمترین مربعاتِ (${\displaystyle x_{j}}$, ${\displaystyle x_{k}}$) به‌دست آمده افزایش داده می‌شود و همزمان مانده‌ها نیز محاسبه می‌شوند. متغیر دیگری پیدا می‌شود که همبستگی بیشتری با مانده متغیرهایی که تا به حال انتخاب شده‌اند داشته باشد، و به جمع متغیرهایی انتخاب شده اضافه می‌شود و این روند تا انتخاب تمام متغیرها ادامه خواهد یافت.

رگرسیون لارس مانند رگرسیون لَسو باعث می‌شوند مدل نهائی خلوت شود و بسیاری از ضرایبِ مدل صفر شود. این مدل برای داده‌هایی بُعد بالا مورد استفاده قرار می‌گیرد.[2]

جستارهای وابسته

• رگرسیون خطی
• رگرسیون چندک
• رگرسیون لجستیک
• رگرسیون پواسون
• رگرسیون چند متغیره

یادداشت‌ها

1. least-angle regression (LARS)

منابع

1. Efron, Bradley; Hastie, Trevor; Johnstone, Iain; Tibshirani, Robert (2004). "Least Angle Regression" (PDF). Annals of Statistics. 32 (2): pp. 407&ndash, 499. arXiv:math/0406456. doi:10.1214/009053604000000067. MR 2060166. Archived (PDF) from the original on 19 June 2018. Retrieved 4 August 2019.
2. Fraley, Chris; Meier, Lukas; Choi, Nam Hee; Hesterberg, Tim (2008). "Least angle and ℓ1 penalized regression: A review". Statistics Surveys. 2: 61–93. doi:10.1214/08-SS035. ISSN 1935-7516. Archived from the original on 29 March 2019. Retrieved 17 August 2019.