لسو

لَسو[persian-alpha 1] یکی از روش‌های تنظیم مدل برای جلوگیری از بیش‌بردازش در رگرسیون است که باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت[persian-alpha 2] شود.[1] در روش لَسو نُرمِ ${\displaystyle L_{1}}$ به تابع هزینه اضافه می‌شود.[1]

تعریف ریاضی

اگر در مسئله رگرسیون داده‌ها را با ${\displaystyle D=({x_{1}},y_{1}),\cdots ({x_{N}},y_{N})}$ نمایش دهیم، هدف بدست آوردن ${\displaystyle y}$ از ترکیبی خطی از ${\displaystyle x}$ است یعنی ${\displaystyle x^{T}\beta +\beta _{0}}$ . در اینجا ${\displaystyle \beta }$ و ${\displaystyle x}$ هر دو بردار و دارای بعد یکسان هستند. رگرسیون خطی معمولی به شکل پایین در پی یافتن ${\displaystyle \beta }$ و ${\displaystyle \beta _{0}}$ بهینه است:

${\displaystyle \min _{\beta _{0},\beta }\left\{{\frac {1}{N}}\sum _{i=1}^{N}(y_{i}-\beta _{0}-x_{i}^{T}\beta )^{2}\right\}}$

حال اگر داده‌ها را در ماتریس ${\displaystyle X}$ و بردار ${\displaystyle Y}$ بگنجانیم مسئله به عبارت پایین تغییر شکل می‌دهد:

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}\right\}}$

پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش[persian-alpha 3] برای مدل بیشتر است.[2] پدیدهٔ بیش‌برازش زمانی رخ می‌دهد که مدل به‌جای یادگیری الگوهای موجود در داده، خود داده را به خاطر می‌سپارد. در این حالت، مدل برای آن مجموعه دادهٔ به‌خصوص خوب عمل می‌کند اما برای داده‌های مشابه دیگر عملکرد خوبی ندارد، که یعنی عمل یادگیری به خوبی انجام نشده‌است. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک، یک «جریمه»[persian-alpha 4] به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل گفته می‌شود.[3] در روش لَسو ضریبی از نُرمِ ${\displaystyle L_{1}}$ به تابع هزینه اضافه می‌شود:

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}+\lambda \|\beta \|_{1}\right\}}$

این کار باعث می‌شود بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت شود.[1] اضافه کردن ضریبی از نُرمِ ${\displaystyle L_{1}}$ به تابع هزینه معادلِ ایجاد محدودیتی بر روی نُرمِ ${\displaystyle L_{1}}$ پارامتر است:

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}\left\{{\frac {1}{N}}\left\|Y-X\beta \right\|_{2}^{2}\right\}{\text{ subject to }}\|\beta \|_{1}\leq t}$

یادداشت‌ها

1. LASSO مخفف least absolute shrinkage and selection operator
2. sparse
3. overfitting
4. penalty

منابع

1. Natarajan, B. K. (1995). "Sparse Approximate Solutions to Linear Systems". SIAM Journal on Computing. 24 (2): 227–234. doi:10.1137/s0097539792240406. ISSN 0097-5397. Archived from the original on 24 May 2019. Retrieved 17 December 2019.
2. Bühlmann, Peter; van de Geer, Sara (2011). "Statistics for High-Dimensional Data". Springer Series in Statistics. doi:10.1007/978-3-642-20192-9. ISSN 0172-7397. Archived from the original on 21 February 2019. Retrieved 5 October 2018.
3. Bühlmann, Peter; van de Geer, Sara (2011). Theory for ℓ1/ℓ2-penalty procedures. Berlin, Heidelberg: Springer Berlin Heidelberg. pp. 249–291. doi:10.1007/978-3-642-20192-9_8. ISBN 9783642201912. Archived from the original on 5 October 2018.