یکسوساز (شبکه عصبی)

در چاچوب شبکه عصبی مصنوعی، یکسوساز یک تابع فعال‌سازی که به صورت

${\displaystyle {\displaystyle f(x)=x^{+}=\max(0,x),}}$

تعریف شده که در آن x ورودی یک نورون است. این تابع به تابع شیب نیز شناخته می‌شود و قابل مقایسه با یکسوساز نیم‌موج در مهندسی برق است. در سال 2000 در مقاله‌ای در نیچر این تابع فعال‌سازی با انگیزه‌های زیست‌شناسی و توجیه ریاضی قوی توسط هانلوزر و همکاران ارائه شد. این تابع در شبکه‌های عصبی پیچشی به صورت بهینه‌تری نسبت به تابع لجستیک سیگموئید (که بر اساس نظریه احتمالات الهام گرفته شده‌است. برای اطلاعات بیشتر به رگرسیون لجستیک مراجعه شود) و تابع مشابه ولی کاربردی‌تر تانژانت هذلولوی استفاده شده‌است. یکسوساز از سال 2015 پرطرفدارترین تابع فعال‌سازی برای شبکه‌های عمیق است.

به واحدی که از تابع یکسوساز استفاده می‌کند واحد یکسو شده‌ی خطی(ReLU) نیز می‌گویند.

یک تقریب هموار برای یکسوساز تابع تحلیلی زیر است

${\displaystyle f(x)=\ln[1+\exp(x)],}$

که به آن سافت‌پلاس می‌گویند. مشتق سافت‌پلاس برابر است با

${\displaystyle f'(x)=\exp(x)/[\exp(x)+1]=1/[1+\exp(-x)]}$، یا همان تابع لجستیک.

واحدهای یکسو شده‌ی خطی در بینایی کامپیوتر و بازشناسی گفتار توسط شبکه‌های عمیق کاربرد دارند.

انواع

واحد یکسو شده‌ی نویز دار

واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.

${\displaystyle f(x)=\max(0,x+Y)}$، با داشتن ${\displaystyle Y\sim {\mathcal {N}}(0,\sigma (x))}$

واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.

واحد یکسو شده‌ی بانشت

این واحدها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\0.01x&{\mbox{otherwise}}\end{cases}}}$

واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\ax&{\mbox{otherwise}}\end{cases}}}$

توجه شود که برای ${\displaystyle a\leq 1}$، عبارت بالا معادل است با

${\displaystyle f(x)=\max(x,ax)}$

و از این رو با شبکه‌های مکس‌اوت ربط دارند.

واحد های نمایی خطی

واحدهای نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>=0\\a[\exp(x)-1]&{\mbox{otherwise}}\end{cases}}}$

${\displaystyle a}$ یگ پارامتر خارجی است که باید تنظیم شود و شرط ${\displaystyle a>=0}$ باید بر قرار باشد.

برتری‌ها

• همخوانی با زیست‌شناسی:یک طرفه، درمقایسه‌ی با تابع پادمتقارن تانژانت هذلولولی
• فعال بودن پراکنده:‌ برای مثال، در یک شبکه‌ی راه‌اندازی شده به صورت تصادفی تنها 50% واحدهای پنهان فعالیت دارند(خروجی غیر صفر دارند).
• انتشار مشتق بهینه: عدم وجود مشکل گرادیان محو شونده.
• محاسبه‌ی سریع: تنها مقایسه، جمع و ضرب.
• مستقل از مقیاس: ${\displaystyle \max(0,ax)=a\max(0,x)}$

برای اولین بار در 2011، نشان داده شد استفاده‌ی یکسوساز به عنوان یک مؤلفه‌ی غیرخطی اجازه می‌دهد که شبکه‌های عمیق با نظارت بدون نیاز به پیش‌تعلیم بی‌نظارت تعلیم داده شوند. واحدهای یکسوسازی شده‌ی خطی درمقایسه با تابع سیگموئید یا توابع فعال‌سازی مشابه، تعلیم سریع‌تر و بهینه‌تر معماری‌های عمیق را بر روی مجموعه‌داده‌های بزرگ و پیچیده اجازه می‌دهند.

مشکلات احتمالی

• مشتق‌ناپذیر در صفر: گرچه در هر نقطه‌ی دیگر مشتق‌پذیر است، شامل نقاط مخالف ولی نزدیک به صفر.
• مرکز غیر صفر.
• بدون کران.
• مشکل مرگ واحدهای یکسوساز خطی: عصب‌های یکسوساز ممکن است به یک وضعیت که در آن به ازای تمام ورودی‌ها غیر فعال باشند سوق داده شوند. در این حالت، هیچ مشتقی به سمت عقب عصب جریان پیدا نمی‌کند و به همین دلیل عصب به صورت دائم در یک وضعیت غیر فعال گیر می‌کند و به اصطلاح می‌میرد. در بعضی از موارد، تعداد زیادی از عصب‌ها در یک شبکه می‌توانند در این وضعیت گیر کنند و به صورتی مؤثری توانایی مدل را کاهش دهند. این مشکل در حالتی که ضریب یادگیری بالا است می‌تواند رخ دهد. این مشکل می‌تواند با استفاده از واحدهای یکسو شده‌ی با نشت به جای واحدهای سده کاهش پیدا کند.

جستارهای وابسته

• تابع سیگموئید
• مدل توبیت

منابع

• مشارکت‌کنندگان ویکی‌پدیا. «Rectifier (neural networks)». در دانشنامهٔ ویکی‌پدیای انگلیسی، بازبینی‌شده در ۲۲ ژانویه ۲۰۱۷.