حذف تصادفی (شبکه‌های عصبی)

حذف تصادفی یک روشِ تنظیم مدل (به انگلیسی: regularization)، برای کاهش بیش‌برازش (به انگلیسی: overfitting) در شبکه‌های عصبی است.[1] در این روش، درصدی از وزن‌های یک شبکه عصبی هر بار به صورت تصادفی از روند یادگیری حذف می‌شود.[2][3] برای یادگیری وزن‌های شبکه عصبی از الگوریتم گرادیان کاهشی تصادفی استفاده می‌شود، و هر بار وزن‌های شبکه با استفاده از زیرمجموعه‌ای کوچک از داده‌ها به صورت متناوب بروز می‌شوند تا تابع ضررِ به اندازه کافی کوچک شود. در روش حذف تصادفی هر بار که وزن‌ها بروز می‌شوند یک سری از آن‌ها را به صورت تصادفی از پروسه یادگیری حذف می‌شوند.[3]

جستارهای وابسته

منابع

Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [cs.NE].
"Dropout: A Simple Way to Prevent Neural Networks from Overfitting". Jmlr.org. Retrieved July 26, 2015.
Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron; Bengio, Yoshua (2013-12-20). "An empirical analysis of dropout in piecewise linear networks". arXiv:1312.6197 [stat.ML].

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[MyUser_Arxiv.org_July_26_2015c-1] Hinton, Geoffrey E.; Srivastava, Nitish; Krizhevsky, Alex; Sutskever, Ilya; Salakhutdinov, Ruslan R. (2012). "Improving neural networks by preventing co-adaptation of feature detectors". arXiv:1207.0580 [cs.NE].

[MyUser_Jmlr.org_July_26_2015c-2] "Dropout: A Simple Way to Prevent Neural Networks from Overfitting". Jmlr.org. Retrieved July 26, 2015.

[:0-3] Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron; Bengio, Yoshua (2013-12-20). "An empirical analysis of dropout in piecewise linear networks". arXiv:1312.6197 [stat.ML].