حافظه طولانی کوتاه-مدت

حافظه طولانی کوتاه-مدت (به انگلیسی: Long short-term memory) یا به اختصار ال‌اس‌تی‌ام (تلفظ تحت‌اللفظی LSTM)، یک معماری شبکه عصبی بازگشتی (یک شبکه عصبی مصنوعی) است که در سال ۱۹۹۷ میلادی توسط سپ هوخرایتر و یورگن اشمیدهوبر ارائه شد،[2] و بعداً در سال ۲۰۰۰ میلادی توسط فیلیکس ژرس و دیگران بهبود داده شد.[3]

یک بلوک ال‌اس‌تی‌ام روزنه‌ای با دروازه‌های ورودی، خروجی و فراموشی. پیکان‌های خروجی از گره c_t به واقع به نشان دهنده پیکان‌های خروجی از c_t-1 هستند به جز تنها پیکان راست-به-چپ. بسیاری از انواع دیگر ال‌اس‌تی‌ام‌ها هم وجود دارد.[1]

معماری

ال‌اس‌تی‌ام سنتی

مقادیر اولیه: ${\displaystyle c_{0}=0}$ و ${\displaystyle h_{0}=0}$. عملگر ${\displaystyle \circ }$ نشان دهنده ضرب هادامارد (ضرب عنصری).

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

متغیرها

• ${\displaystyle x_{t}}$: بردار ورودی
• ${\displaystyle h_{t}}$: بردار خروجی
• ${\displaystyle c_{t}}$: بردار وضعیت سلول
• ${\displaystyle W}$ ${\displaystyle U}$ و ${\displaystyle b}$: ماتریس‌ها و بردار پارامتر
• ${\displaystyle f_{t}}$ ${\displaystyle i_{t}}$ و ${\displaystyle o_{t}}$: بردارهای دروازه
  • ${\displaystyle f_{t}}$: بردار دروازه فراموشی. وزن به یادداری اطلاعات قدیمی.
  • ${\displaystyle i_{t}}$: بردار دروازه ورودی. وزن اندوختن اطلاعات جدید.
  • ${\displaystyle o_{t}}$: بردار دروازه خروجی. کاندید خروجی.

توابع فعال‌سازی

• ${\displaystyle \sigma _{g}}$: تابع اصلی یک تابع سیگموئید است.
• ${\displaystyle \sigma _{c}}$: تابع اصلی یک تانژانت هذلولی است.
• ${\displaystyle \sigma _{h}}$: تابع اصلی یک تانژانت هذلولی است اما ال‌اس‌تی‌ام روزنه‌ای ${\displaystyle \sigma _{h}(x)=x}$.

ال‌اس‌تی‌ام روزنه‌ای

ال‌اس‌تی‌ام روزنه‌ای با دروازه‌های فراموشی. ${\displaystyle h_{t-1}}$ استفاده نمی‌شود، در عوض از ${\displaystyle c_{t-1}}$ در بیش تر جاها استفاده می‌شود.

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

ال‌اس‌تی‌ام کانولوشنی

ال‌اس‌تی‌ام کانولوشنی.[4] ${\displaystyle *}$ نشان دهنده عملگر کانولوشن است.

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\circ c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\circ c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\circ c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

جستارهای وابسته

• کامپیوترهای عصبی مشتق‌پذیر
• شبکه عصبی مصنوعی
• Prefrontal Cortex Basal Ganglia Working Memory (PBWM)
• شبکه‌های عصبی بازگشتی
• Gated recurrent unit
• سری‌های زمانی
• توان‌بخشی طولانی-مدت

منابع

1. Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber (2015). "LSTM: A Search Space Odyssey". arXiv:1503.04069. More than one of |author1= and |author= specified (help); More than one of |eprint= and |arxiv= specified (help)
2. Sepp Hochreiter; Jürgen Schmidhuber (1997). "Long short-term memory". Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. PMID 9377276.
3. Felix A. Gers; Jürgen Schmidhuber; Fred Cummins (2000). "Learning to Forget: Continual Prediction with LSTM". Neural Computation. 12 (10): 2451–2471. doi:10.1162/089976600300015015.
4. Xingjian Shi; Zhourong Chen; Hao Wang; Dit-Yan Yeung; Wai-kin Wong; Wang-chun Woo (2015). "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting". Proceedings of the 28th International Conference on Neural Information Processing Systems: 802–810.

پیوند به بیرون

• Recurrent Neural Network با بیش از ۳۰ مقاله ال‌اس‌تی‌ام توسط گروه یورگن اشمیدهوبر در IDSIA
• تز دکترای ژرس در مورد شبکه‌های ال‌اس‌تی‌ام.
• مقاله تشخیص تقلب با دو فصل اختصاص داده شده به توضیح شبکه‌های عصبی بازگشتی، به خصوص ال‌اس‌تی‌ام.
• مقاله ای در مورد توسعه با کارایی بالای ال‌اس‌تی‌ام‌ها که به یک تک گره ساده‌سازی شده و می‌تواند معماری من درآوردی ای را آموزش دهد.
• خودآموز: چگونه در پایتون با ثینو (theano) ال‌اس‌تی‌ام را پیاده‌سازی کنیم