الگوریتم ویتربی

الگوریتم ویتربی (به انگلیسی: Viterbi algorithm) الگوریتمی پویا برای پیدا کردن محتمل‌ترین مسیر از حالت‌های پنهان، با داشتن یک توالی از مشاهدات است.

این الگوریتم اغلب در مواردی بکار می‌رود که با داشتن یک مدل پنهان مارکف و توالی‌ای از مشاهدات، می‌خواهیم بدانیم چه توالی‌ای از حالت‌ها (مسیر) این مشاهدات را تولید کرده‌اند. به عبارت دیگر ما دنبال محتمل‌ترین مسیر به‌وجودآورندهٔ مشاهدات در یک مدل پنهان مارکف هستیم.

پیدایش و کاربردها

در بسیاری از کاربردهای مدل‌های پنهان مارکف، متغیرهای پنهان تفسیر معناداری دارند و در نتیجه یکی از مهم‌ترین مسائل در این حیطه، پیدا کردن محتمل‌ترین توالی از متغیرهای پنهان با داشتن یک توالی از مشاهدات است. به‌عنوان مثال، در حوزهٔ بازشناسی گفتار، می‌خواهیم یک توالی از واج‌ها با استفاده از توالی‌ای از آواها داشته باشیم.

این مسئله نباید با مسئلهٔ پیدا کردن محتمل‌ترین مجموعه از حالت‌های پنهان اشتباه گرفته شود. مسئلهٔ دوم می‌تواند با استفاده از الگوریتم پس‌رو-پیش‌رو حل شود. بدین صورت که ابتدا توزیع حاشیه‌ای برای هر متغیر نهان را به‌دست آورده و سپس جداگانه آن‌ها را بیشینه می‌کنیم.[1] اما در حالت کلی، مسئلهٔ پیدا کردن محتمل‌ترین توالی پراهمیت‌تر بوده و الگوریتم بهینهٔ ارائه‌شده برای آن، الگوریتم جمع-بیشینه که در حیطهٔ مدل‌های پنهان مارکف، به آن الگوریتم ویتربی گفته می‌شود استفاده کرد.[2]

در مسائل طبیعی مانند در، همیشه واقعیت منطبق بر محتمل‌ترین مسیر نیست. اما بسیاری اوقات محتمل‌ترین مسیر نیز اطلاعات خوبی در اختیار می‌گذارد.

مدل‌های پنهان مارکف برای جزایز سی‌پی‌جی

در این بخش، به بررسی یکی از کاربردهای این مسئله در بیوانفورماتیک می‌پردازیم. مسئله جزایر سی‌پی‌جی (CpG islands) -پیدا کردن ناحیه‌ای از ژنوم که فرکانس بالایی از مکان‌های CG در آن وجود دارد- است. این مسئله را می‌توان با استفاده از دو مدل مخفی مارکف مدل کرد. کافی است حالت‌های مخفی را دو حالتِ ${\displaystyle model_{+}}$ و ${\displaystyle model_{-}}$ در نظر گیریم به‌طوری که زمانی که در ناحیهٔ سی‌جی‌پی قرار داریم یا زمانی که در این ناحیه قرار نداریم؛ و حالت‌هایمان نیز حروف A, C، G و T که در واقع نوکلئوتیدهای روی رشته‌اند در نظر گیریم. پس مجموعاً ۸ حالت مخفی که در شکل زیر نمایش داده شده‌اند را داریم.[3]

جستجوی کامل فضای مسئله

می‌توانیم تمامی مسیرهای ممکن را که مشاهده ما را تولید می‌کنند را پیدا کنیم، سپس با محاسبه احتمال آنها، محتمل‌ترین مسیر را بدست آوریم. به عنوان نمونه در مسئله آب و هوا (می‌توانید در مثال‌هایی برای مدل پنهان مارکف ببینید) مشاهدی ما به صورت خشک، نم‌دار، مرطوب است. برای به‌دست آوردن محتمل‌ترین مسیر باید احتمال زیر بیشینه شود:

Pr(توالی مشاهده شده | انتخابی از حالت‌های مخفی)

برای جستجوی تمامی فضای جواب باید این احتمال را برای تمامی مسیرها بدست بیاوریم:

Pr(خشک، نم‌دار، مرطوب | آفتابی، آفتابی، آفتابی)، Pr(خشک، نم‌دار، مرطوب | آفتابی، آفتابی، ابری)، Pr(خشک، نم‌دار، مرطوب | آفتابی، آفتابی، بارانی)، . . Pr(خشک، نم‌دار، مرطوب | بارانی، بارانی، بارانی)

پیچیدگی زمانی این راه‌حل از اندازهٔ نمایی (${\displaystyle O(a^{n})}$) بوده و بهینه نیست. برای سرعت بخشیدن به الگوریتم می‌توان از تکنیک شاخه و حد استفاده کرد اما یک راه حل در زمان چندجمله‌ای برای این مسئله وجود دارد که الگوریتم ویتربی است.

الگوریتم ویتربی

همان‌طور که در بخش قبل توضیح داده‌شد، تعداد حالت‌های ممکن برای متغیرهای پنهان یا معادلاً تعداد مسیرها نسبت به طول توالی از اندازهٔ نمایی است. شکل زیر، حالت‌های متغیرهای نهان یک مدل پنهان مارکف را به‌صورت یک شبکه نشان داده‌است که در آن، حالت‌های مختلف برای هر متغیر نهان با رنگ‌های متفاوت مشخص شده‌اند و متغیرهای نهان به‌صورت افقی از چپ به راست نمایش داده شده‌اند. با استفاده از الگوریتم ویتربی، می‌خواهیم محتمل‌ترین مسیر را در این شبکه بیابیم به‌طوری که هزینهٔ محاسباتی به‌صورت خطی با طول توالی افزایش یابد.

تعداد مسیرهای مختلف یا به عبارت دیگر حالت‌های ممکن برای متغیرهای پنهان، از اندازهٔ نمایی است ولی با استفاده از الگوریتم ویتربی می‌توان محتمل‌ترین آن‌ها را با استفاده از الگوریتم چندجمله‌ای به‌دست‌آورد. برای هر مسیر داده‌شده، احتمال متناظر با استفاده از ضرب مقادیر ماتریس انتقال احتمال‌ها برای هر قسمت از مسیر با استفاده از احتمال‌های انتشار متناظر با هر گره در مسیر به‌دست می‌آید.[4]

تعریف مسئله

با توجه به توضیحات داده‌شده، می‌دانیم می‌توان مسئله را به‌صورت زیر بازنویسی کرد:

می‌خواهیم مسیر بهینه‌ای مانند ${\displaystyle \pi ^{*}}$پیدا کنیم به‌گونه‌ای که داشته باشیم: ${\displaystyle \pi ^{*}=argmax_{\pi }\mathbb {P} (x,\pi )}$. که در آن ${\displaystyle x=(x_{1},\dots ,x_{L})}$یک توالی از مشاهدات و ${\displaystyle \pi =(\pi _{1},\dots ,\pi _{L})}$یک توالی از متغیرهای پنهان باشد.

می‌دانیم برای محاسبهٔ احتمال بالا داریم: ${\displaystyle \mathbb {P} (x,\pi )=p_{0,\pi _{1}}\Pi _{i=1}^{L}e_{\pi _{i}}(x_{i})p_{{\pi _{i}},{\pi _{i+1}}}}$. که در آن ${\displaystyle p}$ مقادیر احتمال‌های انتقال و ${\displaystyle e}$ احتمال انتشار را نشان می‌دهد. برای اطلاعات بیشتر به صفحهٔ مدل پنهان مارکف مراجعه کنید.

ایدهٔ الگوریتم[5]

اگر گره‌های گراف روبرو را با استفاده از دوتایی‌هایی که به‌ترتیب از شمارهٔ متغیر نهان و شمارهٔ حالت‌های ممکن برای آن‌ها تشکیل‌شده باشند، نمایش دهیم، می‌توان وزن بین دو گرهٔ ${\displaystyle (k,i)}$و ${\displaystyle (l,i+1)}$را برابر با مقدار ${\displaystyle e_{l}(x_{i+1}).p_{kl}}$تعریف کرد. حال می‌توان احتمال ${\displaystyle p_{k,i}}$ برای یک مسیر مانند ${\displaystyle \pi }$ به‌طوری که با یال ${\displaystyle p_{l,i+1}}$ به گرهٔ ${\displaystyle (k,i)}$ختم شود را به‌صورت زیر محاسبه کرد:

$${\displaystyle p_{l,i+1}=\Pi _{j=1}^{i+1}e_{\pi _{j}}(x_{j})p_{\pi _{j-1},{\pi _{j}}}={\big (}\Pi _{j=1}^{i}e_{\pi _{j}}(x_{j})p_{\pi _{j-1},{\pi _{j}}}{\big )}.e_{\pi _{i+1}}(x_{i+1})p_{\pi _{i},{\pi _{i+1}}}=p_{k,i}.e_{l}(xi+1)p_{kl}}$$

حال کافی است متغیر ${\displaystyle v_{k}(i)}$را به‌طوری تعریف کنیم که احتمال بهترین مسیر تا مکان ${\displaystyle i}$باشد، به‌طوری که توالی مشاهدات به ${\displaystyle x_{i}}$ختم شده‌باشد و متغیر نهان برابر با ${\displaystyle k}$باشد؛ بنابراین طبق نتایج بالا داریم:

$${\displaystyle v_{l}(i+1)=\max _{k\in Q}\{v_{k}(i).p_{kl}.e_{l}(x_{i+1})\}=e_{l}(x_{i+1})\max _{k\in Q}\{v_{k}(i)p_{kl}\}}$$

شبه‌کد الگوریتم[5]

ورودی:

مدل ${\displaystyle M=(\Sigma ,Q,P,e)}$ که:

${\displaystyle \Sigma }$: الفبای مشاهدات

Q: مجموعه حالات

P: ماتریس احتمال انتقال بین حالات

e: ماتریس احتمال تولید الفبا در هر حالت

و توالی ${\displaystyle X=x_{1}x_{2}\dots x_{L}}$

خروجی: محتمل‌ترین مسیر ${\displaystyle \pi ^{*}}$به‌گونه‌ای که ${\displaystyle \pi ^{*}=argmax_{k\in Q}(v_{k}(L)p_{k0})}$

محاسبات آغازین: (i=۰) قرار بده ${\displaystyle V_{0}(0)=1}$ و برای تمام kهای بزرگتر از صفر قرار بده ${\displaystyle V_{K}(0)=0}$

برای i از ۱ تا L و تمامی lها عضو Q

قرار بده ${\displaystyle v_{l}(i)=e_{l}(x_{i})\max _{k\in Q}(v_{k}(i-1)p_{kl})}$

قرار بده ${\displaystyle ptr_{i}(l)=argmax_{k\in Q}(v_{k}(i-1)p_{kl})}$

خاتمه: ${\displaystyle P(X,\pi ^{*})=\max _{k\in Q}(v_{k}(L)p_{k0})}$

و محتمل‌ترین مسیر ${\displaystyle \pi _{L}^{*}=argmax_{k\in Q}(v_{k}(L)p_{k0})}$

بازگشت:

برای i از L تا ۱:

قرار بده ${\displaystyle \pi _{i-1}^{*}=ptr_{i}(\pi _{i}^{*})}$

منابع

1. Pattern Classification, Duda et al. , 2001.
2. Forney, G.D. (1973). "The viterbi algorithm". Proceedings of the IEEE. 61 (3): 268–278. doi:10.1109/proc.1973.9030. ISSN 0018-9219.
3. Durbin, Richard, Sean R. Eddy, Anders Krogh, and Graeme Mitchison. Biological sequence analysis: probabilistic models of proteins and nucleic acids. Cambridge university press, 1998.
4. Bishop, Christopher M. Pattern recognition and machine learning. springer, 2006.
5. Algorithms in Bioinformatics I, WS’06, ZBIT, C. Dieterich, February 6, 2007