HMM مدلهای مخفی مارکوف (Hidden Markov Models)

مقاله از : بلاگ گروه اینترنتی مجله پزشکی [ایمیل]

HMM
(Hidden Markov Models)

مدلهای مخفی مارکوف

معرفی

مدلهای مارکوف مخفی اولین بار در یک سری از مقالات آماری توسط Leonard E. Baum و نویسندگان دیگر در نیمه 1960مطرح گردید. اولین کاربرد آن در شناسایی گفتار بود که در نیمه 1970شروع گردید. درنیمه 1980برای آنالیز رشته های بیولوژیکی بخصوص DNA استفاده گردید. از آن زمان بعنوان زمینه ای از بیوانفورماتیک درنظر گرفته شد.

آندری آندرویچ مارکوف

آندری آندرویچ مارکوف٬ فارغ التحصیل دانشگاه سنت پترزبورگ در سال ۱۸۷۸ بود. وی در سال ۱۸۸۶ مدرک پروفسوری خود را دریافت کرد. کارهای زودهنگام مارکوف در تئوری اعداد٬ آنالیز٬ حدود انتگرال ها٬ همگرایی سری ها٬ دنباله کسرها و ... بسیار اساسی بود
بعد از سال ۱۹۰۰ ٬ مارکوف تحت تأثیر استاد خود چبیشف٬ از روش دنباله های کسرها در تئوری احتمالات استفاده کرد.وی هم چنین در مورد رشته های متغیرهای وابسته متقابل٬ مطالعاتی انجام داد.با این امید ثابت کردن قوانین حدی در احتمالات در حالات کلی آنها.او قضیه حد مرکزی را با در نظر گرفتن فرض های کامل آن٬ اثبات کرد
مارکوف به دلیل مطالعاتش پیرامون زنجیرهای مارکوف که رشته هایی از متغیرهای تصادفی هستند٬ معروف است.در زنجیرهای مارکوف٬ متغیر بعدی توسط متغیر کنونی مشخص می شود ولی از راهی که تا کنون طی شده است مستقل است.

مدلهای مخفی مارکوف ابتدا در سال‌هاي اواخر 1960 و اوايل 1970 معرفي و مورد مطالعه قرار گرفت. روش‌هاي آماري منبع مارکوف يا مدلسازي مارکوف پنهان بطور روزافزوني در سال‌هاي اخير متداول گرديد. براي اين امر دو دليل بسيار قوي وجود دارد.

اولاً مدل‌ها در ساختمان رياضي خيلي غني هستند و در اينصورت مي‌توانند مبنائي نظري براي استفاده در محدودهء وسيعي از کاربردها را تشکيل دهند. ثانيا" مدل‌ها، در هنگامي که بطور صحيحي بکار برده مي‌شوند، در عمل براي کابردهاي مهم خيلي خوب کار مي‌کنند..

چرا مخفی؟

اطلاق کلمة مخفي, به موضوع مورد بحث ما به اين دليل است که در بارة مسائلي صحبت مي‌کنيم که طريقة انجام آنها از ديد ما پنهان است و البته ماهيت پارامتري آماري دارد. يعني اينکه نه تنها نمي‌دانيم نتيجه چه خواهد بود, بلکه نوع اتفاق و احتمال آن اتفاق نيز بايد از پارامترهايي که در دسترس است, نتيجه‌گيري شود. مانند پرتاب سکه در يک جعبة در بسته, يا جايي دور از ديد ما. يعني مدل حاصل يک مدل تصادفي با يک فرآيند تصادفي زيرين است که از ديد ناظر, غير قابل مشاهده (مخفي) است و تنها توسط مجموعه اي از فرآيندهاي تصادفي که دنبالة مشاهدات را توليد مي کنند قابل استنتاج (به جاي مشاهده) است.

مثال:

متوجه شدن وضع آب و هوا از طریق جلبک

انواع مدل

مدلهاي قطعي

Deterministic Patterns

مدلهاي غير قطعي

Non-deterministic patterns

مدل مخفی مارکوف

مدل مخفی مارکوف یک سری متناهی از حالتهاست، که با یک توزیع احتمال پیوسته است

در یک حالت خاص، توسط توزیع احتمال پیوسته یک خروجی یا مشاهده می تواند بدست اید. حالات از خارج مخفی هستند از این رو مدل مخفی مارکوف نامیده شده است. مدل مخفی مارکوف، یک مدل آماری است که در آن پارامترهای مخفی را از پارامترهای مشاهده شده مشخص می نماید.پارامترهای بیرون کشیده شده برای آنالیزهای بعدی می توانند استفاده شوند.به عنوان مثال برای دستور العمل های بازشناسی الگو..

در مدل مارکوف معمولی،وضعیت به طور مستقیم توسط مشاهده گر قابل مشاهده است.بنابراین حالت انتقال احتمالات تنها پارامترها هستند.در مدل مخفی مارکوف ، وضعیت به طور مستقیم قابل مشاهده نیست، اما متغییرهای تحت تاثیر با وضعیت قابل مشاهده هستند.هر حالت یک توزیع احتمالات دارد برای خروجی ممکن که گرفته شود.بنابراین ترتیب گرفته های ایجاد شده توسط HMM اطلاعاتی در رابطه با حالت توالی میدهد. مدل های مخفی مارکوف برای دستورالعمل در شناسایی الگوهای موقت مانند گفتار،دست خط، شناسایی ایما و اشاره، بیو انفورماتیک و... معروف هستند.

پارامترهاي اصلي مدل مارکوف

مجموعة حالت‌هايي که ممکن است اتفاق بيفتد.
مجموعة تصميماتي که مي‌توان در حالت‌هاي مختلف گرفت.
مجموعة نتايجي که ممکن است متعاقب هر تصميم‌گيري بدست آيد.
منافع و ارزش افزوده اين تصميم‌گيري در مقايسه با تصميمات ممکن ديگر

با گرفتن مناسب‌ترين تصميم, بهترين راه حل براي مسئلة مطرح شده را تشخيص داده, و به بهترين حالت بعدي ممکن رسيد. اين راه حل, بصورت يک تابع ارزش نشان داده مي شود که در هر حالت (موجود), بهترين حالت بعدي (مطلوب) توسط آن تعيين مي‌شود.

معماری مدل مخفی مارکوف

هر شکل بیضی بیانگر یک مقدار متغیر تصادفی است که مقادیری را می پذیرد. x(t) مقدار متغیر تصادفی است که مقدار تغییرپذیرش در واحد زمان مخفی است. y(t) مقدار متغیر تصادفی است که مقدارش در زمان t قابل مشاهده است.

از دیاگرام مشخص است که مقدار x(t) به مقدار x(t − 1) وابسته است.که این را خاصیت مارکوف می نامند.

بطورمشابه، مقدار y(t) نیز به x(t) وابسته است.

فرآيند مارکوف

دياگرام زير، حالتهاي مخفي و قابل مشاهده مثال آب و هوا را نشان مي‌دهد. اين دياگرام اظهار مي‌دارد كه حالتهاي مخفي در آب و هواي صحيح توسط يك فرآيند ماركوف ساده دستور اول، مدل شده‌اند و بنابراين آنها همه به همديگر متصل شده‌اند.

اتصال بين حالتهاي مخفي و قابل مشاهده، احتمال توليد يك حالت خاص قابل مشاهده را كه تحت تاثير فرآيند ماركوف در حالت مخفي ويژه بوده، نمايش مي‌‌دهد. بنابراين روشن است كه همه احتمالات كه توسط حالت قابل مشاهده وارد مي‌شوند با عدد 1 جمع مي‌شوند، از اين رو در مورد بالا، مجموع احتمال آفتابي و ابري و بارانی مي‌شود. بنابراين علاوه بر ماتريس احتمالات که فرآيند ماركوف را توصيف مي كنند، ما ماتريس ديگري داريم، مصطلح به ماتريس اغتشاش كه شامل احتمالات حالتهاي قابل مشاهده است كه حالتهاي مخفي ويژه در آن پنهان است. براي مثال آب و هوا ، ماتريس اغتشاش اينگونه باشد:

اجزای مدلهاي مخفي ماركوف

بردار احتمال حالت اوليه
ماتريس تغيير حالت
ماتريس اغتشاش

هر احتمالي در ماتريس تغيير حالت و اغتشاش به زمان وابسته نمی باشد. براي همين، ماتريس‌ها هنگامي كه سيستم درگير تغيير زمان مي‌شود، وابسته به زمان تغيير نمي‌كنند. در عمل اين يكي از غير واقعي ترين فرضيات مدل ماركوف درباره فرآيند هاي واقعي است.

مرتبه مدل مارکوف

مدل مارکوف مرتبه صفر

مدل مارکوف از مرتبه صفر مانند يک توزيع احتمال چند جمله اي مي باشد. چگونگي تخمين پارامترهاي مدل مارکوف مرتبه صفر و همچنين پيچيدگي مدل مشخص و قابل حل است و در کتاب‌هاي آمار و احتمالات وجود دارد.

مدل مارکوف مرتبه اول

احتمال يک وضعيت به احتمال وضعيت قبلي آن (از نظر زماني) بستگي دارد, به بيان ديگر احتمال وضعيت‌هاي ممکن, مستقل نيستند.

مدل مارکوف مرتبه M

مرتبه يک مدل مارکوف برابر است با طول حافظه اي که مقادير احتمال ممکن براي حالت بعدي به کمک آن محاسبه مي شود. براي مثال، حالت بعدي در يک مدل مارکوف از درجه 2 (مدل مارکوف مرتبه دوم) به دو حالت قبلي آن بستگي دارد.

فرضيات تئوری مدل مخفی مارکوف

فرض مارکوف

به بيان ديگر فرض می شود که حالت بعدی تنها به حالت فعلی بستگی دارد. مدل حاصل از فرض مارکوف يک مدل HMM مرتبه صفر می باشد.در حالت کلی، حالت بعدی می تواند با k حالت قبلی وابسته باشد.

فرض ايستايی (stationarity)

در اينجا فرض می شود که احتمال انتقال در بين حالات از زمان واقعی رخداد انتقال مستقل است.

فرض استقلال خروجی

در اين حالت فرض می شود که خروجی (مشاهدات) فعلی به صورت آماری از خروجی قبلی مستقل است. مي توان اين فرض را با داشتن دنباله ای از خروجی ها مانند بيان نمود

براي اينکه مدل HMM در دنياي واقعي قابل استفاده باشد بايد سه مساله مهم حل شود :

مساله ارزيابي
مساله کدگشايي
مساله یادگیری

انواع مدلهاي مخفي مارکوف و HMM پيوسته

مدل ارگوديک
مدل چپ به راست
مدل موازي چپ به راست

الگوريتم ها

الگوريتم forward یا پیشرو
الگوريتم viterbi یا ویتربی
الگوريتم forward-backward یا

پيشرو- پسرو

کاربردهای HMM

طبقه بندی رشته ها با HMM
تولید مسیرهای چندگانه
شناسايي گفتار
شناسايي کلمات جداگانه
مدلسازی و یادگیری
مدلسازی و ارزيابی عملكرد جراحی با استفاده از مدل‌های مخفی ماركف
نرم افزار تشخیص گفتار از روی حرکات لب
زنجيره‌هاي مارکوف در برنامه‌ريزي نيروي انساني و پيش‌بيني آن در شرکت ملي ذوب‌آهن
ارزیابی قابلیت اطمینان منبع قدرت شبکه الکترونیکی جهن کاربردهای ایمنی

محدوديت‌هاي فرآيند ماركوف

در مدل مخفی مارکوف، فر‎آيند هايي وجود دارند كه رشته قابل مشاهده احتمالات به يك فرآيند ماركوف لايه زيرين مرتبط است. در چنين مواردي، تعداد حالتهاي قابل مشاهده ممكن است از تعداد حالتهاي مخفي متفاوت باشد.

يك مشكل واقعي ديگر، تشخيص گفتار است. صدايي كه ما مي‌شنويم، از طريق تارهاي صوتي، اندازه گلو، وضعيت قرار گرفتن زبان و خيلي موارد ديگر توليد مي‌گردد

هر كدام از اين فاكتورها، با تاثيرات متقابل روي هم صداي يك كلمه را ايجاد مي‌كنند و صداهايي كه يك سيستم تشخيص گفتار، نشان مي‌دهد، صداي تغيير يافته از تغييرات فيزيكي در صحبت كردن فرد مي‌باشد. بعضي دستگاههاي تشخيص گفتار، توليد گفتار داخلي را بعنوان رشته حالتهاي پنهان در نظر می گيرند و صداي منتج از اين سيستم‌ها، يك رشته از حالات قابل مشاهده مي‌باشند كه بوسيله فرايند گفتار توليد شده‌اند و در بهترين حالت صحيح ( مخفي ) قرار دارند..

جعبه ابزار مدل مخفی مارکوف در مطلب

این جعبه ابزار یک استنباط ویادگیری را برای HMM با خروجی های گسسته (dhmm's) ،خروجی های گوسین(ghmm's) ،یا مخلوطی از خروجی های گوسین(mhmm's) ساپورت میکند.همچنین ورودی های گسسته را ساپورت میکند.

تهیه و تنظیم: سمیرا نصر

کارشناسی ارشد مجازی رشته مدیریت فناوری اطلاعات درپزشکی

دانشکده مهندسی پزشکی دانشگاه صنعتی امیرکبیر

کاربرد فناوری اطلاعات در پزشکی

دکتر توحیدخواه

HMM مدلهای مخفی مارکوف (Hidden Markov Models)

HMM مدلهای مخفی مارکوف (Hidden Markov Models)

مطالب مشابه :

انواع مدل شينيون مو عروس و زنانه

مدل های جدید مو , آموزش شینیون مو - ژورنال

مقايسه انواع مدلهاي توربولانس در جريانهاي آشفته

دوخت دستکش فر

HMM مدلهای مخفی مارکوف (Hidden Markov Models)

مدلهای جدیدی برای ساخت و تزیین هدیه

آشنايي با انواع سي پي يو ها