رابطه (۲- ۲۸) y_Γ۱ (x) = (h_d + h_t ) (۱ – )^۲ – ux – x² ; – w₀/2 < x < 0
y_Γ۲ (x) = (h_d + h_t ) (۱ – )^۲ + ux – x² ; ۰ < x < w₀/2
y_Γ۳ (x) = h_d (۱ – )^۲ ; – w_i /۲ < x < w_i /۲
y_Γ۴ (x) = h_c (۱ – )^۲ ; – w_i /۲ < x < w_i /۲
y_Γ۵ (x) = – (h_d + h_c) (1 – )^۲ ; –w₀/2 < x < w₀/2
ناحیه حفره­ی دهانی بین لب پایینی و بالایی ۲/۳ h_iw_i است. ناحیه لب­ها به صورت
w₀ R= 2/3 h₀w₀ + ( uw₀ /۱۲) می­باشد. پارامترها برای بیضی مدل شده برای زبان y_ton، که مرکز عمودی از زبان، h_ton ارتفاع زبان، w_ton پهنای زبان هستند. مساحت قابل مشاهده از زبان /۴ h_tonw_ton π است. برای سادگی تمام سهمی­ها به یک کانتور R ∂ Γϵ از الگوی انعطاف­پذیر گروه­بندی می­شوند.

رابطه (۲- ۲۹) () = ( x , y_Γ (x) )^T = (x() ,y() )^T
که ϵ [۰,۱] و N گره­ که,…..,N} 1} n ϵ .
الگوی انعطاف­پذیر سعی در می­نیمم سازی انرژی دارد. انرژی­ها می­توانند وابسته به دره­ها^[۳۸] یا قله­های نواحی در تصویر تعریف شوند.
رابطه (۲- ۳۰) E_v = () dA
یا روی لبه­های تصویر به شکل رابطه (۲- ۳۱) تعریف شود.
رابطه (۲- ۳۱) E_e = () d
_e () , Ф_v (Ф پتانسیل­های لبه و دره­ها از تصویر هستند.
انرژی محدودیت داخلی ۲ E_con= k/2 (w₀ – λh₀)² ; λ می­باشد. پارامترهایی همچون، , w₀ , h₀) θ) توسط تابع انرژی E_v و بقیه پارامترها توسط می­نیمم سازی انرژی لبه E_e تنظیم می­شوند.
یکی دیگر از روش_­ها برای شناسایی دیداری صحبت روش مبتنی بر تصویر است که روش پایین به بالا نیز نامیده می­ شود. در واقع این روش مبتنی بر شدت روشنایی پیکسل­های تصویر است و هر گونه پردازشی روی این مقادیر شدت روشنایی صورت می­گیرد و ویژگی­ها از آن­ها استخراج می_­شود.
۲- ۶ موجک هار^[۳۹]
یکی از روش­های مبتنی بر تصویر DWT می­باشد که کاربردهای زیادی در حوزه استخراج ویژگی به خصوص از تصویر دارد و یکی از ویژگی­های مؤثر در شناسایی تصاویر می­باشد. که مستقیما از خود این ضرایب استفاده شده یا از سایر ویژگی­ها و مشخصه­ها که از این ضرایب استخراج می­ شود استفاده شده است. از دیگر کاربردهای ویولت حذف نویز از سیگنال­ها و تصاویر با حذف محدوده خاصی از ضرایب موجک و فشرده­سازی تصاویر می­باشد.
یکی از ساده­ترین انواع این تبدیل ، ویولت هار می­باشد که در [۱۶] این روش به کار گرفته شده و لب با بهره گرفتن از این تبدیل قطعه­بندی شده و بردارهای ویژگی از نتیجه آن استخراج می­ شود. قطعه­بندی لب در چند مرحله صورت گرفته است.
۲- ۶- ۱ پیش پردازش
شرایط نوری برای نرمالیزه کردن سطح روشنایی در تصویر اصلی با تابع لگاریتمی به صورت زیر تغییر داده شده است.
رابطه (۲- ۳۲)
که f(x , y) تصویر اصلی و g(x,y) تصویر پیش پردازش شده است. مجموعه پارامترهای (k , d , t) برای کنترل موقعیت و شکل منحنی تنظیم شده ­اند. در این مطالعه به طور نسبی (۲، ۰٫۵، ۱۲) در نظر گرفته شده ­اند.
۲ – ۶ – ۲ تبدیل رنگی
رنگ لب و ناحیه پوست معمولاً هم­پوشانی دارند بنابراین فضای رنگی خاصی باید برای نشان دادن تغییرهای کوچک انتخاب شود. از آن‌جا که فاصله بین هر دو نقطه در فضای رنگی متناسب با تفاوت رنگ آن­ها است. یک فضای رنگی یکنواخت نیاز است. تصویر رنگی به فضای رنگی CIEL^*u^*v^* و CIEL^*a^*b^* تبدیل می­کنیم. بردار رنگی{ L^*,a^*,b^*,v^*,u^*} برای هر تصویر با بهره گرفتن از معادله­هایی که در [۱۷] ارجاع داده شده است محاسبه می­ شود. در این­جا فقط پارامترهای{ a^*, u ^*} استفاده شده است چون تفاوت اصلی بین لب و ناحیه چهره رنگ قرمز لب می­باشد و در دو بردار انتخاب شده این رنگ مؤثر­تر است.
۲ - ۶ – ۳ قطعه بندی ^[۴۰]
بعد از پیش پردازش و تبدیل تصویر به فضای رنگی ذکر شده در بالا فرایند قطعه­بندی به صورت زیر انجام می­ شود.

1. 1. دو مؤلفه برداری { a^*, u^*} به یکدیگر اضافه شده و اندازه تصویر برای تطابق با تصویر اصلی تغییر می­ کند.

1. 1. تبدیل هار صورت گرفته و ضرب انجام شده است و چهار ماتریس مختلف ( dA ,dH ,dV ,dD) مشخص می­شوند.

ماتریس dA برای استخراج ناحیه لب کافی می­باشد. پس سه ماتریس دیگر در نظر گرفته نشده است و در نهایت فیلترینگ شکل شناسی^[۴۱] و پس پردازش برای افزایش دقت بکار برده شده است. شکل لب با این روش استخراج شده و ویژگی­هایی همچون پهنا و ارتفاع و زوایای گوشه لب و میانگین فاصله عمودی بین نقاط محاسبه می­ شود.
۲ – ۷ آنالیز مؤلفه­ های خاص
عملکرد این روش به این صورت است که ابتدا میانگین داده ­ها ( بر روی هر بعد) را از داده ­ها کم می­ کند و داده ­های جدید با میانگین صفر تولید می­نماید. سپس ماتریس کوواریانس داده ­های جدید محاسبه می­ شود. بردارهای ویژه یکه ماتریس کوواریانس را می­توان به عنوان بردار ویژگی­ها در نظر گرفت زیرا به نوعی پراکندگی داده ­ها را نشان می­دهد. داده ­های نهایی، با ضرب بردارهای ویژگی در داده ­های با میانگین صفر به دست می­آیند.
آنالیز مؤلفه­ های خاص برای فشرده­سازی و استخراج ویژگی استفاده می­ شود. در [۱۸] نمایش منیفلد^[۴۲] بر اساس آنالیز مؤلفه­ های خاص برای شناسایی دیداری صحبت ارائه شده است. داده ویدیویی زمان واقعی توسط آنالیز مؤلفه­ های خاص فشرده شده و نقاط با بعد کم برای هر فریم که منیفلد را تعریف کند محاسبه می­شوند. سیستم شناسایی شامل سه مرحله می­باشد. در اولین گام تصویرها با بهره گرفتن از مؤلفه شبه رنگ^[۴۳] از داده RGB لب­ها استخراج می­شوند [۱۹] و با روش آستانه­گیری^[۴۴] مبتنی بر هیستوگرام^[۴۵] یا سابقه­نما لب­ها قطعه­بندی می­شوند. دومین گام تولید ماکزیمم انتظار^[۴۶] منیفلدها و انجام درون­یابی و نمونه گیری دوباره از منیفلدها می­باشد. سومین گام کلاسه­بندی منیفلدها است.
۲- ۷ – ۱ زمینه ریاضی EM – PCA
ماکزیمم انتظار آنالیز مؤلفه­ های خاص تعمیمی از روش آنالیز مؤلفه­ های خاص به وسیله ترکیب مزایای الگوریتم Em در بخش­های تخمین مقادیر ماکزیمم احتمال برای اطلاعات از دست رفته می­باشد. این روش در دو مرحله مجزا صورت می­گیرد.
مرحله E : W = (V^T V)^-1V^-1A
مرحله : M V_new = AW^T(W W^T )^-۱
W ماتریس حالت­های مجهول وV بردار داده و A داده مشاهده است.
۲- ۷- ۲ تولید منیفلد از تصویر ورودی
لب­ها در هر فریم قطعه­بندی شدند و داده سطح خاکستری اطراف ناحیه لب استخراج می­ شود و برای تولید فضایی با بعد کم توسط فرایند EM – PCA استفاده می­ شود. سپس، داده سطح خاکستری روی این فضا طرح­ریزی^[۴۷] شده و برای هر فریم یک نقطه یا بردار با بعد کم محاسبه می­ شود. نقاط ویژگی به دست آمده بعد از طرح­ریزی داده روی فضای EM-PCA با بعد کم، با مرتب­سازی فریم­ها به صورت افزایشی نسبت به زمان توسط چندین خط به هم متصل می­شوند. در شکل (۲- ۶) می­بینیم.

شکل ۲- ۶ فرایند تولید منیفلد
منیفلدها مستقیماً برای شناسایی دنباله تصویر نمی ­توانند استفاده شوند به این دلیل که تعداد فریم­های موجود در دنباله ورودی متغیر است و وابسته به پیچیدگی کلمه­ی بیان شده است. برای حل این مشکل نیاز به درون­یابی منیفلدها برای دستیابی به یک سطح پیوسته و نمونه گیری مجدد آن به طور یکنواخت با بهره گرفتن از تعدادی نقاط کلیدی از پیش تعیین شده داریم.
برای درون­یابی از نوار باریک مکعبی^[۴۸] استفاده شده است. که استفاده از آن باعث ایجاد سطح یکنواخت برای منیفلد و کاهش اثر نویز می­ شود. در شکل (۲- ۷) نمونه درون­یابی شده (a) و نمونه گیری شده (b) نشان داده شده است.