۱۹۸۲

روش شبکه عصبی دینامیکی بازگشتی

جآن‌هالپفلد

۱۹۸۳

روش یادگیری مبتنی بر تقویت

-

۱۹۸۶

الگوریتم پس از انتشار خطا

دیوید رامهارت و جمیز مکلند

ساختار شبکه عصبی
شبکه‌های عصبی از تلاش برای الگوسازی طرز واقعی مغز انسان نشأت‌گرفته و مغز انسان به‌عنوان یک سیستم پردازش موازی ، از ۱۰۰ تریلیون(۱۰ بتوان ۱۱) نرون به هم مرتبط با ۱۰ بتوان ۱۶ ارتباط تشکیل‌شده است . نرون ها بسیار متنوع هستند ولی عموماً از ۳ قسمت اصلی بنام‌های بدنه سلول ، دندریت ، آکسون تشکیل‌شده‌اند شکل شماره ۲-۴ نواحی مختلف یک سلول عصبی را نشان می‌دهد .

شکل شماره ۲- ۴: ساختار یک نرون (ویکی‌پدیا)

دندریت‌ها به‌عنوان مناطق دریافت سیگنال‌های الکترونیکی می‌باشند که سیگنال‌ها را به هسته انتقال می‌دهند . هسته سلول انرژی لازم را فراهم نموده و بر روی سیگنال‌های دریافتی عمل می‌کند .
آکسون ها نیز سیگنال دریافتی را به نرون های دیگر منتقل می‌کنند . محل اتصال یک آکسون از یک سلول به دندریت‌های سلول دیگر سیناپس نام دارد. سیناپس‌ها تعیین‌کننده ارتباط بین نرون ها می‌باشند .
مدل ریاضی نرون ها نیز شبیه مدل طبیعی می‌باشد . شکل شماره ۲-۵ ساختار یک نرون تک ورودی را نشان می‌دهد .
شکل شماره ۲- ۵: تابع ریاضی نرون عصبی(مبانی شبکه‌های عصبی،محمدباقر منهاج،دانشگاه صنعتی امیرکبیر،چاپ چهارم،تهران،۱۳۹۱، صفحه ۴۳)
متغیر p ورودی (معادل سیگنال ورودی به دندریت‌ها) و متغیر w وزن p (معادل سیناپس در نرون طبیعی) . ورودی دیگری که مقدار ثابت یک است بایاس b ضرب شده و سپس با wp جمع می‌شود این حاصل جمع ، ورودی خالص n برای تابع محرک f (معادل هسته سلول ) خواهد بود . درنهایت a خروجی (سیگنال عبوری از آکسون) خواهد بود .(منهاج،۱۳۸۴)
شبکه عصبی می‌تواند از چند ورودی یا چند نرون تشکیل‌شده باشد ولی پایه اصلی آن، الگوی ریاضی زیر می‌باشد:
a = f(wp+b)

معماری شبکه عصبی
دو نوع معماری کلی در شبکه‌های عصبی وجود دارد که عبارت‌اند از روبه‌جلو^[۱] و بازگشتی^[۲].
الف-روبه‌جلو
در شبکه‌های روبه‌جلو تمام یال‌ها از لایه قبلی به لایه بعدی وصل می‌شوند و از لایه‌های جلو به لایه قبلی یالی وجود ندارد. درواقع می‌توان گفت که در این نوع شبکه‌ها حلقه در گراف شبکه وجود ندارد. تمام یال‌ها از گره‌های ورودی به سمت لایه مخفی و از لایه مخفی به سمت خروجی می‌رود.
ب- بازگشتی
در این نوع از شبکه‌ها یال‌ها می‌توانند از لایه‌های جلوتر به لایه‌های قبلی وصل شوند. برای مثال از گره خروجی یالی به گره لایه مخفی و یا گره ورودی وصل کرد. شکل شماره ۲-۶ یک شبکه بازگشتی را نمایش می‌دهد.
شکل شماره ۲- ۶: ساختار یک شبکه بازگشتی