در یک شبکه Feed-Forward چند لایه ای، ارتباطاتی بین گره های لایه های مختف وجود دارد، و چنین ارتباطاتی بین گره های موجود در یک لایه وجود ندارد. ورودی ها در لایه ورودی به شبکه عرضه شده و انگیزش از سمت ورودی به سمت خروجی به شبکه داده می شود. چنین شبکه ای، با یک آموزش هدایت شده توسط یک قانون دلتای تعمیم داده شده، عموماً شبکه عصبی پس انتشار نامیده می شود.
First-Order
۲۷
این الگوریتم توسط وبوس۱ در دوره دکترای وی در دانشگاه هاروارد ساخته شد. با این وجود، برای سالها قدرت این الگوریتم ناشناخته مانده و از آن تقدیری بعمل نیامد. رومل هارت و همکارانش (۱۹۸۶) این الگوریتم را دوباره کشف کرده و بواسطه نشان دادن اینکه چگونه می توان نورون های مخفی در یک مسئله نگاشت پیچیده را آموزش داد، به این الگوریتم محبوبیت بخشیدند. کار آنها، نقشی حیاتی را در خصوص زنده کردن دوباره کلیت حوزه شبکه های عصبی ایفا نمود. شبکه شامل یک لایه ورودی، یک لایه خروجی و تعدادی لایه های پنهان می باشد. در هر گره موجود در یک لایه، اطلاعات دریافت، ذخیره و پردازش شده و با گره های در لایه های بعدی مبادله می گردد. در شروع آموزش، تمامی وزن ها بطور اولیه شناسایی و مقادیر عددی تصادفی کوچکی به آنها اختصاص داده می شود. این وزن ها با بهره گرفتن از قانون دلتای تعمیم داده شده، یا اصل شیب ترین نزول درجه بندی شده۲ به شیوه ای تکراری بروز رسانی شده یا اصلاح می گردند. فرایند آموزش زمانی متوقف می شود که هیچ تغییر قابل ملاحظه ای در مقادیر مرتبط با لینک های ارتباطی دیده نشود و یا اینکه یک شرط توقف برقرار گردد. بنابراین، آموزش یک شبکه پس انتشار شامل دو مرحله می باشد:
( اینجا فقط تکه ای از متن پایان نامه درج شده است. برای خرید متن کامل فایل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )
یک گذر روبه جلو، که طی آن پردازش اطلاعات از لایه ورودی به سمت لایه خروجی رخ می دهد؛ و یک گذر رو به عقب، زمانی که خطا از لایه خروجی به لایه ورودی در جهت رو به عقب بازنشر شده و ارتباطات میانی اصلاح می گردند.
Webos (1974)
Steepest-gradient descent
۲۸
الگوریتم زیر توسط فوزت۱ داده شده است:
مرحله ۰ : وزن ها را شناسایی کن. (با مقادیر تصادفی و کوچک تنظیم کن)
مرحله ۱ : تا زمانیکه شرط توقف برقرار نشده (False است) مراحل ۲ تا ۹ را انجام بده.
مرحله ۲ : برای هر زوج آموزشی از مجموعه، مراحل ۳ تا ۸ را انجام بده.
رو به جلو :
مرحله ۳ : هر واحد ورودی سیگنال ورودی را دریافت کرده، و این سیگنال را به تمام واحد ها در لایه بعد ارسال می نماید (واحدهای پنهان)
مرحله ۴ : هر واحد پنهان مجموع سیگنال های ورودی و وزن گذاری شده خود را بدست می آورد.
(۳-۵)
که در آن وزن ارتباط، و مقدار تمایل بوده، و تابع فعال سازی خود را به منظور محاسبه سیگنال خروجی اش اعمال می دارد:
(۳-۶)
و این سیگنال را به تمام واحد ها در لایه زیرین ارسال می کند. عموماً ، “f” تابع غیر خطی حلقوی بوده و بصورت زیر تعریف می شود:
(۳-۷)
۱- Fausett (1994)
۲۹
مرحله ۵ : هر واحد خروجی مجموع سیگنال های ورودی و وزن گذاری شده خود را بدست آورده
(۳-۸)
و تابع فعال سازی خود را به منظور کامل نمودن سیگنال خروجی اعمال می نماید:
(۳-۹)
خطای پس انتشار(عقب گرد) :
مرحله ۶ : هر واحد خروجی یک الگوی هدف متناظر با الگوی آموزش ورودی را دریافت کرده، و شرایط یا رابطه خطای خود را محاسبه می نماید:
(۳-۱۰)
شرایط یا رابطه تصحیح وزن خودرا محاسبه می نماید (که بعداً برای بروز رسانی استفاده می شود)
(۳-۱۱)
شرایط یارابطه تصحیح تمایل خودرا محاسبه می کند (که بعداً برای بروز رسانی استفاده می شود)
(۳-۱۲)
و را به گره های موجود در لایه قبل ارسال می کند.
مرحله ۷ : هر واحد پنهان مجموع ورودی های دلتای خود را بدست می آورد (از واحدهای لایه بعدی)
(۳-۱۳)
۳۰
و به منظور محاسبه شرایط یا رابطه خطای خود، در مشتقات تابع فعال سازی خود ضرب می نماید.
(۳-۱۴)
شرایط یا رابطه تصحیح وزن خود را محاسبه می نماید (که بعداً برای بروز رسانی استفاده می شود)
(۳-۱۵)
و شرایط یا رابطه تصحیح تمایل خود را محاسبه می کند (که بعداً برای بروز رسانی استفاده می شود)
(۳-۱۶)
بروز رسانی وزن ها و مقادیر تمایل:
مرحله ۸ : هر گره خروجی مقادیر تمایل و وزنهای خود را بروز رسانی می کند :
(۳-۱۷)
هر گره پنهان مقادیر تمایل و وزنهای خود را بروز رسانی می کند
(۳-۱۸)
مرحله ۹ : آزمون شرط توقف
۳۱
