چکیده:بسیاری از بررسی ها یک رشته بیت را با استفاده از الگوریتم ژنتیک به منظور بیان ساختار شبکه نگاشت داده اند تا کارایی شبکه های پس انتشار خطا را بهبود بخشند. اما محدودیت ها در تکنیک های جستجوی گرادیان که برای مسائل بهینه سازی غیر خطی پیچیده استفاده می شوند ،اغلب کارایی متناقض و غیر قابل پیش بینی را نتیجه داده اند .این مقاله برروی چگونگی جمع آوری و ارزیابی مجدد ماتریس های وزن BPN تمرکز دارد در حالیکه عملگرهای الگوریتم ژنتیک در هر نسل به منظور بهینه سازی ماتریس های وزن پردازش می شوند. در این روش همچنین over fitting، یک اشکال از bpn ها که معمولا در طول مرحله بعد ازآموزش شبکه عصبی با نزول خطای آموزش و افزایش خطای پیش بینی اتفاق می افتد ، نیز قابل حذف شدن می باشند .روش پیشنهادی ،پارامترها و توپولوژی شبکه عصبی را در جهت افزایش امکان پذیری اجرای فضای جواب برای مسائل غیرخطی پیچیده توسعه می هد.نتایج بدست آمده از روش پیشنهادی،شبکه عصبی BPNمبتنی بر الگوریتم ژنتیک،با شبکه عصبی BPN مرسوم مقایسه می شود.
کلید واژه- الگوریتم ژنتیک،بهینه سازی، شبکه عصبی BPN
1- مقدمه
مدل های شبکه عصبی مصنوعی (ANN ) به طور گسترده در کاربردهای متفاوتی استفاده شده اند. شبکه های پس انتشار خطا ، پرکاربردترین مورد استفاده در شبکه های عصبی مصنوعی،برای حل تعداد زیادی از مسائل واقعی بکار گرفته شده اند.یکی از نقص ها ی اساسی در شبکه های عصبی جاری این است که پژوهش وابسته به طراحی شبکه عصبی می باشد.طراحی یک شبکه عصبی شامل انتخاب یک مجموعه بهینه از پارامتر ها ی طراحی می باشد تا همگرایی سریع را در طول آموزش و دقت مورد نیاز را هنگام فراخوانی بدست آورد.به طور معمول شبکه های عصبی bp توسط محققان بسیار آموزش داده شده است.متاسفانه bp یک الگوریتم جستجوی محلی است، بنابراین موجب واقع شدن در تله می نیمم محلی می شود.یک bpn دارای دو اشکال عمده به شرح زیر است :1.تکنیک جستجوی گرادیان به یک جواب بهینه با کارایی متناقض و غیر قابل پیش بینی برای بعضی از کاربردها همگرا می شود.
2.هنگامیکه در بعضی نواحی در مینیمم محلی واقع می شود تکنیک جستجوی گرادیان به طور ضعیفی در بدست آوردن یک جواب بهینه عمومی عمل می کند .
عمده ترین مسئله در طول پروسه آموزش شبکه عصبی احتمال OF (Over Fitting) در داده های آموزش می باشد.بدین معنا که در طول یک دوره آموزش معین شبکه ،قابلیت حل مسائل توسط آن بهتر نمی شود.
بهترین روش برای کاهش وزن ها در [1]پیشنهاد شده بود تا از چنین OF دوری نماید .در بررسی ]2[شبکه پس انتشار خطا روی مجموعه داده نشان داده شده موجب OF شد که بعد از تعداد تکرار مشخصی در مرحله آموزش شروع شد .دو استراتژی ارائه شدند تا مقدار اطلاعات انتقال داده شده را به وسیله یک شبکه feed forward،رو به جلو، که در آنالیز مولفه اصلی (PCA) استفاده شده بود محدود کنند .در ]3[ zhang و همکارانش نشان دادند که OF همچنین هنگامیکه تقریب چند جمله ای های مرتبه بالا برای مناسب سازی تعداد کمی از نقاط استفاده شده بود اتفاق می افتد . با توجه به این موارد بهبود همگرایی bpn و دوری از OF داده ها در طی آموزش هر دو خیلی مهم هستند.
GA یک روش جستجوی عمومی است که از یک جمعیت از راه حل ها به دیگری جستجو می کند . برای مسائل محدود [4] و برای مسائل پیچیده [4] ، الگوریتم ژنتیک (GA) به طور استثنائی هنگام بهینه سازی توابع غیر خطی مشکل ،در بدست آوردن راه حل عمومی به گونه ای مناسب عمل می نماید.هم چنین در در بهینه سازی شبکه عصبی [5],[6] دارای کارایی بالاست .
الگوریتم ژنتیک به طور گسترده در شبکه های عصبی مصنوعی استفاده شده است . صورت ماتریس های اتصال نمایش داده می شوند که مستقیما در یک رشته بیت نگاشت یافته اند . دیدگاه دوم بهینه سازی شبکه عصبی با استفاده از الگوریتم ژنتیک برای جستجو می باشد .این پژوهش نیز بر پایه این دیدگاه می باشد .
چندین مقاله، کارایی بهینه سازی bpn مبتنی بر GA را با bpn متداول مقایسه نموده اند . در مطالعاتی دیگر ]6-4[، GA ها استفاده شده اند تا ساختار شبکه بهینه را برای هدف مشخصی پیدا کنند .
بیشتر این مطالعات بر پایه تکنیک جستجوی گرادیان می باشند تا اتصال مقادیر وزن را در مدل دست آورند . بسیاری از مطالعات قبلی صحت پیش بینی برجسته ای را ایجاد نمی کردندکه این مورد تا حدی به دلیل ناتوانی پیدا نمودن نتایج سازگار بوده است .دلیل دیگر ممکن است همگرایی محلی در تکنیک جستجوی گرادیان باشد. دراین مطالعه.یک پروسه ارزیابی الگوریتم ژنتیک استفاده می شود تا تاثیرات آن را اندازه گیری کند.مقاله حاضر مقالات قبلی را بر پایه تنظیم پویا پارامتر ها تکمیل نموده و توپولوژی bpn را گسترش می دهد تا فضا ی جستجوی راه حل های امکان پذیر را در جهت بهبود احتمال فرار از تله محلی توسعه دهد . بعضی فاکتورها مانند نرخ یادگیری ، مومنتم می توانند شدیدا روی توانایی جستجوی راه حل یک bpn تاثیر گذاشته و بهینه سازی آنها می تواند موجب بهبود احتمال یافتن راه حل بهینه عمومی گردد. در نتیجه این فاکتورها ، متغیرهای تصمیم در مقاله جاری با هدف بهینه سازی bpn خواهند بود .
2- روشهای پیشنهادی
این پژوهش یک الگوریتم ژنتیک را بکار می برد تا پارامترها و توپولوژی bpn را با استفاده از یک پروسه ارزیابی دو فاز بهینه سازی کند. در حین آموزش به bpn ،ابتدا فاکتورهای کمی مناسب و تنظیمات مجاز آنها تعیین می شود و سپس پارامتر ها و توپولوژی bpn روی یک نوع رشته بیت نگاشت داده می شوند.یک الگوریتم ژنتیک باینری استفاده می شود تا پارامتر ها و توپولوژی های مختلف عصبی را کد کند ومتغیرهای تصمیم کد شده را به طور مستقیم به زیر رشته ای از کروموزوم ها نگاشت می دهد .سرانجام ماتریس های وزن غربال شده از هر نسل از الگوریتم ژنتیک برای بهینه سازی پارامترها و توپولوژی bpn جمع آوری شده و دوباره ارزیابی می شوند.
1-2- شناسایی تنظیمات سطح فاکتور bpn
قبل از استفاده از الگوریتم ژنتیک برای بهینه سازی پارامترها و توپولوژی bpn ،لازم است ابتدا متغیرهای تصمیم گیری شان شناسایی شده تا فضای جستجوی روش ها تعیین شود.در بیشتر موارد یک لایه مخفی کافیست تا محدوده تصمیم گیری موردنظر برای خروجی ها بدست آید.در دیگر مقالات از شبکه های عصبی با دو یا سه لایه پنهان برای کاربردهای پیچیده تر استفاده شده است . تعداد نرون های مخفی مورد نیاز بستگی به تعداد لایه های مخفی مورد استفاده دارد ، در بسیاری از کاربردها نیاز است توپولوژی bpn به طور کامل بسط داده شود تا نتیجه مطلوب بدست آید.بنابراین تعداد لایه های مخفی به 3 لایه در این مقاله گسترش می یابد و تعداد نرون ها در لایه پنهان 63 عدد خواهد بود.تعداد نرون ها در لایه ورودی و خروجی بستگی به مسئله دارد .با توجه به اینکه در این مقاله از مجموعه داده Pima استفاده می شود ،8 ورودی (ویژگی) و 3 خروجی (کلاس) وجود دارد.فضای راه حل ها به وسیله تنظیم محدوده وزن های اولیه از bpn به صورت پویا کشف می شود تا فضای جواب را تصدیق نماید وبا این عمل، فرصت بیشتری برای جستجو تخصیص داده ،از بهینه محلی خارج شده و به سمت بهینه عمومی حرکت می کند.از بررسی مقالات قبلی به نظر می رسد که روش آزمایش و خطا عمومی ترین روش برای شناسایی مقدار بهینه نرخ یادگیری و مومنتم یک bpn می باشد .در روش پیشنهادی مرتبا، محدوده وزن های اولیه ،سرعت یادگیری ،مومنتم،تعداد لایه های مخفی ،تعداد نرون ها در لایه اول،تعداد نرون ها در لایه دوم و تعداد نرون ها در لایه سوم از bpn (جدول 1) به یک زیر رشته نگاشت داده می شوند تا احتمال پیدا نمودن بهینه عمومی را بهبود دهند . پس از تعیین حوزه های مناسب برای پارامتر ها و توپولوژی شبکه ،الگوریتم ژنتیک استفاده می شود تا مقدار دقیق این ویژگی های شبکه را ارزیابی نماید.که آنگاه برای بهینه سازی کارایی bpn استفاده خواهد شد.
2-2- نگاشت پارامتر ها و توپولوژی bpn در یک رشته بیت
تکنیک جستجوی گرادیان bpn ممکن است به طور محلی هنگام جستجو همگرا شود . بر خلاف bpn مرسوم که از یک نقطه به نقطه ای دیگر حرکت می کند ،bpn بر پایه الگوریتم ژنتیک فضا را از یک مجموعه از راه حل ها به یک مجموعه دیگر، در بسیاری جهات به طور همزمان جستجو می نماید.
ساختار کروموزوم ها،همانند Goldberg ، به صورت یک کد باینری ساده شامل یک سری از 0 و 1 هادر نظر گرفته شده است.بنابراین از یک روش کدگذاری و رمز گشایی دودویی ،برای 7 پارامتر و توپولوژی bpn در مقاله جاری استفاده می شود .هر زیر رشته به وسیله یک تعریف باینری کد می شود، همانطور که در شکل 1 نشان داده شده است . بر پایه این حوزه های تعیین شده ، رشته ( کروموزوم ) در GA شامل 45 بیت از کدهای باینری خواهدبود
(تصاویر در فایل اصلی قابل مشاهده است)
لینک دانلود پروژه این پروپوزال