شبکه های عصبی چیست؟ شبکه های عصبی: انواع ، اصل عملکرد و دامنه. شبکه های عصبی چیست؟

سوالات هوش مصنوعی و شبکه های عصبی اکنون از همیشه محبوب تر شده اند. بسیاری از کاربران بیشتر و بیشتر با سؤالاتی در مورد چگونگی کارکرد شبکه های عصبی ، آنچه در آن قرار دارند و اساس فعالیت آنها بر چه اساس استوار می شوند.

این مسائل ، همراه با محبوبیت ، همچنین از پیچیدگی قابل توجهی برخوردار هستند ، زیرا فرآیندها الگوریتم های یادگیری پیچیده ماشین برای اهداف مختلف هستند ، از تجزیه و تحلیل تغییرات تا مدل سازی خطرات مرتبط با اقدامات خاص.

شبکه های عصبی و انواع آنها چیست؟

اولین سوالی که برای علاقه مندان ایجاد می شود اینست که شبکه عصبی چیست؟ در تعریف کلاسیک ، این دنباله خاصی از نورون ها است که توسط سیناپس ها به هم پیوسته اند. شبکه های عصبی یک مدل ساده از آنالوگ های بیولوژیکی هستند.

برنامه ای که دارای ساختار شبکه عصبی است ، به دستگاه اجازه می دهد تا داده های ورودی را تجزیه و تحلیل کند و نتیجه به دست آمده از منابع خاص را ذخیره کند. در آینده ، این رویکرد به شما امکان می دهد نتیجه را که مطابق با مجموعه داده های فعلی است ، از قبل از حافظه استخراج کنید ، اگر قبلاً در چرخه شبکه بوده است.

بسیاری شبکه عصبی را به عنوان آنالوگ مغز انسان می دانند. از یک طرف ، این گزاره را می توان نزدیک به حقیقت دانست ، اما از سوی دیگر ، مغز انسان مکانیسمی بیش از حد پیچیده است تا بتواند حداقل با کسری درصدی از درصد ، آن را با استفاده از دستگاه دوباره بازآفرینی کند. یک شبکه عصبی در درجه اول یک برنامه مبتنی بر اصل مغز است اما همتای آن نیست.

شبکه عصبی دسته ای از سلولهای عصبی است که هر یک از آنها اطلاعات دریافت می کنند ، آن را پردازش می کنند و آن را به سلول عصبی دیگری منتقل می کنند. هر نورون دقیقاً همان سیگنال را پردازش می کند.

پس چگونه می توان نتیجه متفاوتی به دست آورد؟ این همه مربوط به سیناپس هایی است که نورون ها را به یکدیگر متصل می کند. یک نورون می تواند تعداد زیادی سیناپس داشته باشد ، این سیگنال را تقویت یا کاهش می دهد ، در حالی که آنها می توانند ویژگی های خود را با گذشت زمان تغییر دهند.

این پارامترهای به درستی انتخاب شده از سیناپس ها هستند که می توانند نتیجه صحیح تبدیل داده های ورودی را در خروجی بدست آورند.

با تعریف بصورت کلی شبکه عصبی ، می توان انواع اصلی طبقه بندی آنها را تشخیص داد. قبل از شروع طبقه بندی ، لازم است یک پالایش را معرفی کنید. هر شبکه یک لایه اول نورون دارد که به آن ورودی گفته می شود.

او هیچگونه محاسبه و دگرگونی را انجام نمی دهد ، وظیفه او تنها در یک چیز تشکیل شده است: قبول و توزیع سیگنال های ورودی به سلول های عصبی باقی مانده. این تنها لایه ای است که برای همه انواع شبکه های عصبی مشترک است ؛ ساختار بیشتر آنها ملاک تقسیم اصلی است.

• شبکه عصبی تک لایه. این ساختار تعامل نورون هاست که در آن پس از برخورد داده های ورودی به اولین لایه ورودی ، بلافاصله به لایه خروجی نتیجه نهایی منتقل می شود. در همان زمان ، اولین لایه ورودی در نظر گرفته نمی شود ، زیرا هیچ کاری را انجام نمی دهد ، به جز دریافت و توزیع ، همانطور که در بالا گفته شد. و لایه دوم تمام محاسبات و پردازش های لازم را انجام می دهد و بلافاصله نتیجه نهایی را تولید می کند. نورونهای ورودی با لایه اصلی توسط سیناپسها ترکیب می شوند که دارای ضریب وزن متفاوت هستند و این باعث تضمین کیفیت اتصالات می شود.
• شبکه عصبی چند لایه. همانطور که از تعریف مشخص است ، این نوع شبکه عصبی علاوه بر لایه های ورودی و خروجی ، دارای لایه های میانی نیز می باشد. تعداد آنها بستگی به میزان پیچیدگی خود شبکه دارد. این نزدیکتر به ساختار یک شبکه عصبی بیولوژیکی شباهت دارد. این نوع شبکه ها به تازگی توسعه داده شده اند ، قبل از آن همه فرایندها با استفاده از شبکه های تک لایه پیاده سازی شده اند. بر این اساس ، چنین راه حلی امکانات بسیار بیشتری نسبت به اجداد خود دارد. در فرآیند پردازش اطلاعات ، هر لایه میانی یک مرحله میانی برای پردازش و توزیع اطلاعات است.

بسته به جهت توزیع اطلاعات توسط سیناپس ها از یک نورون به دیگری ، شبکه ها نیز می توانند به دو دسته طبقه بندی شوند.

• شبکه های توزیع مستقیم یا یک طرفه ، یعنی ساختاری که در آن یک سیگنال به شدت از لایه ورودی به خروجی حرکت می کند. حرکت سیگنال در جهت مخالف امکان پذیر نیست. چنین تحولاتی کاملاً گسترده است و در حال حاضر با موفقیت مشکلی مانند شناخت ، پیش بینی و یا خوشه بندی را حل می کند.
• شبکه های بازخورد یا بازگشتی. چنین شبکه هایی اجازه می دهند تا سیگنال نه تنها در جلو ، بلکه در جهت مخالف نیز حرکت کند. چه می دهد؟ در چنین شبکه هایی ، نتیجه خروجی را می توان براساس آن بازگرداند ، خروجی نورون توسط اوزان و سیگنالهای ورودی تعیین می شود و با خروجی های قبلی تکمیل می شود ، که دوباره به ورودی باز می گردند. چنین شبکه هایی با عملکردی حافظه کوتاه مدت مشخص می شوند که براساس آن سیگنال ها در طی پردازش بازیابی و تکمیل می شوند.

اینها تنها گزینه های طبقه بندی شبکه ها نیستند.

براساس انواع نورونهایی که شبکه را تشکیل می دهند ، می توان آنها را به همگن و ترکیبی تقسیم کرد. و همچنین heteroassociative یا خودکار ارتباط بسته به روش آموزش شبکه ، با یا بدون معلم. همچنین می توانید شبکه ها را با توجه به هدف آنها طبقه بندی کنید.

از کجا از شبکه های عصبی استفاده می کنند؟

شبکه های عصبی برای حل مشکلات مختلف استفاده می شوند. اگر وظایف را با توجه به میزان پیچیدگی در نظر بگیریم ، برای حل ساده ترین کارها یک برنامه رایانه معمولی مناسب است ، بیشتر
کارهای پیچیده ای که نیاز به پیش بینی ساده یا حل تقریبی معادلات دارند ، از برنامه هایی با استفاده از روش های آماری استفاده می شود.

اما وظایف یک سطح حتی پیچیده تر نیاز به یک رویکرد کاملاً متفاوت دارد. به ویژه ، این امر در مورد شناخت الگوی ، گفتار یا پیش بینی پیچیده صدق می کند. در ذهن شخص ، چنین فرآیندهایی به صورت ناخودآگاه اتفاق می افتند ، یعنی با شناخت و به یاد آوردن تصاویر ، فرد متوجه نمی شود كه چگونه این روند اتفاق می افتد ، و بنابراین نمی تواند آن را كنترل كند.

این کارهایی است که شبکه های عصبی به حل آن کمک می کنند ، یعنی آنها برای انجام فرآیندی ایجاد می شوند که الگوریتم های آنها ناشناخته است.

بنابراین ، شبکه های عصبی به طور گسترده ای در مناطق زیر استفاده می شوند:

• به رسمیت شناختن ، و این جهت در حال حاضر وسیع ترین است.
• پیش بینی مرحله بعدی ، این ویژگی در تجارت و بورس سهام قابل استفاده است.
• طبقه بندی داده های ورودی توسط پارامترها ، این عملکرد توسط ربات های اعتباری انجام می شود ، که با تکیه بر مجموعه ورودی از پارامترهای مختلف ، قادر به تصمیم گیری در تصویب وام به شخص هستند.

توانایی شبکه های عصبی آنها را بسیار محبوب می کند. شما می توانید به آنها چیزهای زیادی آموزش دهید ، مثلا بازی کنید ، یک صدای خاص و غیره را بشناسید. براساس این واقعیت که شبکه های مصنوعی بر اساس اصل شبکه های بیولوژیکی ساخته شده اند ، می توان آنها را در تمام فرآیندی که فرد به طور ناخودآگاه انجام می دهد ، آموزش داد.

نورون و سیناپس چیست؟

بنابراین نورون از نظر شبکه های عصبی مصنوعی چیست؟ منظور از این مفهوم واحدی است که محاسبات را انجام می دهد. اطلاعات را از لایه ورودی شبکه دریافت می کند ، محاسبات ساده ای را با آن انجام می دهد و آن را به نورون بعدی می خورد.

سه نوع نورون در شبکه وجود دارد: ورودی ، پنهان و خروجی. علاوه بر این ، اگر شبکه تک لایه باشد ، حاوی سلولهای عصبی پنهان نیست. علاوه بر این واحدهای مختلفی به نام نورون جابجایی و نورون زمینه وجود دارد.

هر نورون دارای دو نوع داده است: ورودی و خروجی. در این حالت داده های ورودی در لایه اول برابر با خروجی است. در موارد دیگر ، ورودی نورون اطلاعات کل لایه های قبلی را دریافت می کند ، سپس فرایند عادی سازی را طی می کند ، یعنی تمام مقادیر افتاده از محدوده مورد نظر با عملکرد فعال سازی تبدیل می شوند.

همانطور که در بالا ذکر شد ، سیناپس ارتباطی بین نورون ها است که هر یک از این وزن خود را دارند. به لطف این ویژگی است که اطلاعات ورودی هنگام انتقال تغییر می یابد. در طی پردازش ، اطلاعات منتقل شده توسط سیناپس ، با نشانگر وزن زیاد ، غالب خواهند بود.

معلوم می شود که نتیجه تحت تأثیر نورون ها قرار نمی گیرد بلکه سیناپس هایی است که مجموعه خاصی از وزن داده های ورودی را در اختیار شما قرار می دهد ، زیرا خود نورون ها هر بار دقیقاً همان محاسبات را انجام می دهند.

در این حالت ، وزنه ها به ترتیب تصادفی تنظیم می شوند.

طرح شبکه عصبی

برای ارائه اصل عملکرد یک شبکه عصبی ، مهارت خاصی لازم نیست. لایه ورودی نورون ها اطلاعات خاصی را دریافت می کند. توسط سیناپس ها به لایه بعدی منتقل می شود که هر سیناپس دارای ضریب وزن مخصوص به خود است و هر نورون بعدی می تواند چندین سیناپس ورودی را داشته باشد.

در نتیجه ، اطلاعات به دست آمده توسط نورون بعدی ، مجموع تمام داده های ضرب شده با ضریب وزن مخصوص به خود است. مقدار به دست آمده در تابع فعال سازی جایگزین شده و اطلاعات خروجی بدست می آید که تا رسیدن به خروجی نهایی بیشتر انتقال می یابد. اولین راه اندازی این شبکه نتایج صحیحی نمی دهد ، زیرا شبکه هنوز آموزش نیافته است.

تابع فعال سازی برای عادی سازی داده های ورودی استفاده می شود. چنین کارکردهای زیادی وجود دارد ، اما چندین پایه اصلی که بیشترین کاربرد را دارند ، می توان تشخیص داد. تفاوت اصلی آنها دامنه مقادیری است که در آنها کار می کنند.

• عملکرد خطی f (x) \u003d x ، ساده ترین از همه ممکن است ، فقط برای آزمایش شبکه عصبی ایجاد شده یا انتقال داده به شکل اصلی استفاده می شود.
• سیگموئید رایج ترین عملکرد فعال سازی محسوب می شود و فرم f (x) \u003d 1/1 + e- × دارد. دامنه مقادیر آن از 0 تا 1 است. این تابع لجستیک نیز نامیده می شود.
• برای پوشاندن مقادیر منفی از مماس هایپربولیک استفاده کنید. F (x) \u003d e² × - 1 / e² × + 1 - این عملکرد دارای این فرم و دامنه ای است که از 1 تا 1 دارد. اگر شبکه عصبی استفاده از مقادیر منفی را فراهم نمی کند ، پس نباید از آن استفاده کنید.

برای تنظیم شبکه با داده هایی که با آن کار خواهد کرد ، مجموعه های آموزشی مورد نیاز است.

ادغام یک شمارنده است که با هر مجموعه آموزشی افزایش می یابد.

عصر شاخصی از آموزش شبکه عصبی است ، هر بار که این شبکه از چرخه مجموعه ای کامل از مجموعه های آموزشی عبور می کند ، این شاخص افزایش می یابد.

بر این اساس ، برای انجام صحیح آموزش شبکه ، باید مجموعه ها را انجام دهید ، به تدریج شاخص دوره را افزایش دهید.

در طول آموزش ، خطاها تشخیص داده می شوند. این درصدی از اختلاف بین نتیجه و نتیجه مطلوب است. این شاخص باید در روند افزایش شاخص عصر کاهش یابد ، در غیر این صورت ، در جایی خطای توسعه دهنده قرار می گیرد.

نورون جابجایی چیست و برای چیست؟

در شبکه های عصبی نوع دیگری از نورون وجود دارد - یک نورون جابجایی. این از نظر نوع اصلی نورونها متفاوت است زیرا ورودی و خروجی آن در هر صورت برابر با یک است. در عین حال ، چنین نورون هایی سیناپس ورودی ندارند.

محل قرارگیری چنین سلولهای عصبی یک به یک و هر زمان دیگری رخ می دهد و همچنین نمی توان آنها را با سیناپس ها با یکدیگر متصل کرد. توصیه نمی شود چنین نورون هایی را روی لایه خروجی قرار دهید.

به چه مواردی احتیاج دارند؟ موقعیت هایی وجود دارد که شبکه عصبی به دلیل عدم دسترسی به نقطه مطلوب ، نمی تواند راه حل مناسبی را پیدا کند. برای همین است که چنین نورونهایی لازم هستند تا بتوانند دامنه تعریف را تغییر دهند.

یعنی وزن سیناپس منحنی نمودار عملکرد را تغییر می دهد ، در حالی که نورون جابجایی امکان تغییر در امتداد محور مختصات X را می دهد ، به گونه ای که شبکه عصبی می تواند ناحیه ای را که غیرقابل تغییر است برای آن غیرقابل دستیابی کند. در این حالت ، تغییر نیز می تواند به راست و چپ انجام شود. بطور شماتیک ، نورون های برشی معمولاً نشان داده نمی شوند ؛ هنگام محاسبه مقدار ورودی ، وزن آنها به طور پیش فرض در نظر گرفته می شود.

همچنین ، نورون های جابجایی در شرایطی که تمام نورون های دیگر 0 را به عنوان یک پارامتر خروجی به دست می آورند ، به نتیجه می رسند. در این حالت ، صرف نظر از وزن سیناپس ، این مقدار به هر لایه بعدی منتقل می شود.

وجود یک نورون جابجایی باعث اصلاح اوضاع و نتیجه متفاوت می شود. امکان استفاده از نورون های جابجایی با آزمایش شبکه با و بدون آنها و مقایسه نتایج مشخص می شود.

اما یادآوری این نکته حائز اهمیت است که برای دستیابی به نتایج ، ایجاد شبکه عصبی کافی نیست. او همچنین نیاز به آموزش دارد که به روشهای ویژه ای نیز نیاز دارد و الگوریتم های خاص خود را دارد. این روند به سختی نمی توان ساده نامید ، زیرا اجرای آن مستلزم دانش و تلاش خاصی است.

انواع جدیدی از معماری شبکه های عصبی دائماً نمایان می شوند و فرد در آنها سردرگم می شود. ما نوعی ورق تقلب حاوی بیشتر انواع موجود ANN را برای شما جمع آوری کرده ایم. اگرچه همه آنها به صورت منحصر به فرد ارائه شده اند ، اما تصاویر نشان می دهند که بسیاری از آنها بسیار شبیه به هم هستند.

مشکل نمودارهایی که در بالا آورده شده است این است که آنها نحوه استفاده از شبکه های مربوطه را در عمل نشان نمی دهند. به عنوان مثال ، اتوکد های متغیر (VAE) دقیقاً شبیه به autododer های ساده (AE) هستند ، اما فرایندهای یادگیری آنها به میزان قابل توجهی متفاوت است. موارد استفاده حتی بیشتر متفاوت است ، زیرا VAE مولد است که باعث تولید سر و صدای جدید برای تولید نمونه جدید می شود. AE به سادگی داده ها را با شبیه ترین نمونه به دست آمده در طول آموزش مقایسه می کند.

شایان ذکر است که اگرچه اکثر این اختصارات به طور کلی پذیرفته می شوند ، استثنائاتی نیز وجود دارد. RNN ها گاه به معنای یک شبکه عصبی بازگشتی هستند ، اما معمولاً آنها به معنای یک شبکه عصبی مکرر هستند. همچنین می توانید در هنگام استفاده ، اغلب از اختصار RNN استفاده کنید هر مکرر NS. رمزگذارهای خودکار همچنین هنگامی که رمزگذارهای خودکار متغیر و نویز کننده (VAE ، DAE) به سادگی رمزگذار خودکار (AE) شناخته می شوند ، با این مشکل روبرو می شوند. علاوه بر این ، در بسیاری از اختصارات تعداد حروف "N" در انتها متفاوت است ، زیرا در بعضی موارد از "شبکه عصبی" استفاده می شود ، و در بعضی موارد صرفاً "شبکه" است.

برای هر معماری ، توضیحی بسیار مختصر و پیوندی به مقاله ای اختصاص داده شده به آن ارائه خواهد شد. اگر می خواهید از ابتدا به سرعت با شبکه های عصبی آشنا شوید ، ترجمه چهار مرحله ای ما را دنبال کنید.

شبکه های عصبی مستقیم (تغذیه شبکه های عصبی رو به جلو ، FF یا FFNN) و ادراک کننده (perceptrons ، P) بسیار ساده ، آنها اطلاعات را از ورودی به خروجی منتقل می کنند. شبکه های عصبی معمولاً به عنوان کیک پف دار توصیف می شوند ، جایی که هر لایه از سلول های ورودی ، پنهان یا خروجی تشکیل شده است. سلولهای یک لایه به هم وصل نمی شوند و لایه های همسایه معمولاً کاملاً به هم وصل می شوند. ساده ترین شبکه عصبی دارای دو سلول ورودی و یک سلول خروجی است و می تواند به عنوان الگوی دروازه های منطقی مورد استفاده قرار گیرد. FFNN معمولاً با روش انتشار خطا آموزش داده می شود ، که در آن شبکه داده های ورودی و خروجی چندگانه دریافت می کند. این فرآیند یادگیری با معلم نامیده می شود و با یادگیری بدون معلم تفاوت دارد زیرا در حالت دوم ، شبکه داده های خروجی را به طور مستقل تشکیل می دهد. خطای فوق تفاوت بین ورودی و خروجی است. اگر شبکه به اندازه کافی نورون پنهان داشته باشد ، از لحاظ تئوری قادر به شبیه سازی تعامل بین ورودی و خروجی است. در عمل ، چنین شبکه هایی به ندرت مورد استفاده قرار می گیرند ، اما اغلب آنها برای دریافت شبکه های جدید با انواع دیگر ترکیب می شوند.

شبکه های توابع پایه شعاعی (عملکرد پایه شعاعی ، RBF) FFNN است که از توابع پایه شعاعی به عنوان توابع فعال سازی استفاده می کند. او دیگر ایستادگی نمی کند

شبکه عصبی هافیلد (شبکه هافیلد ، HN) یک شبکه عصبی کاملاً متصل با ماتریس متقارن اتصالات است. هنگام دریافت داده های ورودی ، هر گره یک ورودی است ، در فرایند یادگیری ، پنهان می شود و سپس به یک خروجی تبدیل می شود. شبکه به این روش یاد می گیرد: مقادیر نورون ها مطابق با الگوی مورد نظر تنظیم می شوند ، پس از آن وزنه ها محاسبه می شوند که بیشتر تغییر نمی کنند. پس از آموزش شبکه بر روی یک یا چند قالب ، همیشه به یکی از آنها کاهش می یابد (اما نه همیشه به عنوان مورد نظر). این بسته به "انرژی" و "دمای" کلی شبکه تثبیت می شود. هر نورون بسته به دما ، آستانه فعال سازی خاص خود را دارد ، در طی عبور از آن نورون یکی از دو مقدار (معمولاً -1 یا 1 ، گاهی اوقات 0 یا 1) را به خود اختصاص می دهد. چنین شبکه ای اغلب به عنوان یک شبکه حافظه انجمنی خوانده می شود. درست همانطور که یک شخص با دیدن نیمی از جدول می تواند نمایانگر نیمه دوم جدول باشد ، بنابراین این شبکه با دریافت جدول نیمه پر سر و صدا ، آن را به حالت کامل بازگرداند.

زنجیر مارکوف (زنجیر مارکوف ، MC یا زمان گسسته مارکوف زنجیره ای ، DTMC) پیشرو دستگاه های بولتزمن (BM) و شبکه هاپفیلد (HN) هستند. معنای آنها را می توان به شرح زیر توضیح داد: اگر من در این زمینه هستم ، شانس من برای ورود به یکی از گره های زیر چیست؟ هر حالت بعدی فقط به حالت قبلی بستگی دارد. اگرچه در حقیقت زنجیرهای مارکوف NS نیستند ، اما بسیار شبیه به هم هستند. همچنین ، زنجیره های مارکوف لزوما کاملاً به هم وصل نیستند.

دستگاه بولتزمن (دستگاه بولتزمن ، BM)بسیار شبیه شبکه هاپفیلد است ، اما در آن برخی از سلولهای عصبی به عنوان ورودی و برخی پنهان هستند. نورونهای ورودی متعاقباً به نتیجه تبدیل می شوند. دستگاه بولتزمن یک شبکه تصادفی است. این آموزش طبق روش انتشار برگشت خطا یا مطابق الگوریتم واگرایی مقایسه ای صورت می گیرد. به طور کلی ، روند یادگیری بسیار شبیه به روند شبکه هاپفیلد است.

دستگاه بولتزمن محدود (دستگاه بولتزمن محدود ، RBM)شگفت آور که شبیه به دستگاه بولتزمن و به همین دلیل به شبکه هاپفیلد است. تنها تفاوت محدودیت های آن است. در آن ، سلولهای عصبی از یک نوع به هم پیوسته نیستند. یک ماشین بولتزمن محدود را می توان به عنوان FFNN آموزش داد ، اما با یک مورد احتیاط: به جای انتقال مستقیم داده ها و انتشار مجدد خطا ، باید داده ها را ابتدا در جهت رو به جلو و سپس در جهت مخالف منتقل کنید. پس از آن ، آموزش با توجه به روش انتشار رو به جلو و معکوس خطا انجام می شود.

رمزگذار خودکار (خودکار خودکار ، AE) این تا حدودی شبیه به FFNN است ، زیرا این روش بیشتر برای استفاده از FFNN از یک معماری اساسی متفاوت است. ایده اصلی رمزگذاری خودکار (به معنای فشرده سازی ، نه رمزگذاری) اطلاعات است. خود شبکه به شکل یک ساعت شنی شبیه است ، در آن لایه های پنهان از ورودی و خروجی کوچکتر است و متقارن است. با تهیه داده های ورودی و تعیین خطای برابر با تفاوت بین ورودی و خروجی ، شبکه را می توان با روش انتشار برگشت خطا آموزش داد.

رمزگذار خودکار پراکنده (خودکار پراکنده ، SAE) - به یک معنا ، برعکس عادی. به جای آموزش شبکه برای نمایش اطلاعات در حجم کمتری از گره ها ، تعداد آنها را افزایش می دهیم. شبکه به جای اینکه به سمت مرکز متمایل شود ، متورم می شود. شبکه هایی از این نوع برای کار با تعداد زیادی از خصوصیات مجموعه داده های کوچک مفید هستند. اگر شبکه را مانند یک رمزگذار معمولی آموزش دهید ، هیچ چیز مفیدی از آن حاصل نمی شود. بنابراین ، علاوه بر داده های ورودی ، یک فیلتر پراکنده مخصوص نیز ارائه می شود که فقط خطاهای خاصی را رد می کند.

رمزگذار خودکار تنوع(ردیاب خودکار ، VAE) آنها معماری مشابه AE دارند ، اما آنها چیز دیگری را به آنها می آموزند: تقریب توزیع احتمال نمونه های ورودی. در اینها آنها از ماشین های بولتزمن سرچشمه گرفته اند. با این حال ، وقتی صحبت از استنتاج های احتمالی و استقلال می شود ، به ریاضیات بیزی متکی هستند ، که اجرای آن بصری اما دشوار است. به طور خلاصه می توان گفت که این شبکه تأثیر نورون ها را در نظر می گیرد. اگر یک چیز در یک مکان اتفاق می افتد و اتفاق دیگری در دیگری رخ می دهد ، لزوماً این وقایع مرتبط نیستند و این را باید در نظر گرفت.

رمزگذار خودکار لغو صدا (denoising autoencoder، DAE) - این AE ها هستند که داده های ورودی در یک حالت پر سر و صدا قرار دارند. ما خطا را به همان روش محاسبه می کنیم و خروجی با پر سر و صدا مقایسه می شود. با تشکر از این ، شبکه یاد می گیرد که به خصوصیات گسترده تری توجه کند ، زیرا موارد کوچک می توانند با نویز تغییر کنند.

شبکه اعتقاد عمیق (شبکه های اعتقاد عمیق ، DBN) نامی است به نوع معماری که در آن شبکه از چندین RBM یا VAE متصل تشکیل شده است. چنین شبکه هایی در بلوک ها آموزش داده می شوند و هر بلوک فقط باید بتواند شبکه قبلی را رمزگذاری کند. این روش "یادگیری حریص" نام دارد که شامل انتخاب راه حلهای بهینه محلی است که نتیجه نهایی مطلوب را تضمین نمی کند. همچنین ، شبکه را می توان آموزش داد (با روش انتشار برگشت خطا) برای نمایش داده ها در قالب یک مدل احتمالی. اگر از تدریس بدون معلم استفاده می کنید ، می توانید از یک مدل پایدار برای تولید داده های جدید استفاده کنید.

شبکه های عصبی تکاملی (شبکه های عصبی حلقوی ، CNN) و شبکه های عصبی حلقوی عمیق (شبکه های عصبی حلقوی عمیق ، DCNN)بسیار متفاوت از انواع دیگر شبکه ها است. آنها معمولاً برای پردازش تصویر استفاده می شوند ، کمتر از آن برای صوتی. یک روش معمولی برای استفاده از CNN طبقه بندی تصاویر است: اگر یک گربه روی تصویر وجود داشته باشد ، اگر یک سگ وجود داشته باشد ، شبکه "گربه" می دهد ، "سگ". چنین شبکه هایی معمولاً از "اسکنر" استفاده می کنند که همه داده ها را یکباره تجزیه نمی کند. به عنوان مثال ، اگر تصویری 200 200 دارید ، فوراً تمام 40 هزار پیکسل را پردازش نمی کنید. در عوض ، شبکه مربع 20 20 20 (معمولاً از گوشه بالا سمت چپ) را شمارش می کند ، سپس با 1 پیکسل تغییر می کند و یک مربع جدید و غیره شمارش می کند. این ورودی سپس از طریق لایه های حلقوی منتقل می شود که در آن همه گره ها به هم وصل نمی شوند. این لایه ها با عمق کاهش می یابند و اغلب از قدرت دو استفاده می شود: 32 ، 16 ، 8 ، 4 ، 2 ، 1. در عمل ، FFNN برای پردازش بیشتر داده ها به انتهای CNN وصل شده است. چنین شبکه هایی به شبکه های عمیق (DCNN) گفته می شوند.

استقرار شبکه های عصبی (شبکه های deconvolutional ، DN)که به شبکه های گرافیکی معکوس نیز گفته می شود ، در مقابل شبکه های عصبی کانونی معکوس نیست. تصور کنید که کلمه "گربه" را به شبکه منتقل می کنید ، و تصاویر را با گربه ها درست می کند ، شبیه به تصاویر واقعی گربه ها. DNN همچنین می تواند با FFNN ترکیب شود. شایان ذکر است که در بیشتر موارد شبکه به یک رشته منتقل نمی شود بلکه یک بردار باینری است: به عنوان مثال ،<0, 1> - این یک گربه است ،<1, 0> - یک سگ ، و<1, 1> - هم گربه و هم سگ.

ایوان بیریاکوف ، رئیس خبر

چگونه Yandex از داده ها و یادگیری ماشین شما برای شخصی سازی خدمات استفاده می کند.

ما با معرفی و تعریف مفهوم سیستم عصبی مصنوعی ، بررسی مواد خود را آغاز می کنیم.

می تواند به عنوان یک مجموعه محاسباتی آنالوگ در نظر گرفته شود که در آن از عناصر ساده پردازش داده استفاده می شود ، که عمدتا بصورت موازی با یکدیگر متصل می شوند. عناصر پردازش داده ها عملیات منطقی یا حسابی بسیار ساده را روی داده های ورودی خود انجام می دهند. اساس کارکرد سیستم عصبی مصنوعی این است که عوامل وزنی با هر عنصر چنین سیستم مرتبط هستند. این وزن ها اطلاعاتی را که در سیستم ذخیره شده است نشان می دهد

طرح یک نورون مصنوعی معمولی

یک نورون می تواند ورودی های زیادی داشته باشد ، اما تنها یک خروجی دارد. مغز انسان تقریباً دارای نورون است و هر نورون می تواند هزاران ارتباط با دیگران داشته باشد. سیگنال های ورودی نورون با وزن ضرب می شوند و برای به دست آوردن ورودی کل نورون - من:
شکل. نورون مصنوعی 1.Type تابعی که خروجی یک نورون را با ورودی های آن متصل می کند ، عملکرد فعال سازی نام دارد. این فرم یک عملکرد سیگموئید دارد θ . رسمیت واکنش نورون به این صورت است که هنگام دریافت سیگنالهای ورودی بسیار کوچک و بسیار بزرگ ، سیگنال اصلی به یکی از مرزها ارسال می شود. علاوه بر این ، مقدار آستانه با هر نورون همراه است - θ ، که در فرمول محاسبه سیگنال خروجی از کل سیگنال ورودی کم می شود. در نتیجه ، سیگنال خروجی نورون - O اغلب به شرح زیر توصیف می شود: ساختار شبکه با انتشار پشت "src \u003d" https://libtime.ru/uploads/images/00/00/01/2014/06/27/set-s- obratnym-rasprostraneniyem.png "alt \u003d" (! LANG: ساختار شبکه Backspread" width="450" height="370"> Рис. 2. Сеть с обратным распространением !} شبکه برگشت پردازشمعمولاً به سه بخش تقسیم می شود ، گرچه بخش های اضافی نیز می توانند تشکیل شوند. به بخش ها (بخش) که بین بخش های ورودی و خروجی قرار دارد ، بخش های پنهانی گفته می شود ، زیرا جهان خارج بصری فقط بخش های ورودی و خروجی را درک می کند. شبکه ای که مقدار عملکرد منطقی "منحصر به فرد OR" را محاسبه می کند ، فقط در مواردی که تمام ورودی های آن دارای مقادیر واقعی نباشد ، مقدار واقعی را در خروجی می دهد. تعداد گره ها در بخش پنهان بسته به هدف پروژه ممکن است متفاوت باشد.

ویژگی های شبکه های عصبی

لازم به ذکر است که شبکه های عصبی به معنای معمول کلمه نیاز به برنامه نویسی ندارند. برای آموزش شبکه های عصبی از الگوریتم های ویژه ای برای آموزش شبکه های عصبی مانند پیشگیری از عمل و بازپرداخت استفاده می شود. برنامه نویس با تنظیم داده های ورودی و خروجی مربوطه شبکه را "برنامه" می کند. این شبکه با تنظیم خودکار وزنها برای اتصالات سیناپسی بین نورونها یاد می گیرد. عوامل وزنی ، همراه با مقادیر آستانه نورونها ، ماهیت توزیع داده ها از طریق شبکه را تعیین می کنند و بنابراین ، پاسخ صحیح به داده های مورد استفاده در فرایند یادگیری را تعیین می کنند. یادگیری شبکه برای گرفتن جواب های مناسب می تواند بسیار وقت گیر باشد. چقدر بستگی به این دارد که در طول آموزش شبکه چه تعداد تصویر باید آموخته شود ، و همچنین به قابلیت های سخت افزار مورد استفاده و نرم افزار کمکی بستگی دارد. با این حال ، پس از اتمام آموزش ، شبکه قادر است جوابهای با سرعت بالا را ارائه دهد. در او سیستم عصبی مصنوعی معماری متفاوت از سایر سیستم های محاسباتی. سیستم اطلاعات کلاسیک امکان اتصال اطلاعات گسسته را با عناصر حافظه پیاده سازی می کند. مثلاً معمولاً سیستم اطلاعات اطلاعات مربوط به یک شیء خاص را در گروهی از عناصر حافظه مجاور ذخیره می کند. بنابراین ، امکان دستیابی و دستکاری داده ها با ایجاد یک رابطه یک به یک بین صفات جسم و آدرس سلول های حافظه که در آن ضبط شده است ، حاصل می شود. در مقابل چنین سیستم هایی ، مدل های سیستم های عصبی مصنوعی بر اساس تئوری های مدرن عملکرد مغز ساخته می شوند ، که براساس آن اطلاعات با استفاده از فاکتورهای وزنی در مغز ارائه می شود. در این حالت ، هیچ ارتباط مستقیمی بین یک مقدار خاص از ضریب وزن و یک عنصر خاص از اطلاعات ذخیره شده وجود ندارد. چنین ارائه اطلاعات توزیع شده مشابه فناوری ذخیره و ارائه تصاویر است که در هولوگرام ها استفاده می شود. طبق این فناوری ، خطوط هولوگرام مانند توری های پراش عمل می کنند. با کمک آنها ، هنگامی که یک پرتو لیزر عبور می کند ، یک تصویر ذخیره شده بازتولید می شود ، با این حال ، داده ها به طور مستقیم تفسیر نمی شوند.
شبکه عصبی به عنوان ابزاری برای حل مسئله. شبکه عصبی در صورت وجود مقدار زیادی از داده های تجربی به عنوان یک روش قابل قبول برای حل مسئله عمل می کند ، اما هیچ الگوریتمی وجود ندارد که بتواند با سرعت لازم یک راه حل به اندازه کافی دقیق ارائه دهد. در این زمینه ، فناوری ارائه داده های یک سیستم عصبی مصنوعی نسبت به سایر فن آوری های اطلاعاتی دارای مزایای قابل توجهی است. اینها مزایای می تواند به شرح زیر تنظیم شود:

1. حافظه شبکه عصبی تحمل گسل است. با حذف قسمت های خاصی از شبکه عصبی ، فقط کاهش کیفیت اطلاعات وجود دارد ؛ آن را حفظ می کند ، اما ناپدید شدن کامل آن نیست. این بدان دلیل است که اطلاعات به صورت توزیع شده ذخیره می شوند.
2. کیفیت اطلاعات در شبکه عصبی که در معرض کاهش است ، به تدریج کاهش می یابد ، به نسبت آن قسمت از شبکه ، حذف شد. از دست دادن فاجعه بار اطلاعات رخ نمی دهد.
3. داده ها در یک شبکه عصبی به طور طبیعی با استفاده از حافظه انجمنی ذخیره می شوند. حافظه انجمنی چنین حافظه ای است که در آن جستجوی داده های جزئی ارائه شده به منظور بازیابی کامل تمام اطلاعات کافی است. این تفاوت بین حافظه انجمنی و حافظه معمولیکه در آن داده ها با نشان دادن آدرس دقیق عناصر حافظه مربوطه به دست می آیند.
4. براساس اطلاعات ذخیره شده در آنها ، برون یابی و درون یابی اجازه می دهد. یعنی آموزش به شما امکان می دهد به شبکه امکان جستجوی ویژگی های مهم یا روابط موجود در داده ها را بدهید. پس از آن ، شبکه قادر به استخراج و شناسایی اتصالات در داده های جدیدی است که به آن می رسد. به عنوان مثال ، در یک آزمایش ، یک شبکه عصبی با استفاده از یک مثال فرضی آموزش داده شد. پس از فارغ التحصیلی ، این شبکه توانایی پاسخگویی صحیح به سؤالاتی را داشت که آموزش در آنها انجام نشده است.
5. شبکه های عصبی پلاستیک هستند. حتی پس از برداشتن تعداد مشخصی از نورون ها ، بازآفرینی شبکه به سطح اولیه آن می تواند انجام شود (البته اگر نورون های کافی در آن باقی بمانند). این ویژگی برای مغز انسان نیز مشخصه است ، که در آن ممکن است قطعات فردی آسیب ببیند ، اما با گذشت زمان از طریق آموزش ، به سطح اولیه مهارت و دانش دست می یابیم.

به لطف این ویژگی ها ، سیستم های عصبی مصنوعی برای استفاده در آن بسیار جذاب می شوند فضاپیمای روباتیک ، تجهیزات صنعت نفت ، وسایل نقلیه زیر آب ، کنترل فرایندها و سایر دستگاههای فنیکه باید برای مدت طولانی بدون تعمیر در یک محیط نامساعد عمل کند. سیستم های عصبی مصنوعی نه تنها مشکل قابلیت اطمینان را حل می کنند بلکه به دلیل انعطاف پذیری آنها فرصتی برای کاهش هزینه های عملیاتی نیز فراهم می کنند. با این حال ، به طور کلی ، سیستم های عصبی مصنوعی برای ایجاد برنامه های کاربردی که نیاز به پیچیده دارند ، به خوبی مناسب نیستند محاسبات ریاضی یا جستجو کنید راه حل بهینه. علاوه بر این ، استفاده از سیستم های عصبی مصنوعی نخواهد داشت بهترین گزینه در صورت وجود یک راه حل الگوریتمی که به دلیل کاربرد عملی برای حل چنین مشکلاتی قبلاً نتیجه مثبتی ارائه داده است. مقاله مرتبط:

شبکه های عصبی مصنوعی ، چند لایه ، بسیار موازی (به عنوان مثال ، با تعداد زیادی از عناصر عامل موازی مستقل) ساختارهای منطقی متشکل از نورونهای رسمی. آغاز تئوری شبکه های عصبی و رایانه های عصبی کار متخصصان مغز و اعصاب آمریکایی را در U قرار دهید. مک کالوک و دبلیو پیتز ، "حساب منطقی ایده های مربوط به فعالیت عصبی" (1943) ، که در آن آنها یک مدل ریاضی یک نورون بیولوژیکی را پیشنهاد کردند. در میان کارهای بنیادی ، شایان ذکر است مدل D. Hebb ، که در سال 1949 قانون یادگیری را پیشنهاد کرد ، که نقطه شروع الگوریتم های یادگیری شبکه های عصبی مصنوعی بود. توسعه بیشتر نظریه شبکه عصبی به طور قابل ملاحظه ای تحت تأثیر مونوگرافی روان شناس روانپزشکی آمریکایی F. Rosenblatt ، اصول نورودینامیک قرار گرفت ، که در آن وی به تفصیل طرح پرسپترون (وسیله ای را که شبیه سازی روند درک اطلاعات توسط مغز انسان است) را توصیف می کند. عقاید وی در آثار علمی بسیاری از نویسندگان توسعه یافت. در سال 1985-86 تئوری شبکه های عصبی یک "انگیزه فن آوری" دریافت کرده است ، که ناشی از امکان شبیه سازی شبکه های عصبی در دستگاه های مقرون به صرفه و با کارایی بالا است که در آن زمان ظاهر می شدند کامپیوترهای شخصی . نظریه شبکه عصبی در اوایل قرن بیست و یکم کاملاً فعالانه توسعه می یابد. به گفته کارشناسان ، رشد فنی قابل توجهی در آینده نزدیک در زمینه طراحی شبکه های عصبی و رایانه های عصبی پیش بینی شده است. در سال های اخیر ، بسیاری از قابلیت های جدید شبکه های عصبی کشف شده است ، و کار در این زمینه سهم بسزایی در صنعت ، علم و فناوری دارد و از اهمیت اقتصادی زیادی برخوردار است.

زمینه های اصلی استفاده از شبکه های عصبی

کاربردهای بالقوه شبکه های عصبی مصنوعی مواردی است که هوش انسانی ناکارآمد است و محاسبات سنتی بسیار وقت گیر یا از نظر جسمی ناکافی است (به عنوان مثال ، آنها منعکس نمی شوند یا ضعیف فرآیندها و اشیاء واقعی فیزیکی را نشان نمی دهند). ارتباط استفاده از شبکه های عصبی (یعنی رایانه های عصبی) در هنگام نیاز به راه حل ها بارها افزایش می یابد وظایف رسمی ضعیفح) مناطق اصلی کاربرد شبکه های عصبی: اتوماسیون فرایند طبقه بندی ، اتوماسیون پیش بینی ، اتوماسیون فرایند تشخیص ، اتوماسیون فرایند تصمیم گیری. مدیریت ، رمزگذاری و رمزگشایی اطلاعات؛ تقریب وابستگی ها و غیره

با کمک شبکه های عصبی ، یک کار مهم در زمینه ارتباطات از راه دور - طراحی و بهینه سازی شبکه های ارتباطی (پیدا کردن مسیر بهینه ترافیک بین گره ها). علاوه بر مدیریت مسیر یابی ، از شبکه های عصبی برای به دست آوردن راه حلهای مؤثر در طراحی شبکه های جدید ارتباطی استفاده می شود.

تشخیص گفتار - یکی از محبوب ترین برنامه های شبکه های عصبی.

منطقه دیگر است مدیریت قیمت و تولید (ضرر و زیان ناشی از برنامه ریزی تولید پایین دست اغلب دست کم گرفته می شود). از آنجا که تقاضا و شرایط فروش محصولات به زمان ، فصل ، نرخ ارز و بسیاری از عوامل دیگر بستگی دارد ، برای بهینه سازی استفاده از منابع ، باید میزان تولید انعطاف پذیر باشد (سیستم شبکه عصبی روابط پیچیده ای را بین هزینه های تبلیغات ، فروش ، قیمت ، قیمت رقبا تشخیص می دهد) روز هفته ، فصل و غیره). در نتیجه استفاده از سیستم ، استراتژی تولید بهینه از نظر به حداکثر رساندن فروش یا سود انتخاب می شود.

در تحلیل بازار مصرف کننده (بازاریابی) ، هنگامی که روشهای معمول (کلاسیک) برای پیش بینی پاسخهای مصرف کننده ممکن است به اندازه کافی دقیق نباشد ، از یک سیستم شبکه عصبی پیش بینی شده با معماری عصبی تطبیقی \u200b\u200bاستفاده می شود.

مطالعه تقاضا به شما امکان می دهد تا تجارت شرکت را در یک فضای رقابتی صرفه جویی کنید ، یعنی از طریق "بازخورد" تماس مداوم با مصرف کنندگان حفظ کنید شرکت های بزرگ نظرسنجی از مصرف کننده را انجام می دهند تا دریابند چه عواملی برای خرید این محصول یا خدمات برای آنها تعیین کننده است ، چرا در برخی موارد ترجیح به رقبا داده می شود و مصرف کننده در آینده دوست دارد چه محصولاتی را ببیند. تجزیه و تحلیل نتایج حاصل از این بررسی یک کار نسبتاً دشوار است ، زیرا تعداد زیادی پارامتر همبسته وجود دارد. سیستم شبکه عصبی به شما امکان می دهد روابط پیچیده ای را بین فاکتورهای تقاضا ، پیش بینی رفتار مصرف کننده در هنگام تغییر سیاست های بازاریابی ، پیدا کردن مهمترین عوامل و استراتژی های تبلیغاتی مطلوب ، و همچنین ترسیم بخش مصرف کننده که بیشترین امید را برای یک محصول معین دارد ، ترسیم کنید.

AT تشخیص پزشکی شبکه های عصبی ، به عنوان مثال ، برای تشخیص شنوایی در نوزادان استفاده می شود. یک سیستم تشخیصی عینی در پاسخ به محرک صوتی که در طول معاینه تولید می شود ، "پتانسیل های برانگیخته" ثبت شده (پاسخ مغزی) را که به شکل پشت سر هم در الکتروانسفالوگرام تجلی می یابد ، پردازش می کند. معمولاً برای تشخیص مطمئن شنوایی کودک ، یک متخصص شنوایی با تجربه باید حداکثر 2000 تست انجام دهد ، که حدود یک ساعت طول می کشد. سیستمی مبتنی بر شبکه عصبی قادر به تعیین سطح شنوایی با همان اطمینان از 200 مشاهده در تنها چند دقیقه و بدون مشارکت پرسنل مجرب است.

شبکه های عصبی نیز برای پیش بینی استفاده می شوند. روند کوتاه مدت و بلند مدت در زمینه های مختلف (مالی ، اقتصادی ، بانکی و غیره).

ساختار شبکه عصبی

سیستم عصبی و مغز انسان از سلولهای عصبی متصل به الیاف عصبی تشکیل شده است. الیاف عصبی قادر به انتقال تکانه های الکتریکی بین نورون ها هستند. تمام فرایندهای انتقال تحریکات از پوست ، گوش و چشم به مغز ، فرآیندهای تفکر و کنترل اقدامات - همه اینها در یک ارگانیسم زنده به عنوان انتقال تکانه های الکتریکی بین نورونها تحقق می یابد.

نورون بیولوژیکی(سلول) دارای هسته (هسته) و همچنین فرآیندهای الیاف عصبی از دو نوع (شکل 1) - دندریت ها (دندریت ها) است که در طی آن پالس ها دریافت می شوند (سیگنال هایی را انجام می دهد) و یک آکسون منفرد (آکسون) دارد که در طی آن یک نورون می تواند یک پالس را منتقل کند. (سیگنال ها را دور می کند). آکسون از طریق سازندهای ویژه - سیناپس ها ، با دندریت های نورون های دیگر تماس می گیرد - که بر قدرت تکانه منتقل شده تأثیر می گذارد. این ساختار ، متشکل از تعداد زیادی از چنین سلولهای عصبی ، یک شبکه عصبی بیولوژیکی (یا طبیعی) نامیده می شود.

ظاهر نورون رسمی بیشتر به دلیل مطالعه نورونهای بیولوژیکی است. یک نورون رسمی (از این پس به عنوان نورون) پایه و اساس هر شبکه عصبی مصنوعی است. نورونها عناصر مشابه نسبتاً ساده ای هستند که از عملکرد نورونهای مغزی تقلید می کنند. هر نورون با وضع فعلی خود به واسطه قیاس با سلولهای عصبی مغز مشخص می شود که می توانند هیجان زده و مهار شوند. یک نورون مصنوعی ، مانند نمونه طبیعی آن ، دارای یک گروه سیناپس (ورودی) است که به خروجی نورون های دیگر متصل است ، و همچنین یک آکسون - اتصال خروجی این نورون است ، از آنجا که سیگنال تحریک یا مهار وارد سیناپس های نورون های دیگر می شود.

یک نورون رسمی یک عنصر منطقی با ورودی های N $ $ ، (ضرایب وزنی ($ N + 1 $) ، یک افزودنی و مبدل غیرخطی است. ساده ترین نورون رسمی که یک تحول منطقی را انجام می دهد $ y \u003d \\ متن (علامت) \\ sum_ (i \u003d 0) ^ (N) a_ix_i $ سیگنالهای ورودی (که مثلاً سیگنالهای خروجی سایر نورونهای رسمی N. s) در سیگنال خروجی هستند ، در شکل نشان داده شده است. 1

در اینجا $ y $ مقدار خروجی نورون رسمی است. $ a_i $ - عوامل وزنی؛ $ x_i $ - مقادیر ورودی نورون رسمی ($ x_i∈ \\ چپ \\ (0،1 \\ راست \\) ، \\؛ x_0 \u003d 1 $) روند محاسبه مقدار خروجی یک نورون رسمی حرکت یک جریان داده و تبدیل آن است. ابتدا داده ها به واحد ورودی نورون رسمی می روند ، جایی که داده های منبع با ضریب وزن مربوطه ضرب می شوند ، به اصطلاح وزن سینوپتیک (مطابق با سیناپسهای نورونهای بیولوژیکی). ضریب وزن سنجش اندازه گیری است که تعیین می کند مقدار ورودی مربوطه چقدر بر وضعیت یک نورون رسمی تأثیر می گذارد. وزنها مطابق با مثالهای آموزشی ، معماری N. ، قوانین آموزشی و غیره قابل تغییر هستند. مقادیر بدست آمده (هنگام ضرب) در افزودنی به یک مقدار عددی واحد $ g $ (با استفاده از جمع) تبدیل می شوند. سپس ، برای تعیین خروجی یک نورون رسمی در بلوک تبدیل غیر خطی (که عملکرد انتقال را پیاده سازی می کند) $ g $ با یک عدد مشخص (آستانه) مقایسه می شود. اگر مقدار بیشتر از مقدار آستانه باشد ، نورون رسمی سیگنال تولید می کند ، در غیر این صورت سیگنال صفر یا مهاری خواهد بود. این نورون رسمی از تحول غیرخطی استفاده می کند $ $ \\ متن (علامت) (g) \u003d \\ آغاز (موارد) 0 ، \\؛ گرم< 0 \\ 1,\; g ⩾ 0 \end{cases},\quad \text{где}\,\,g = \sum_{i=0}^N a_i x_i.$$

انتخاب ساختار شبکه عصبی مطابق با ویژگی ها و پیچیدگی کار انجام می شود. از لحاظ تئوریکی ، تعداد لایه ها و تعداد سلولهای عصبی در هر لایه یک شبکه عصبی می تواند دلخواه باشد ، اما در واقع با منابع یک کامپیوتر یا یک تراشه تخصصی که معمولاً یک شبکه عصبی روی آن اجرا می شود ، محدود است. علاوه بر این ، اگر از عملکرد یک پرش منفرد به عنوان تابع فعال سازی برای همه سلولهای عصبی شبکه استفاده شود ، شبکه عصبی نامیده می شود. perceptrono چند لایهم

در شکل 3 نمودار کلی شبکه عصبی چند لایه با اتصالات سریال را نشان می دهد. موازی سازی بالای پردازش با ترکیب تعداد زیادی از نورون های رسمی به لایه ها و اتصال نورون های مختلف به روش خاصی در بین خود حاصل می شود.

به طور کلی ، تلاقی و بازخورد با فاکتورهای وزنی قابل تنظیم می توانند وارد این ساختار شوند (شکل 4).

شبکه های عصبی سیستم های غیر خطی پیچیده ای هستند که تعداد زیادی درجه آزادی دارند. اصل پردازش اطلاعات با اصل مورد استفاده در رایانه ها مبتنی بر پردازنده هایی با معماری von Neumann - با مبنای منطقی AND ، OR ، NOT متفاوت است (به J. von مراجعه کنید. نویمان, ماشین حساب) به جای برنامه نویسی کلاسیک (مانند سنتی) سیستم های محاسباتی) آموزش شبکه عصبی استفاده می شود که به طور معمول برای تنظیم وزنها به منظور بهینه سازی معیار مشخص برای کیفیت عملکرد یک شبکه عصبی کاهش می یابد.

الگوریتم های شبکه عصبی

یک الگوریتم شبکه عصبی برای حل مشکلات یک روش محاسباتی است که بطور کامل یا بیشتر در قالب یک شبکه عصبی از یک یا ساختار دیگر (به عنوان مثال ، یک شبکه عصبی چند لایه با پیوندهای متوالی یا متقابل بین لایه های نورون های رسمی) با الگوریتم مربوطه برای تنظیم ضرایب وزن اجرا می شود. اساس توسعه یک الگوریتم شبکه عصبی یک رویکرد سیستماتیک است که در آن فرایند حل مسئله به عنوان عملکرد در زمان برخی از سیستم پویا نشان داده می شود. برای ساختن آن ، لازم است تا تعیین شود: یک شیء که به عنوان سیگنال ورودی یک شبکه عصبی عمل می کند. یک جسم که به عنوان سیگنال خروجی یک شبکه عصبی عمل می کند (برای مثال ، یک محلول یا برخی از ویژگی های آن). سیگنال خروجی مورد نظر (مورد نیاز) شبکه عصبی. ساختار شبکه عصبی (تعداد لایه ها ، ارتباط بین لایه ها ، اشیاء به عنوان فاکتورهای وزنی). عملکرد خطای سیستم (مشخص کردن انحراف سیگنال خروجی مورد نظر شبکه عصبی از سیگنال خروجی واقعی)؛ معیار کیفیت سیستم و عملکرد بهینه سازی آن ، بسته به خطا ، مقدار ضرایب وزنه برداری (به عنوان مثال ، با استفاده از برخی روشهای عددی یا روش تعیین ضریب های وزنی یک شبکه عصبی ، بطور مستقیم از بیان مسئله تعیین می شود).

تعداد و نوع نورون های رسمی در لایه ها و همچنین تعداد لایه های نورون ها بر اساس مشخصات وظایفی که باید حل شوند و کیفیت مورد نیاز محلول انتخاب می شوند. شبکه عصبی در فرآیند تنظیم برای حل یک مشکل خاص ، به عنوان یک سیستم غیر چندخطی چندبعدی در نظر گرفته شده است که در یک حالت تکراری به طور هدفمند به جستجوی بهینه برخی از کارکردها می پردازد که کمی تعیین کننده کیفیت حل مسئله است. برای شبکه های عصبی ، به عنوان اشیاء کنترل چند بعدی غیرخطی ، الگوریتم هایی برای تنظیم مجموعه ای از فاکتورهای وزنی تشکیل می شوند. مراحل اصلی مطالعه شبکه عصبی و ساخت الگوریتم های تنظیم (سازگاری) ضریب وزن آنها شامل موارد زیر است: مطالعه ویژگی های سیگنال ورودی برای حالت های مختلف عملکرد شبکه عصبی (سیگنال ورودی شبکه عصبی به طور معمول ، اطلاعات پردازش شده ورودی و نشانگر به اصطلاح "معلم" شبکه عصبی است. )؛ انتخاب معیارهای بهینه سازی (برای یک مدل احتمالی جهان خارج ، چنین معیارهایی ممکن است حداقل عملکرد متوسط \u200b\u200bریسک ، حداکثر یک احتمال خلفی باشد ، به ویژه ، در صورت محدودیت در اجزای فردی عملکرد متوسط \u200b\u200bریسک). توسعه یک الگوریتم برای جستجوی Extrema از عملکردهای بهینه سازی (به عنوان مثال ، برای اجرای الگوریتم های جستجو برای Extrema محلی و جهانی). ساخت الگوریتم های سازگاری برای ضرایب شبکه عصبی. تجزیه و تحلیل قابلیت اطمینان و روش های تشخیصی برای شبکه های عصبی و غیره

لازم به ذکر است که معرفی بازخورد ها و به عنوان یک نتیجه ، توسعه الگوریتم هایی برای تنظیم ضرایب آنها در دهه های 80-1980 دارای معنای صرفاً نظری بود ، زیرا هیچ مشکلی عملی برای چنین ساختارهایی مناسب نبود. فقط در اواخر دهه 1980 و اوایل دهه 1990 چنین کارهایی انجام شد و ساده ترین ساختارها با بازخوردهای قابل تنظیم برای حل آنها (به اصطلاح شبکه های عصبی مکرر) ظاهر شدند. توسعه دهندگان در زمینه فن آوری های شبکه عصبی نه تنها در ایجاد الگوریتم های تنظیم شبکه عصبی چند لایه و الگوریتم های شبکه عصبی برای حل مشکلات مختلف مشغول بودند ، بلکه در مؤثرترین (در حال حاضر توسعه فناوری الکترونیک) تقلید کننده های سخت افزاری (برنامه های ویژه ای که برای اجرای یک سیستم در پوسته دیگر) طراحی شده اند ، شبکه عصبی الگوریتم ها در دهه 1960 ، قبل از ریزپردازنده ، مؤثرترین شبیه سازهای شبکه عصبی پیاده سازی های آنالوگ از شبکه های عصبی باز با الگوریتم های تنظیم تنظیم شده بر روی رایانه های جهانی (گاهی اوقات سیستم های مبتنی بر عناصر سازگار با حافظه آنالوگ) بودند. این سطح از توسعه الکترونیک باعث شده است تا پیوندهای متقاطع در ساختار شبکه های عصبی مرتبط باشد. این امر منجر به کاهش قابل توجهی در تعداد سلولهای عصبی در شبکه عصبی و در عین حال حفظ کیفیت راه حل مشکل (به عنوان مثال ، توانایی تمایز در حل مشکلات تشخیص الگوی) شد. مطالعات دهه 1960 و 70 در زمینه بهینه سازی ساختار شبکه های عصبی متقابل به احتمال زیاد پیشرفت در اجرای سیستم های عصبی Memristor [memristor (memristor ، از حافظه - حافظه و مقاومت) - مقاومت الکتریکی) ، یک عنصر غیرفعال در میکروالکترونیک ، قادر به تغییر مقاومت خود بسته به شارژ موجود در آن] ، با در نظر گرفتن ویژگی های آنها از نظر پردازش اطلاعات آنالوگ به دیجیتال و تعداد بسیار زیادی از ضرایب قابل تنظیم است. الزامات خاص وظایف کاربردی برخی از ویژگیهای ساختار شبکه های عصبی را با استفاده از الگوریتم های تنظیم تنظیم می کند: یک زنجیره (از Lat. Continuum - پیوسته ، پیوسته) از تعداد کلاسها که دستورالعمل "معلم" سیستم به عنوان یک مقدار مداوم از عملکرد در یک محدوده خاص از تغییر شکل می گیرد. یک راه حل از راه حل های یک شبکه عصبی چند لایه ، با انتخاب عملکرد مداوم فعال سازی نورون آخرین لایه تشکیل شده است. زنجیره ای از تعدادی از علائم ایجاد شده توسط انتقال در فضای نشانه ها از بازنمایی سیگنال خروجی به عنوان یک بردار بعدی از $ N $ از اعداد واقعی به یک تابع واقعی در محدوده خاصی از آرگومان. در نتیجه تعداد مشخصه ها در نتیجه به یک نرم افزار و اجرای سخت افزار خاص شبکه عصبی نیاز دارد. گونه ای از پیوستار نشانه های فضای ورودی در مسئله شناسایی سیگنال های دوره ای بدون تبدیل آنها با استفاده از مبدل آنالوگ به دیجیتال (ADC) در ورودی سیستم و اجرای شبکه عصبی چند لایه آنالوگ به دیجیتال. زنجیره تعداد نورونهای موجود در لایه؛ اجرای شبکه های عصبی چند لایه با پیوستاری از کلاس ها و راه حل ها با انتخاب انواع مناسب عملکردهای فعال سازی نورونهای لایه آخر انجام می شود.

جدول مجموعه ای از گزینه های تنظیم شده برای تنظیم شبکه های عصبی چند لایه در فضای "سیگنال ورودی - فضای راه حل" را نشان می دهد. انواع مختلفی از ویژگی های سیگنال های ورودی و خروجی شبکه های عصبی ارائه شده است ، که برای آنها الگوریتم های تنظیم ضریب ایجاد شده توسط مدرسه علمی روسی در سالهای 1970-70 ایجاد شده است. سیگنال ورودی شبکه عصبی با تعداد کلاس (درجه بندی) تصاویر نشان دهنده دستورالعمل "معلم" توصیف می شود. سیگنال خروجی شبکه عصبی شرح کمی از فضای تصمیم گیری است. در جدول ، طبقه بندی گزینه ها برای عملکرد شبکه های عصبی برای انواع مختلف سیگنال ورودی (2 کلاس ، کلاس K $ K ، کلاس های پیوستار) و گزینه های مختلف برای توصیف کمی از فضای راه حل (2 راه حل ، راه حل های K_p $ $ ، زنجیره راه حل ها) ارائه شده است. شماره 1 ، 7 ، 8 نمایانگر گزینه های خاصی برای عملکرد شبکه های عصبی است.

جدول. مجموعه ای از گزینه ها برای تنظیم الگوریتم ها

فضای (تعداد) راه حل ها	سیگنال ورودی
	2 کلاس		کلاس $ K $		پیوستار کلاس
2	1		7		8
$ K_p $	$ K_p \u003d 3 $	3a	$ K \\ lt K_p $	9	10
			$ K \u003d K_p $	2
	$ K_p \u003d \\ متن (const) $	3b	$ K \\ gt K_p $	4
پیوسته	5		6		11

مزایای اصلی شبکه های عصبی به عنوان پایه ای منطقی برای الگوریتم های حل مشکلات پیچیده عبارتند از: تغییر ناپذیری (تغییر ناپذیری ، استقلال) روشهای سنتز شبکه های عصبی از بعد فضای ویژگی. امکان انتخاب ساختار شبکه های عصبی در طیف قابل توجهی از پارامترها بسته به پیچیدگی و ویژگی مسئله در حال حل برای دستیابی به کیفیت راه حل مورد نیاز. کفایت فن آوری های میکروالکترونیک فعلی و آینده؛ تحمل گسل به معنای تغییر کوچک ، اما نه فاجعه بار در کیفیت حل مسئله بسته به تعداد عناصر شکست خورده.

شبکه های عصبی - یک نمایش خصوصی از هدف کنترل در یک سیستم تطبیقی

در تئوری کنترل ، شبکه های عصبی یکی از اولین نمونه های انتقال از کنترل ساده ترین سیستم های ثابت خطی به کنترل سیستم های پیچیده غیرخطی ، غیر ثابت ، چند بعدی ، متصل چند برابر شده بودند. در نیمه دوم دهه 1960 ، تکنیک سنتز شبکه عصبی متولد شد که توسعه یافت و در طی نزدیک به پنجاه سال آینده با موفقیت مورد استفاده قرار گرفت. ساختار کلی این تکنیک در شکل نشان داده شده است. 5

ورودی های شبکه عصبی

الگوی احتمالی جهان اساس فناوری های شبکه عصبی است. یک مدل مشابه اساس آمار ریاضی است. شبکه های عصبی درست در شرایطی بوجود آمدند که آزمایشگران با استفاده از آمار ریاضی از خود این سؤال را پرسیدند: "چرا ما موظف هستیم توابع توزیع سیگنال های تصادفی ورودی را به شکل عبارات تحلیلی خاص (توزیع عادی ، توزیع پواسون و غیره) توصیف کنیم؟ اگر این امر صحیح باشد و دلیل بدنی برای آن وجود داشته باشد ، وظیفه پردازش سیگنال های تصادفی بسیار ساده می شود. "

متخصصان فن آوری های شبکه عصبی گفتند: "ما چیزی در مورد عملکرد توزیع سیگنال های ورودی نمی دانیم ، ما از نیاز به توصیف رسمی عملکرد توزیع سیگنال های ورودی خودداری می کنیم ، حتی اگر کلاس مشکلات را حل کنیم. ما توابع توزیع سیگنال های ورودی را پیچیده ، ناشناخته می دانیم و در چنین شرایطی مشکلات خاص را حل خواهیم کرد عدم اطمینان قبلی (یعنی توضیحات ناقص ؛ از نتایج احتمالی اطلاعی در دست نیست). " به همین دلیل است که از شبکه های عصبی در اوایل دهه 1960 بطور موثری در حل مشکلات تشخیص الگوی استفاده می شد. علاوه بر این ، مشکل تشخیص الگوی به عنوان مشکل تقریبی یک تابع تصادفی چند بعدی که مقادیر K $ $ را در نظر می گیرد ، در جایی که K $ $ تعداد کلاسهای تصویر است.

در زیر برخی از حالت های عملکرد شبکه های عصبی چند لایه ، تعیین شده توسط ویژگی های سیگنال های ورودی تصادفی ، که برای آنها الگوریتم های تنظیم ضریب در اواخر دهه 1960 توسعه داده شده اند ، در زیر ذکر شده است.

آموزش شبکه عصبی

بدیهی است که عملکرد شبکه عصبی ، یعنی عملکردهایی که قادر به انجام آن است بستگی به مقادیر اتصالات سینوپتیک دارد. بنابراین ، با توجه به ساختار یک شبکه عصبی که وظیفه خاصی را برآورده می کند ، توسعه دهنده باید مقادیر بهینه را برای همه عوامل وزنی $ w $ پیدا کند. این مرحله به آموزش شبکه عصبی گفته می شود و توانایی شبکه در حل مشکلات پیش آمده در حین کار بستگی به میزان موفقیت آن دارد. مهمترین پارامترهای آموزشی عبارتند از: کیفیت انتخاب ضرایب وزنه برداری و زمان لازم برای صرف آموزش. به عنوان یک قاعده ، این دو پارامتر توسط یک رابطه معکوس به هم پیوسته اند و آنها باید براساس یک سازش انتخاب شوند. در حال حاضر ، همه الگوریتم های آموزش شبکه های عصبی را می توان به دو کلاس بزرگ تقسیم کرد: "با یک معلم" و "بدون معلم".

احتمالات ظاهر کلاس پیشینی

برای همه کمبود اطلاعات قبلی در مورد توابع توزیع سیگنالهای ورودی ، نادیده گرفتن برخی از اطلاعات مفید می تواند منجر به از دست رفتن کیفیت راه حل مشکل شود. این در درجه اول مربوط به احتمالات پیشینی در ظاهر کلاسها است. الگوریتم های تنظیم شبکه های عصبی چند لایه با در نظر گرفتن اطلاعات موجود در مورد احتمالات پیشینی از ظاهر کلاس ها تهیه شده اند. این مورد در کارهایی مانند تشخیص حروف در متن ، چه زمانی اتفاق می افتد این زبان احتمال وقوع هر حرف مشخص است و باید از این اطلاعات هنگام ساخت یک الگوریتم برای تنظیم ضرایب یک شبکه عصبی چند لایه استفاده کرد.

مدارک تحصیلی معلم

مقادیر پارامترهای ورودی و خروجی به شبکه عصبی ارائه می شود و وزن اتصالات سیناپسی آن را مطابق برخی الگوریتم های داخلی تنظیم می کند. یادگیری "با یک معلم" بدین معنی است که برای هر بردار ورودی یک بردار هدف وجود دارد که خروجی مورد نظر را نشان می دهد. به طور کلی ، صلاحیت "معلم" ممکن است برای کلاسهای مختلف تصاویر متفاوت باشد. با هم خوانده می شوند نماینده یا یادگیری انتخابیهفتم به طور معمول ، یک شبکه عصبی بر روی تعدادی از نمونه های مختلف آموزش داده می شود. بردار خروجی ارائه می شود ، خروجی شبکه عصبی محاسبه می شود و با بردار هدف مربوطه ، تفاوت (خطا) با استفاده از بازخورد به شبکه عصبی تغذیه می شود ، و وزنها مطابق با الگوریتمی که به دنبال به حداقل رساندن خطا است تغییر می یابد. بردارهای مجموعه آموزش به صورت متوالی ارائه می شوند ، خطاها محاسبه می شوند و وزن ها برای هر بردار تنظیم می شود تا اینکه خطا در کل آرایه تمرین به یک سطح قابل قبول کم برسد.

در کارهای تشخیص الگوی ، به طور معمول ، به طور پیش فرض ، صلاحیت "معلم" کامل است ، یعنی احتمال اینکه معلم به درستی تصاویر را به یک کلاس یا کلاس دیگر اختصاص دهد برابر است با یک کلاس. در عمل ، در صورت اندازه گیری های غیرمستقیم ، این اغلب با واقعیت مطابقت ندارد ، به عنوان مثال در کارهای تشخیص پزشکی ، هنگامی که هنگام تأیید (تأیید) بایگانی داده های پزشکی در نظر گرفته شده برای آموزش ، احتمال انتساب این داده ها به یک بیماری خاص با وحدت برابر نیست. معرفی مفهوم صلاحیت های "معلم" امکان ایجاد الگوریتم های یکپارچه برای تنظیم ضرایب شبکه های عصبی چند لایه برای حالت های آموزش ، "با یک معلم" با صلاحیت نهایی و خودآموزی (خوشه ای) را فراهم می آورد ، هنگامی که با حضور K $ $ یا دو کلاس از تصاویر ، صلاحیت "معلم" ( احتمال طبقه بندی تصاویر به یک یا کلاس دیگر) برابر با $ \\ frac (1) (K) $ یا 1/2 است. معرفی مفهوم صلاحیت "معلم" در سیستم های تشخیص الگو به ما این امکان را می دهد تا وقتی از طبقه بندی عمدی نادرست (با درجه ای متفاوت از جعل) مطلع شود ، صرفاً به لحاظ نظری حالت "خراب شدن" سیستم را در نظر بگیریم. این روش تنظیم ضرایب یک شبکه عصبی چند لایه هنوز کاربرد عملی پیدا نکرده است.

خوشه بندی

خوشه\u200cبندی (آموزش خودآموز ، آموزش "بدون معلم") یک روش خصوصی عملکرد شبکه های عصبی چند لایه است که سیستم از تعلق نمونه به یک یا طبقه دیگر مطلع نشده باشد. فقط سیگنال های ورودی به شبکه عصبی ارائه می شوند و خروجی شبکه به طور مستقل و با در نظر گرفتن تنها سیگنال های ورودی و مشتق از آنها شکل می گیرد. با وجود دستاوردهای بیشمار کاربردی ، تدریس با یک معلم به دلیل غیرممکن بودن بیولوژیکی مورد انتقاد قرار گرفت. تصور مکانیسم یادگیری در هوش طبیعی انسان که مقادیر مطلوب و واقعی خروجی ها را انجام می دهد ، تصحیح با استفاده از بازخورد ، دشوار است. اگر ما یک مکانیسم مشابه در مغز انسان بگذاریم ، پس خروجی های مورد نظر از کجا می آیند؟ یادگیری بدون معلم الگوی قابل قبول تر یادگیری در یک سیستم بیولوژیکی است. برای خروجی ها به بردار هدف نیاز ندارد و بنابراین ، نیاز به مقایسه با پاسخ های ایده آل از پیش تعریف شده ندارد. مجموعه آموزش فقط از بردارهای ورودی تشکیل شده است. الگوریتم آموزش وزنه های شبکه عصبی را طوری تنظیم می کند که بردارهای خروجی مداوم به دست بیایند ، یعنی ارائه بردارهای ورودی به اندازه کافی نزدیک به خروجی های مشابه می دهد. بنابراین ، فرایند یادگیری ، خصوصیات آماری مجموعه آموزش را مشخص می کند و بردارهای مشابه را به کلاس ها تقسیم می کند. ارائه یک بردار از یک کلاس خاص به ورودی یک بردار خروجی معین خواهد داد ، اما قبل از آموزش نمی توان پیش بینی کرد که خروجی توسط این کلاس از بردارهای ورودی تولید می شود. بنابراین ، به دلیل فرایند یادگیری ، خروجی های چنین شبکه ای باید به نوعی قابل فهم تبدیل شود. این یک مشکل جدی نیست. معمولاً شناسایی ارتباط بین ورودی و خروجی ایجاد شده توسط شبکه دشوار نیست.

خوشه بندی موضوع بسیاری از مقالات علمی است. وظیفه اصلی خوشه بندی پردازش مجموعه ای از بردارها در یک فضای ویژگی چند بعدی با اختصاص زیر مجموعه های جمع و جور (زیر مجموعه های نزدیک به یکدیگر) ، تعداد و ویژگی های آنها است. متداول ترین روش خوشه بندی روش K $-$ (معنی $ K) است که عملاً با روش های برگشت به هم ربطی ندارد و به معماری هایی مانند شبکه های عصبی چند لایه تعمیم ندارد.

معرفی مفهوم صلاحیت های "معلم" و یک رویکرد یکپارچه برای تدریس و یادگیری خود در دهه 1960 ، در واقع زمینه ای برای اجرای رژیم خوشه بندی در شبکه های عصبی چند لایه از طبقه گسترده ای از ساختارها ایجاد کرد.

تصاویر غیر ثابت

تحولات موجود در زمینه سیستم های تشخیص الگوی مبتنی بر شبکه های عصبی چند لایه عمدتاً مربوط به تصاویر ثابت است ، یعنی. سیگنال های ورودی تصادفی با توابع توزیع زمان ناشناخته اما پیچیده. در برخی از کارها ، تلاش شده است تا روش پیشنهادی برای تنظیم شبکه های عصبی چند لایه به تصاویر غیر ثابت گسترش یابد ، هنگامی که عملکرد توزیع ناشناخته سیگنال ورودی به زمان بستگی دارد یا سیگنال تصادفی ورودی یک ترکیب از اجزای معمولی و یک جزء تصادفی با یک عملکرد توزیع پیچیده ناشناخته است که وابسته به زمان نیست.

در معیارهای بهینه سازی اولیه در شبکه های عصبی چند لایه

الگوی احتمالی جهان که به عنوان مبنای ساخت الگوریتم های سازگاری در شبکه های عصبی چند لایه ساخته شده است ، امکان تدوین معیار بهینه سازی اولیه در سیستم های در نظر گرفته شده را در قالب حداقل الزامات برای عملکرد ریسک متوسط \u200b\u200bو اصلاحات آن فراهم آورده است: حداکثر یک احتمال خلفی (احتمال شرطی یک اتفاق تصادفی ، به شرط اینکه خلفی ، یعنی بر اساس تجربه ، داده) حداقل عملکرد خطر متوسط؛ حداقل عملکرد خطر متوسط \u200b\u200b، به شرط آنکه عملکردهای خطر شرطی برای کلاسهای مختلف مساوی باشد. حداقل عملکرد متوسط \u200b\u200bریسک تحت شرط یک مقدار معین از عملکرد خطر شرطی برای یکی از کلاس ها. سایر معیارهای بهینه سازی اولیه ناشی از الزامات یک کار عملی خاص. در آثار دانشمندان روسی اصلاحاتی از الگوریتم های تنظیم شبکه های عصبی چند لایه برای معیارهای فوق بهینه سازی اولیه ارائه شده است. توجه داشته باشید که در اکثریت قریب به اتفاق آثار در زمینه نظریه شبکه عصبی و در الگوریتم های پشت پرده ، ساده ترین ملاک در نظر گرفته می شود - حداقل خطای استاندارد ، بدون محدودیت در عملکردهای خطر شرطی.

در حالت خودآموز (خوشه بندی) پیش نیاز شکل گیری ملاک و عملکرد بهینه سازی اولیه شبکه های عصبی ارائه عملکرد توزیع سیگنال ورودی به عنوان یک تابع چندمودک در یک فضای ویژگی چند بعدی است ، جایی که هر حالت با یک کلاس احتمال دارد. اصلاحات عملکرد ریسک متوسط \u200b\u200bبه عنوان معیار برای بهینه سازی اولیه در حالت خودآموز استفاده شد.

تغییرات ارائه شده از معیارهای بهینه سازی اولیه به موارد مربوط به یک رشته مداوم از کلاس ها و راه حل ها تعمیم داده شد. پیوستار نشانه های فضای ورودی؛ تعداد سلولهای عصبی در لایه؛ با صلاحیت معلمان خودسرانه. بخش مهمی در شکل گیری معیار و کارکرد بهینه سازی اولیه در شبکه های عصبی چند لایه با الگوی احتمالی جهان ، انتخاب ماتریس ضرر است که در تئوری راه حل های آماری ضریب ضرر L_ (12) $ را در صورت تعیین تکلیف نادرست تصاویر درجه یک به 2 و ضریب ضرر تعیین می کند. $ L_ (21) $ هنگام طبقه بندی تصاویر کلاس 2 به عنوان 1. به عنوان یک قاعده ، به طور پیش فرض ، ماتریس $ L $ از این ضرایب در سنتز الگوریتم های تنظیم برای شبکه های عصبی چند لایه ، از جمله هنگام استفاده از روش انتشار پشت ، متقارن است. در عمل ، این درست نیست. نمونه بارز یک سیستم شناسایی مین با استفاده از منطقه جابجایی است. در این حالت ، ضرر به دلیل انتساب نادرست سنگ به یک معدن برابر با از دست دادن اندک زمان توسط کاربر جغرافیایی است. ضرر و زیان ناشی از اختصاص غلط معادن به کلاس سنگ با زندگی یا از بین رفتن قابل توجه سلامتی توسط کاربران منطقه جابجایی همراه است.

تجزیه و تحلیل شبکه عصبی باز کنید

این مرحله سنتز با هدف تعیین در یک شکل کلی ویژگی های آماری خروجی و سیگنال های میانی شبکه های عصبی به عنوان اشیاء کنترل چند بعدی و غیرخطی با هدف تشکیل بیشتر معیار و عملکرد بهینه سازی ثانویه ، یعنی عملکردی است که با الگوریتم سازگاری در یک شبکه عصبی خاص واقعاً بهینه شده است. در اکثر قریب به اتفاق آثار ، خطای میانگین مربعات به عنوان چنین کارایی پذیرفته شده است ، که کیفیت راه حل را بدتر می کند یا اصلاً با مسئله بهینه سازی ناشی از معیار بهینه سازی اولیه مطابقت ندارد.

روش و الگوریتم برای تشکیل یک عملکرد بهینه سازی ثانویه مربوط به یک عملکرد بهینه سازی اولیه داده شده توسعه داده شده است.

الگوریتم های جستجوی قسمت انتهایی عملکردهای بهینه سازی ثانویه

الگوریتم جستجوی اکستروم همانطور که برای یک کارکرد بهینه سازی ثانویه خاص اعمال می شود ، الگوریتم را برای تنظیم ضرایب یک شبکه عصبی چند لایه تعیین می کند. در آغاز قرن بیست و یکم ، چنین الگوریتم هایی که در سیستم MatLab اجرا شده بودند بیشترین علاقه عملی را داشتند (کوتاه برای "آزمایشگاه ماتریکس" - بسته برنامه های کاربردی برای حل مشکلات محاسبات فنی و زبان برنامه نویسی به همین نام). با این وجود ، لازم است توجه ویژه ای به الگوریتم های سازگاری در شبکه های عصبی چند لایه مورد استفاده در سیستم های MatLab (جعبه ابزار شبکه عصبی - توابع و برنامه های کاربردی را برای مدل سازی سیستمهای غیرخطی پیچیده که با معادلات شرح داده می شوند ، داشته باشد ؛ پشتیبانی از یادگیری "با یک معلم" و "بدون معلم" ، توزیع مستقیم ، با توابع پایه شعاعی ، و غیره) ، و جهت گیری این الگوریتم ها نه روی مشخصات وظایفی که حل می شوند ، بلکه در مورد "هندسه" خیالی عملکردهای بهینه سازی ثانویه است. این الگوریتم ها جزئیات بسیاری از ویژگی های استفاده از شبکه های عصبی چند لایه در حل مشکلات خاص را در نظر نمی گیرند و البته در طی انتقال به سیستم های عصبی Memristor به پردازشی رادیکال ، اگرنه اساسی نیاز دارند. تجزیه و تحلیل مقایسه ای دقیق از روش انتشار پشت و روش های روسی دهه 1970-70 انجام شد. ویژگی اصلی این الگوریتم ها ، نیاز به جستجوی Extrema محلی و جهانی یک عملکرد چندتایی در فضای چند بعدی ضرایب شبکه عصبی قابل تنظیم است. افزایش اندازه یک شبکه عصبی منجر به افزایش قابل توجه در تعداد ضرایب قابل تنظیم ، یعنی افزایش ابعاد فضای جستجو می شود. در دهه 1960 ، روشهای جستجو و تحلیلی برای محاسبه شیب عملکرد بهینه سازی ثانویه در کارها ارائه شد و در کلاس روشهای تحلیلی ، برنامه سازمان جستجوی نه تنها اول ، بلکه مشتقات دوم عملکرد بهینه سازی ثانویه نیز پیشنهاد و مورد مطالعه قرار گرفت. ویژگی های چند وجهی عملکردی بهینه سازی ثانویه طی دهه های بعدی منجر به ظهور اصلاحات مختلف روش های جستجو (الگوریتم های ژنتیکی و غیره) شد. الگوریتم هایی برای جستجوی فوق العاده عملکردهای بهینه سازی ثانویه با محدودیت در بزرگی ، سرعت و سایر پارامترهای ضرایب وزن شبکه های عصبی ایجاد شده اند. این روشها است که باید مبنای کار روی روشهای تنظیم شبکه های عصبی با استفاده از ممستورها (ضرایب وزنی) با در نظر گرفتن ویژگیهای خاص مانند توابع انتقال باشد.

شرایط اولیه برای تعیین ضرایب

انتخاب شرایط اولیه روش تکرار شونده برای جستجوی اکستراما از عملکردهای بهینه سازی ثانویه یک گام مهم در سنتز الگوریتم های تنظیم تنظیم برای شبکه های عصبی چند لایه است. وظیفه انتخاب شرایط اولیه باید به طور خاص برای هر مشکلی که توسط شبکه عصبی حل شده است ، حل شود و بخشی جدایی ناپذیر از روش کلی برای سنتز الگوریتم تنظیم تنظیم برای شبکه های عصبی چند لایه باشد. یک راه حل با کیفیت بالا برای رفع این مشکل می تواند زمان راه اندازی را به میزان قابل توجهی کاهش دهد. پیچیدگی پیشینی کارکرد بهینه سازی ثانویه باعث شد تا روشی برای انتخاب شرایط اولیه در قالب مقادیر تصادفی ضرایب با تکرار این روش و روش تعیین ضرایب معرفی شود. این رویه در دهه 1960 از نظر زمان لازم برای تنظیم ضرایب ، بسیار زائد به نظر می رسید. با این حال ، با وجود این ، در حال حاضر بسیار مورد استفاده قرار می گیرد. برای انجام وظایف فردی ، ایده انتخاب شرایط اولیه ویژه برای حل مسئله اتخاذ شد. چنین روشی برای سه کار انجام شد: شناخت الگوی؛ خوشه بندی شناسایی عصبی اشیاء پویا غیرخطی - سایپرز ، باشگاه دانش

حافظه در حلقه تنظیم ضریب

رویکرد سیستماتیک برای ساخت الگوریتم های جستجوی اکستروم برای عملکردی بهینه سازی ثانویه دلالت دارد ، به عنوان یکی از حالت های تنظیم ، پیکربندی مجدد ضرایب در هر چرخه تصویر ورودی در مقدار فعلی شیب عملکرد بهینه سازی ثانویه. الگوریتم های تنظیم شبکه های عصبی چند لایه با فیلتر دنباله شیب عملکرد بهینه سازی ثانویه توسعه یافته اند: یک فیلتر مرتبه صفر با حافظه $ m_n $ (برای تصاویر ثابت). فیلتر 1 دلاری ، ... ، k $ هفتم با حافظه $ m_n $ (برای تصاویر غیر ثابت) با فرضیه متفاوت تغییر زمان توابع توزیع برای تصاویر در کلاسهای مختلف.

بررسی الگوریتم های سازگاری در شبکه های عصبی

سوال اصلی - چگونگی انتخاب ساختار شبکه عصبی چند لایه برای حل مشکل خاص انتخاب شده - هنوز هم تا حد زیادی حل نشده است. فقط می توان یک شمارش معقول منطقی از انواع ساختارها را با ارزیابی اثربخشی آنها در فرایند حل مسئله ارائه داد. با این حال ، ارزیابی کیفیت الگوریتم تنظیم در یک ساختار خاص انتخاب شده ، ممکن است یک کار خاص به اندازه کافی صحیح نباشد. بنابراین ، برای ارزیابی کیفیت سیستم های کنترل دینامیکی خطی ، از سیگنال های ورودی استاندارد (مرحله به مرحله ، درجه دوم و غیره) استفاده می شود که براساس آن خطای حالت پایدار (آستاتیسم سیستم) و خطاهای موجود در گذرا ارزیابی می شود.

به طور مشابه ، برای شبکه های عصبی چند لایه ، سیگنال های ورودی معمولی برای آزمایش و مقایسه عملکرد الگوریتم های مختلف تنظیم تنظیم شده است. به طور طبیعی ، سیگنال های ورودی معمولی برای اشیاء مانند شبکه های عصبی چند لایه برای حل هر مشکل خاص هستند. اول از همه ، سیگنال های ورودی معمولی برای کارهای زیر تولید شده اند: شناخت الگوی. خوشه بندی کنترل عصبی اشیاء پویا.

اصل اساسی بدیهی استفاده از فن آوری های شبکه عصبی به جای روش های آمار ریاضی کلاسیک ، رد یک توصیف رسمی از توابع توزیع احتمال برای سیگنال های ورودی و پذیرش مفهوم توابع توزیع ناشناخته و پیچیده است. به همین دلیل است که سیگنال های ورودی معمولی زیر پیشنهاد شده اند.

برای مشکل خوشه بندی ، یک سیگنال تصادفی با توزیع چندمجهی ارائه شده است ، در یک فضای ویژگی $ بعدی با $ N $ با حالت های عملکرد توزیع که مرکز آنها به مقدار Z $ $ $ در hyperbisector فضای ویژگی های بعدی بعدی $ N $ $ اجرا شده است. هر حالت یک جزء نمونه تصادفی با توزیع عادی و انحراف استاندارد $ σ $ برابر با هر یک از حالت های $ Z $ را پیاده سازی می کند. موضوع مقایسه روشهای مختلف خوشه بندی ، پویایی تنظیم و کیفیت حل مسئله بسته به N $ $ ، Z Z $ و $ σ $ با نمونه تصادفی به اندازه کافی بزرگ از $ M $ خواهد بود. این رویکرد را می توان یکی از اولین رویکردهای نسبتاً عینی در مقایسه الگوریتم های خوشه بندی ، از جمله آنهایی که مبتنی بر شبکه های عصبی چند لایه با انتخاب مناسب ساختار برای دستیابی به کیفیت مورد نیاز خوشه بندی در نظر گرفته شده اند. برای مشکلات طبقه بندی ، سیگنال های ورودی برای آزمایش شبیه به سیگنال های خوشه بندی است با این تغییر که نمونه با توزیع چندمودالی به دو قسمت (در مورد دو کلاس) یا K $ K (در مورد کلاس های $ K $) از قطعات با حالت های متناوب از عملکرد توزیع برای کلاس های فردی تقسیم می شود. .

شبکه های عصبی متغیر

امتناع در فن آوری های شبکه عصبی از اطلاعات پیشینی ، از اطلاعات در مورد توابع توزیع سیگنال های ورودی منجر به نیاز به شمارش معقول پارامترهای ساختار شبکه های عصبی چند لایه برای اطمینان از کیفیت لازم برای حل مسئله می شود.

در دهه 1960 برای یک کلاس از کارهایی که در آن زمان بسیار مناسب بودند - به رسمیت شناختن الگوی - روشی برای تنظیم شبکه های عصبی چند لایه پیشنهاد شد که در آن ساختار بصورت پیشینی ثابت نیست بلکه نتیجه تنظیم در کنار مقادیر ضرایب سفارشی است. در این فرآیند ، تعداد لایه ها و تعداد نورون های موجود در لایه ها در فرآیند تنظیم انتخاب می شوند. روش تعیین ضرایب یک شبکه عصبی چند لایه با ساختار متغیر به راحتی از مشکل تشخیص دو کلاس تصویر به مشکل تشخیص کلاسهای تصویر $ K $ منتقل می شود. و در اینجا نتیجه راه اندازی شبکه های عصبی $ K $ $ است ، که در هر یک از آنها کلاس اول کلاس $ k $ kth \u200b\u200b($ k \u003d 1 ، \\ ldots ، K $) و دسته دوم سایر موارد است. ایده مشابهی برای تنظیم شبکه های عصبی چند لایه با ساختار متغیر نیز برای حل مشکل خوشه بندی کاربرد دارد. در این حالت ، نمونه تحلیل شده اولیه به عنوان کلاس اول تصاویر گرفته می شود و نمونه ای با توزیع یکنواخت در طیف وسیعی از تغییرات ویژگی ها به عنوان طبقه دوم گرفته می شود. شبکه عصبی چند لایه با یک ساختار متغیر که در طی فرایند راه اندازی به صورت کیفی و کمی بکار رفته ، پیچیدگی حل مسئله را نشان می دهد. از این منظر ، وظیفه خوشه بندی به عنوان وظیفه تولید دانش جدید در مورد شی مورد مطالعه شامل جداسازی و تجزیه و تحلیل آن مناطق از فضای چند بعدی علائم است که در آن عملکرد توزیع احتمال از سطح توزیع یکنواخت در محدوده تغییر مقادیر نشانه ها بیشتر است.

چشم انداز توسعه

در آغاز قرن بیست و یکم ، یکی از مفاهیم اساسی توسعه (آموزش) یک شبکه عصبی چند لایه ، تمایل به افزایش تعداد لایه ها است و این شامل تضمین انتخاب ساختار شبکه عصبی که به وظیفه حل شده ، توسعه روش های جدید برای تشکیل الگوریتم های تنظیم ضریب تنظیم است. مزایای شبکه های عصبی عبارتند از: خاصیت به اصطلاح. تخریب تدریجی - هنگامی که عناصر فردی شکست می خورند ، کیفیت سیستم به تدریج کاهش می یابد (برای مقایسه ، شبکه های منطقی از AND ، یا عناصر در صورت عدم موفقیت هر عنصر شبکه شکست نمی خورند). افزایش مقاومت در برابر تغییر در پارامترهای مدارهایی که آنها را پیاده سازی می کنند (برای مثال ، تغییرات بسیار چشمگیر در وزنه ها منجر به خطا در اجرای یک عملکرد منطقی ساده از دو متغیر نمی شود) و غیره.

استفاده گسترده از الگوریتم های شبکه عصبی در زمینه مشکلات پیچیده قابل تنظیم ، کاملاً قابل تنظیم و غیرقابل تنظیم باعث ایجاد جهت جدید در ریاضیات محاسباتی شده است - علوم اعصاب. علوم اعصاب شامل الگوریتم های شبکه عصبی برای حل مشکلات زیر است: شناخت الگوی. بهینه سازی و برون یابی توابع؛ نظریه گراف؛ وظایف رمزنگاری؛ حل سیستمهای واقعی و بولی معادلات خطی و غیرخطی ، معادلات دیفرانسیل معمولی یک بعدی و چند بعدی ، معادلات دیفرانسیل جزئی و غیره ، براساس تئوری شبکه های عصبی ، بخش جدیدی از تئوری مدرن کنترل سیستمهای پیچیده غیرخطی و چند بعدی ، چندگانه متصل به هم پیوسته ایجاد می شود - نوروکنترلاز جمله روشهای شناسایی شبکه عصبی اشیاء پیچیده پویا. ساخت سلولهای عصبی در حلقه های کنترل اشیاء پیچیده پویا و غیره

شبکه های عصبی (شبکه عصبی مصنوعی) سیستمی برای پردازشگرهای ساده (نورونهای مصنوعی) متصل و متقابل است. چنین پردازنده ها معمولاً بسیار ساده هستند (مخصوصاً در مقایسه با پردازنده های مورد استفاده در رایانه های شخصی). هر پردازنده چنین شبکه ای فقط با سیگنال هایی که به طور دوره ای دریافت می کند و سیگنال هایی که بطور دوره ای به پردازنده های دیگر ارسال می کند ، سر و کار دارد. و با این حال ، به اندازه کافی متصل است شبکه بزرگ با تعامل کنترل شده ، این پردازنده ها در کنار هم قادر به انجام کارهای نسبتاً پیچیده هستند ، زیرا شبکه های عصبی در این فرآیند آموزش می بینند.

پنهانی نیست که اکنون شبکه های عصبی بیشتر در عکاسی مورد استفاده قرار می گیرند. ما قبلاً دیدیم که چگونه آنها می توانند با یک انیمیشن روی یک کامپیوتر معمولی کار کنند و تصاویر بیشتر از آثار هنرمندان مشهور زیر چکش می روند. جای تعجب نیست که این شبکه های عصبی بودند که اساس برنامه FaceApp را تشکیل دادند ، که طی چند روز محبوبیت خود را در سرتاسر جهان به دست آورد ، با حمله به App Store و.

الون مسک بعد از استعمار مریخ

وبلاگ این شرکت گوگل یک شبکه عصبی آزمایشی جدید به نام Translatotron را معرفی کرد که می تواند مستقیماً گفتار را به زبان دیگری ترجمه کند بدون استفاده از نمایش متنی آن ، و ذخیره اطلاعات صوتی و میزان گفتار بلندگو. سیستمی با حافظه کوتاه مدت و طولانی مدت قادر به دریافت ورودی صوتی و پردازش آن به عنوان طیف سنج است و سپس بر این اساس یک طیف سنج جدید در زبان مقصد تولید می کند. در شرایط خاص ، این نه تنها سرعت ترجمه را افزایش می دهد ، بلکه صحت آن را نیز افزایش می دهد. با موارد بیشتر توضیحات کامل پیشرفت جدید را می توان در مقاله ای که در مخزن آنلاین مقالات علمی arXiv.org منتشر شده است ، یافت.