شبکه های عصبی چیست؟ شبکه های عصبی: گونه، اصل عملیات و کاربرد. شبکه های عصبی چیست؟

سؤال هوش مصنوعی و شبکه های عصبی در حال حاضر از قبل محبوب می شوند. بسیاری از کاربران به طور فزاینده ای و اغلب در مورد اینکه چگونه شبکه های عصبی کار می کنند، چه چیزی آنها را نمایندگی می کنند و اصل فعالیت های آنها چیست؟

این مسائل همراه با محبوبیت دشواری قابل توجهی دارند، زیرا فرایندها الگوریتم های یادگیری پیچیده ای هستند که برای اهداف مختلف طراحی شده اند، از تجزیه و تحلیل تغییرات در مدل سازی خطرات مرتبط با اقدامات خاص.

شبکه های عصبی و انواع آنها چیست؟

اولین سوال که از کسانی که علاقه مند هستند، شبکه عصبی چیست؟ در تعریف کلاسیک، این یک توالی خاص از نورون ها است که با سیناپس ترکیب شده اند. شبکه های عصبی یک مدل ساده از آنالوگ های بیولوژیکی هستند.

برنامه ای که دارای یک ساختار شبکه عصبی است، امکان تجزیه و تحلیل داده های ورودی را فراهم می کند و نتیجه حاصل از منابع خاصی را حفظ می کند. پس از آن، چنین رویکردی به شما امکان می دهد که نتیجه را از حافظه ای که با مجموعه داده های فعلی مطابقت دارد، استخراج کنید، در صورتی که قبلا در تجربه چرخه های شبکه بوده است.

بسیاری از شبکه عصبی را به عنوان یک آنالوگ از مغز انسان درک می کنند. از یک طرف، این قضاوت را می توان نزدیک به حقیقت در نظر گرفت، اما از سوی دیگر مغز انسان، مکانیسم بسیار پیچیده ای است تا بتواند آن را با کمک ماشین حداقل درصد بازسازی کند. شبکه عصبی عمدتا یک برنامه مبتنی بر اصل عمل مغز است، اما نه آنالوگ آن.

شبکه عصبی یک دسته از نورون ها است که هر کدام از آنها اطلاعات را دریافت می کنند، آن را پردازش می کنند و به نورون دیگر منتقل می شوند. هر نورون سیگنال را به طور کامل پردازش می کند.

چگونه نتیجه دیگری را انجام می دهد؟ همه چیز در مورد سیناپس است که نورون ها را با یکدیگر متصل می کنند. یک نورون می تواند مقدار زیادی از سیناپس ها، تقویت یا تضعیف سیگنال داشته باشد، در حالی که آنها دارای ویژگی هایی برای تغییر ویژگی های خود در طول زمان هستند.

این پارامترهای Synapse به درستی انتخاب شده است که امکان دستیابی به نتیجه صحیح تبدیل ورودی را فراهم می کند.

تصمیم گیری به طور کلی، که یک شبکه عصبی است، ممکن است انواع اصلی طبقه بندی خود را برجسته کنید. قبل از اینکه به طبقه بندی بروید، باید یک پالایش را وارد کنید. هر شبکه دارای اولین لایه نورون است که ورودی نامیده می شود.

این هیچ محاسبات و تحولات را برآورده نمی کند، وظیفه آن تنها در یکی است: سیگنال های ورودی را در بقیه نورون ها توزیع و توزیع کنید. این تنها لایه ای است که برای همه انواع شبکه های عصبی رایج است، ساختار بیشتر آنها معیار بخش اصلی است.

• شبکه عصبی تک لایه. این ساختار تعامل نورون ها است که پس از وارد کردن داده های ورودی، اولین لایه ورودی بلافاصله به لایه نتیجه نهایی منتقل می شود. در عین حال، اولین لایه ورودی در نظر گرفته نشده است، زیرا هیچ اقداماتی را انجام نمی دهد، به جز دریافت و توزیع، این قبلا در بالا گفته شده است. و لایه دوم تمام محاسبات لازم و پردازش را تولید می کند و بلافاصله نتیجه نهایی را می دهد. نورون های ورودی با لایه اصلی سیناپس ترکیب شده اند که دارای ضریب وزن متفاوت هستند.
• شبکه عصبی چند لایه. همانطور که از تعریف روشن است، این نوع شبکه های عصبی علاوه بر لایه های ورودی و خروجی نیز دارای لایه های متوسط \u200b\u200bاست. مقدار آنها بستگی به درجه پیچیدگی شبکه خود دارد. این بیشتر شبیه ساختار شبکه عصبی بیولوژیکی است. چنین انواع شبکه ها به تازگی توسعه یافت، قبل از آن، تمام فرآیندها با استفاده از شبکه های تک لایه ای اجرا شد. به ترتیب چنین راه حل این فرصت های بیشتری از اجدادش دارد. در فرآیند پردازش اطلاعات، هر لایه متوسط \u200b\u200bیک مرحله متوسط \u200b\u200bپردازش و توزیع اطلاعات است.

بسته به جهت توزیع اطلاعات در سیناپس از یک نورون به دیگری، شما همچنین می توانید شبکه ها را به دو دسته تقسیم کنید.

• شبکه توزیع مستقیم یا یکپارچه، یعنی ساختار که سیگنال به شدت از لایه ورودی به خروجی حرکت می کند. جنبش سیگنال در جهت مخالف غیرممکن است. چنین تحولاتی بسیار گسترده است و در حال حاضر با موفقیت چنین وظایفی را به عنوان شناخت، پیش بینی یا خوشه بندی حل می کند.
• شبکه های با بازخورد یا مکرر. چنین شبکه هایی اجازه می دهد سیگنال به حرکت نه تنها به طور مستقیم، بلکه در جهت مخالف حرکت کند. چه چیزی را می دهد؟ در چنین شبکه هایی، نتیجه خروجی ممکن است به این ورودی بازگردد، خروجی نورون توسط وزن و سیگنال های ورودی تعیین می شود و توسط خروجی های قبلی که به ورودی بازگردانده می شود، تکمیل می شود. چنین شبکه هایی با عملکرد حافظه کوتاه مدت مشخص می شوند، بر اساس آن سیگنال ها در طول فرآیند پردازش بازسازی و تکمیل می شوند.

این تنها گزینه هایی برای طبقه بندی شبکه ها نیست.

آنها را می توان به همگن و ترکیبی تکیه بر انواع نورون های تشکیل دهنده شبکه تقسیم کرد. و همچنین بر روی Heteroasciative یا AutoSociative، بسته به روش شبکه، با یک معلم یا بدون. شما همچنین می توانید شبکه ها را با هدف مورد نظر خود طبقه بندی کنید.

شبکه های عصبی از کجا استفاده می کنند؟

شبکه های عصبی برای حل وظایف مختلف مورد استفاده قرار می گیرند. اگر ما وظایف را طبق درجه پیچیدگی در نظر بگیریم، برای حل ساده ترین وظایف مناسب خواهد بود برنامه کامپیوتریبیشتر از
وظایف کامل نیاز به پیش بینی ساده یا راه حل های تقریبی معادلات، برنامه ها برای جذب روش های آماری استفاده می شود.

اما وظایف سطح پیچیده تر نیاز به یک رویکرد کاملا متفاوت دارد. به طور خاص، این به شناخت تصاویر، گفتار یا پیش بینی پیچیده اشاره دارد. در یک سر انسان، چنین فرایندهایی ناخودآگاه رخ می دهد، یعنی شناسایی و حفظ تصاویر، یک فرد متوجه نمی شود که چگونه این روند رخ می دهد، و بر این اساس نمی تواند آن را کنترل کند.

این وظایف به حل شبکه های عصبی کمک می کند، یعنی، یعنی آنها برای انجام فرایندهایی که الگوریتم های آنها ناشناخته است، ایجاد می شود.

بنابراین، شبکه های عصبی به طور گسترده ای در زمینه های زیر استفاده می شود:

• شناخت، و این جهت در حال حاضر گسترده ترین راه است؛
• پیش بینی مرحله بعدی، این ویژگی در بازارهای حراج و سهام قابل اجرا است؛
• طبقه بندی داده های ورودی توسط پارامترها، چنین تابع توسط روبات های اعتباری انجام می شود که قادر به تصمیم گیری در تصویب وام به انسان، تکیه بر مجموعه ورودی پارامترهای مختلف.

توانایی های شبکه عصبی آنها را بسیار محبوب می کند. آنها می توانند بسیار یاد بگیرند، مانند بازی های بازی، یک صدای خاص و غیره را تشخیص دهند. بر اساس این واقعیت است که شبکه های مصنوعی بر اساس اصل شبکه های بیولوژیکی ساخته شده اند، می توانند به تمام فرایندهایی که فردی ناخودآگاه انجام می دهند آموزش داده می شود.

نورون و سیناپس چیست؟

بنابراین نورون در زمینه شبکه عصبی مصنوعی چیست؟ تحت این مفهوم، یک واحد را که محاسبات را انجام می دهد، نشان می دهد. این اطلاعات را از لایه ورودی شبکه دریافت می کند، محاسبات ساده را با آن انجام می دهد و آن را با نورون زیر می خورد.

شبکه شامل سه نوع نورون است: ورودی، پنهان و خروجی. و اگر شبکه تک لایه باشد، آن را شامل نورون های پنهان نیست. علاوه بر این، نوعی واحدهای وجود دارد که اسامی نورون جابجایی و نورون متناوب را تحمل می کنند.

هر نورون دارای دو نوع داده است: ورودی و خروجی. در این مورد، اولین لایه داده های ورودی برابر با خروجی است. در موارد دیگر، اطلاعات کلی از لایه های قبلی بر روی ورودی نورون قرار می گیرد، سپس فرایند عادی را می گذراند، یعنی تمام مقادیر سقوط از محدوده مورد نظر توسط عملکرد فعال سازی تبدیل می شوند.

همانطور که در بالا ذکر شد، Sinaps رابطه بین نورون ها است، که هر کدام دارای درجه وزن خود هستند. این به دلیل این ویژگی است که اطلاعات ورودی در طول فرایند انتقال اصلاح می شود. در فرآیند پردازش، اطلاعات منتقل شده توسط سیناپ ها، با نشانگر وزن بزرگ، غالب خواهد بود.

به نظر می رسد که هیچ نورون بر نتیجه تاثیر نمی گذارد، یعنی سیناپس هایی که ترکیبی خاصی از وزن داده های ورودی را به وجود می آورند، از آنجا که نورون ها هر بار به طور کامل محاسبات مشابه را انجام می دهند.

در عین حال، وزن ها به صورت تصادفی تنظیم می شوند.

طرح شبکه عصبی

برای ارائه اصل عملیات شبکه عصبی، مهارت های ویژه مورد نیاز است. در لایه ورودی نورون ها اطلاعاتی وجود دارد. این توسط سیناپس به لایه بعدی منتقل می شود، هر سیناپس دارای ضریب وزن خود است و هر نورون بعدی می تواند چندین سیناپس ورودی داشته باشد.

در نتیجه، اطلاعات به دست آمده از طریق نورون زیر، مجموع تمام داده های ضرب شده توسط هر کدام به ضریب وزن آن است. مقدار حاصل شده به تابع فعال سازی جایگزین می شود و اطلاعات خروجی به دست می آید، که تا زمانی که به خروجی نهایی برسد منتقل می شود. اولین راه اندازی شبکه نتایج صحیح را ارائه نمی دهد، زیرا شبکه هنوز آموزش دیده نیست.

تابع فعال سازی برای عادی سازی داده های ورودی استفاده می شود. بسیاری از این توابع وجود دارد، اما شما می توانید چندین پایه را با داشتن گسترده ترین گسترده تر نشان دهید. تفاوت های اصلی آنها طیف وسیعی از مقادیری است که در آن کار می کنند.

• تابع خطی f (x) \u003d x، ساده ترین از همه امکان پذیر است، فقط برای آزمایش شبکه عصبی ایجاد شده یا انتقال داده ها در فرم اصلی آن استفاده می شود.
• Sigmoid شایع ترین عملکرد فعال سازی است و دارای فرم F (x) \u003d 1/1 + E- ×؛ در عین حال، طیف وسیعی از مقادیر 0 تا 1 آن نیز یک تابع لجستیک نامیده می شود.
• برای پوشش دادن و مقادیر منفی از تانگ های هیپربولیک استفاده می شود. f (x) \u003d ² × - 1 / ² × × 1 - این نوع این تابع و محدوده ای است که از -1 تا 1. اگر شبکه عصبی برای استفاده از مقادیر منفی ارائه نمی دهد، پس از آن نیست ارزش استفاده از آن.

به منظور تنظیم داده های شبکه که صندلی های آموزشی لازم را اداره می کند.

ادغام یک شمارنده است که با هر مجموعه آموزشی افزایش می یابد.

این دوران یک شاخص مسافرتی شبکه عصبی است، این شاخص هر بار افزایش می یابد که شبکه چرخه مجموعه ای کامل از شبکه های آموزشی را افزایش می دهد.

بر این اساس، برای انجام آموزش شبکه به درستی نیاز به انجام مجموعه ها، به طور مداوم افزایش شاخص دوره.

در روند آموزش، خطاها شناسایی می شوند. این یک شاخص درصد از اختلاف بین نتیجه حاصل شده و مطلوب است. این شاخص باید در روند افزایش شاخص ERA، در غیر این صورت در جایی یک خطای توسعه دهنده کاهش یابد.

یک نورون جابجایی و چه چیزی برای آن مورد نیاز است؟

در شبکه های عصبی، نوع دیگری از نورون ها وجود دارد - نورون جابجایی. این متفاوت از نوع اصلی نورون ها با این واقعیت است که ورودی و خروجی آن در هر مورد برابر با یک است. در این مورد، سیناپس های ورودی چنین نورون ندارند.

محل چنین نورونها یک به یک در لایه رخ می دهد و نه بیشتر، آنها همچنین می توانند با سیناپس ها با یکدیگر ارتباط برقرار کنند. قرار دادن این نورون ها بر روی لایه خروجی مناسب نیست.

برای چه چیزی مورد نیاز است؟ شرایطی وجود دارد که در آن Neuroset به سادگی نمی تواند تصمیم درست را به دلیل این واقعیت که نقطه مورد نظر در خارج از دسترس قرار می گیرد، پیدا کند. این برای این است که نیاز به چنین نورون ها را قادر به تغییر منطقه تعریف.

به عبارت دیگر، وزن سیناپس، خم عملکرد تابع را تغییر می دهد، در حالی که نورون جابجایی اجازه می دهد تغییر در امتداد محور مختصات، به طوری که شبکه عصبی قادر به گرفتن منطقه غیر قابل دسترس به آن بدون تغییر است. در این مورد، تغییر می تواند هر دو به سمت راست و چپ انجام شود. به صورت مقدم، نورون های تغییر معمولا نشان داده نمی شوند، هنگام محاسبه مقدار ورودی، وزن آنها به طور پیش فرض به حساب می آیند.

همچنین، نورونهای جابجایی اجازه می دهد که نتیجه در مورد زمانی که تمام نورون های دیگر 0 به عنوان پارامتر خروجی به 0 می رسد. در این مورد، صرف نظر از وزن سیناپس برای هر لایه بعدی، این مقدار انتقال خواهد یافت.

حضور یک نورون جابجایی وضعیت را اصلاح می کند و نتیجه دیگری را دریافت می کند. امکان سنجی استفاده از نورون های جابجایی با تست شبکه با آنها بدون آنها و مقایسه نتایج تعیین می شود.

اما مهم است که به یاد داشته باشید که به اندازه کافی برای ایجاد یک شبکه عصبی برای دستیابی به نتایج کافی نیست. باید آموزش داده شود، که همچنین نیاز دارد رویکردهای ویژه و الگوریتم های خود را دارد. این فرایند ساده است که ساده باشد، زیرا پیاده سازی آن نیاز به دانش و تلاش خاصی دارد.

انواع جدید معماری شبکه عصبی به طور مداوم به نظر می رسد، و آنها می توانند گیج شوند. ما برای شما نوعی کابینت را جمع آوری کردیم، که بیشترین آن را دارد گونه های موجود ins اگر چه همه آنها به عنوان منحصر به فرد ارائه شده است، تصاویر نشان می دهد که بسیاری از آنها بسیار مشابه هستند.

مشکل گراف های کشیده شده این است که آنها نشان نمی دهند که چگونه شبکه های مربوطه در عمل استفاده می شود. به عنوان مثال، مشتریان تنوع (VAE) به طور کلی به عنوان autocoders ساده (AE) به نظر می رسد، اما فرایندهای یادگیری آنها به طور قابل توجهی متفاوت است. موارد استفاده حتی بیشتر از آن متفاوت است، زیرا VAE یک ژنراتور است که دارای یک نویز جدید برای به دست آوردن یک نمونه جدید است. AE به سادگی داده های به دست آمده با نمونه مشابه مشابه در طول تمرین را مقایسه می کند.

شایان ذکر است که اگر چه اکثر این اختصارات به طور کلی پذیرفته می شوند، استثنائات وجود دارد. در زیر RNN گاهی اوقات یک شبکه عصبی بازگشتی را بیان می کند، اما آنها معمولا به معنی مکرر هستند. شما همچنین می توانید اغلب استفاده از اختصار RNN را در هنگام استفاده از آن مشاهده کنید هر کسی ns مکرر Autocoders همچنین با این مشکل مواجه می شوند زمانی که تناسب اندام های مختلف و نویز از خود را لغو می کنند (VAE، DAE) به سادگی ظروف خود (AE) نامیده می شوند. علاوه بر این، بسیاری از اختصارات در تعداد حروف "n" در پایان متفاوت است، زیرا در بعضی موارد "شبکه عصبی" استفاده می شود، و در بعضی از آنها - فقط "شبکه".

برای هر معماری، یک توضیح بسیار مختصر ارائه خواهد شد و یک پیوند به مقاله، به آن اختصاص داده شده است. اگر می خواهید به سرعت با شبکه های عصبی آشنا شوید، به دنبال ترجمه شده توسط ما، متشکل از چهار مرحله است.

شبکه های شبکه شبکه توزیع مستقیم خوراک شبکه های عصبی، FF یا FFNN) و perceptons (Perceptrons، P) بسیار ساده، آنها اطلاعات را از ورود به سیستم انتقال می دهند. شبکه های عصبی اغلب به عنوان یک کیک پف شناخته می شوند، جایی که هر لایه شامل ورودی ها، سلول های پنهان یا خروجی است. سلول های یک لایه مشابه با یکدیگر ارتباط ندارند و لایه های همسایه معمولا به طور کامل متصل می شوند. ساده ترین شبکه عصبی دارای دو سلول ورودی و یک خروجی است و می تواند به عنوان یک مدل از دریچه های منطقی استفاده شود. FFNN معمولا با روش توزیع خطای معکوس یاد می شود که در آن شبکه بسیاری از داده های ورودی و خروجی دریافت می کند. این فرآیند آموزش با یک معلم نامیده می شود و از یادگیری بدون معلم در آن در مورد دوم متفاوت است، مجموعه ای از شبکه خروجی به طور مستقل است. خطای فوق، تفاوت بین ورودی و خروجی است. اگر شبکه تعداد کافی از نورون های پنهان داشته باشد، از لحاظ نظری قادر به شبیه سازی تعامل بین داده های ورودی و خروجی است. تقریبا چنین شبکه هایی به ندرت مورد استفاده قرار می گیرند، اما اغلب آنها با انواع دیگر ترکیب شده اند تا موارد جدید به دست آورند.

شبکه توابع اساسی شعاعی (تابع پایه شعاعی، RBF) - این FFNN است، که از توابع پایه شعاعی به عنوان توابع فعال سازی استفاده می کند. بیشتر او ایستاده است 🙂

شبکه هپفیلد عصبی (شبکه hopfield، hn) - این یک شبکه کامل عصبی با یک ماتریس متقارن اتصالات است. در طول دریافت داده های ورودی، هر گره ورودی است، در فرآیند یادگیری پنهان می شود و سپس یک خروجی می شود. شبکه مانند این آموزش داده می شود: مقادیر نورونها مطابق با قالب مورد نظر نصب می شوند، پس از آن وزن محاسبه می شود که در آینده تغییر نمی کند. پس از اینکه شبکه به یک یا چند قالب سفر کرد، همیشه به یکی از آنها کاهش می یابد (اما نه همیشه - به دلخواه). بسته به شبکه "انرژی" و "درجه حرارت" به طور کلی تثبیت می شود. هر نورون آستانه فعال سازی خود را دارد، بسته به درجه حرارت، در طول عبور از آن نورون، یکی از دو مقدار (معمولا -1 یا 1، گاهی اوقات 0 یا 1) را می گیرد. چنین شبکه ای اغلب به عنوان یک شبکه با حافظه انجمنی نامیده می شود؛ به عنوان یک فرد، دیدن نیمی از جدول، می تواند نیمه دوم جدول را ارائه دهد، و این شبکه، دریافت جدول، نیمی از نویز، آن را به طور کامل بازیابی می کند.

زنجیر مارکوف (زنجیره مارکوف، MC یا زمان گسسته زنجیره مارکوف، DTMC) - این پیشینیان شبکه های Boltzmann (BM) و Hopfield (HN) هستند. معنای آنها را می توان به شرح زیر توضیح داد: شانس من برای رسیدن به یکی از گره های زیر، اگر من در این مورد چیست؟ هر کشور بعدی تنها به یک قبلی بستگی دارد. اگر چه در واقع زنجیره مارکوف NS نیست، آنها بسیار مشابه هستند. همچنین زنجیرهای مارکوف لزوما اتصالات کامل نیستند.

ماشین بولتزمن (ماشین بولتزمن، BM)این بسیار شبیه به شبکه Hopfield است، اما در آن برخی از نورون ها به عنوان ورودی مشخص شده اند، و بعضی ها مانند پنهان هستند. نورون های ورودی در آینده تبدیل می شوند. ماشین Boltzmann یک شبکه تصادفی است. آموزش از طریق روش انتشار معکوس یک خطا یا با توجه به الگوریتم واگرایی مقایسه ای عبور می کند. به طور کلی، فرایند یادگیری بسیار شبیه به شبکه Hopfield است.

ماشین Boltzmann محدود (ماشین Boltzmann محدود، RBM)به طور شگفت انگیز شبیه به ماشین Boltzmann و بنابراین، در شبکه Hopfield. تنها تفاوت آن محدودیت های آن است. در آن، نورون های مشابه نوع متصل نیستند. ماشین محدود Boltzmann را می توان به عنوان FFNN آموزش داد، اما با یک Nuance: به جای انتقال داده مستقیم و توزیع خطا، شما باید اولین اطلاعات را در جهت رو به جلو انتقال دهید، سپس در مقابل. پس از آن، آموزش توسط روش توزیع خطای مستقیم و معکوس آموزش داده می شود.

اتوکودر (Autoencoder، AE) چیزی شبیه FFNN، به عنوان یک راه دیگر برای استفاده از FFNN از معماری اساسا متفاوت است. ایده اصلی کدگذاری خودکار (به معنای فشرده سازی، رمزگذاری، نه رمزگذاری) است. شبکه خود شبیه ساعت های ساعت است، در لایه های پنهان کمتر ورودی و خروجی کمتر، و متقارن است. شبکه را می توان با استفاده از توزیع خطای معکوس با استفاده از ورودی آموزش داد و یک خطا برابر با تفاوت بین ورودی و خروجی تنظیم کرد.

cracking carcoder SPARSE AUTOCTODER، SAE) - به نوعی، مخالف معمول است. به جای تدریس شبکه برای نمایش اطلاعات در یک "حجم" کوچکتر از گره ها، تعداد آنها را افزایش می دهیم. به جای محدود کردن مرکز، شبکه در آنجا وجود دارد. شبکه های این نوع برای کار با تعداد زیادی از ویژگی های مجموعه داده های کوچک مفید هستند. اگر شبکه را به عنوان یک اتوکار معمولی آموزش دهید، هیچ چیز مفید نخواهد بود. بنابراین، علاوه بر داده های ورودی، یک فیلتر شکستگی ویژه نیز خدمت می شود، که تنها خطاهای تعریف شده از دست رفته است.

تغییرات AutoCoDers(تغییر خودکار خودکار، VAE) آنها شبیه به معماری AE هستند، اما آنها آنها را به دیگران معرفی می کنند: تقریبی توزیع احتمالی نمونه های ورودی. در این، آنها از ماشین های بولتزمن تشکیل می شوند. با این وجود، آنها به ریاضیات بیزی متکی هستند، زمانی که به نتایج احتمالی و استقلال احتمالی، که بصری هستند، به صورت بصری، اما در پیاده سازی ها پیچیده هستند، تکیه می کنند. اگر ما تعمیم دهیم، می توانیم بگوییم این شبکه به بررسی اثر نورون ها می پردازد. اگر چیزی در یک مکان اتفاق می افتد، و چیز دیگری در دیگری است، پس این رویدادها لزوما مرتبط نیستند، و این باید در نظر گرفته شود.

Autocoders لغو سر و صدا (Denoising Autoencoder، Dae) - این AE است که در آن داده های ورودی در یک کشور رومینگ خدمت می شود. ما خطا را به همان شیوه محاسبه می کنیم و خروجی با پر سر و صدا مقایسه می شود. با تشکر از این، شبکه یاد می گیرد که به خواص گسترده تر توجه شود، زیرا کوچک می تواند با نویز تغییر کند.

نوع "باور عمیق" (شبکه های عمیق باور، DBN) - این نامی است که نوع معماری را دریافت کرده است که در آن شبکه شامل چندین RBM متصل یا VAE است. چنین شبکه هایی در بلوک آموزش دیده اند و هر واحد شما فقط باید قادر به رمزگذاری قبلی باشید. این تکنیک "یادگیری حریص" نامیده می شود، که شامل انتخاب راه حل های بهینه محلی است که نتیجه نهایی بهینه را تضمین نمی کند. همچنین، شبکه را می توان آموزش داد (با روش خطای معکوس) داده ها را به صورت یک مدل احتمالاتی نشان می دهد. اگر از یادگیری بدون معلم استفاده می کنید، یک مدل پایدار می تواند برای تولید داده های جدید استفاده شود.

شبکه های عصبی کامل (شبکه های عصبی کانولوشن، CNN) و عمق شبکه های عصبی (شبکه های عصبی عمیق کانولوشن، DCNN)آنها از انواع دیگر شبکه ها بسیار متفاوت هستند. معمولا آنها برای پردازش تصویر استفاده می شود، کمتر برای صدا. یک روش معمول برای استفاده از CNN طبقه بندی تصاویر است: اگر یک گربه بر روی تصویر وجود داشته باشد، شبکه اگر یک سگ وجود دارد - "سگ" وجود دارد. چنین شبکه هایی معمولا از "اسکنر" استفاده می کنند، نه تمام داده ها در یک زمان. به عنوان مثال، اگر شما یک تصویر 200 × 200 داشته باشید، فورا 40 هزار پیکسل را پردازش نمی کنید. در عوض، این شبکه مربع اندازه 20 x 20 (معمولا از زاویه بالا سمت چپ) را در نظر می گیرد، سپس 1 پیکسل را حرکت می دهد و یک مربع جدید و غیره را در نظر می گیرد. سپس این ورودی ها از طریق لایه های تاشو منتقل می شوند، که در آن همه گره ها متصل نیستند. این لایه ها دارای دارایی فشاری با عمق هستند و درجه های مکرر اغلب استفاده می شود: 32، 16، 8، 4، 2، 1. در عمل، FFNN به پایان CNN برای پردازش داده های بیشتر متصل می شود. چنین شبکه هایی عمیق (DCNN) نامیده می شوند.

استقرار شبکه های عصبی (شبکه های Deconvolutional، DN)همچنین به نام شبکه های گرافیکی معکوس به شبکه های عصبی دستگاه معکوس می شوند. تصور کنید که شبکه "گربه" کلمه را انتقال می دهید و تصاویر را با گربه ها تولید می کند، شبیه به تصاویر واقعی گربه ها. DNN همچنین می تواند با FFNN ترکیب شود. شایان ذکر است که در اغلب موارد شبکه توسط یک رشته انتقال نمی یابد، اما کدام بردار باینری: به عنوان مثال،<0, 1> - این یک گربه است<1, 0> - سگ، و<1, 1> - و گربه، و سگ.

ایوان Biryukov، اخبار اصلی

به عنوان Yandex از داده های خود و یادگیری ماشین برای شخصی سازی خدمات استفاده می کند.

بیایید شروع به بررسی مواد از آشنا شدن و تعیین مفهوم سیستم عصبی مصنوعی کنیم.

می تواند به عنوان آنالوگ در نظر گرفته شود مجتمع محاسباتیکه از آیتم های پردازش داده های ساده استفاده می کند، عمدتا به طور موازی به یکدیگر متصل می شود. عناصر پردازش داده ها توسط عملیات منطقی منطقی یا محاسباتی بر روی داده های ورودی خود انجام می شود. اساس عملکرد یک سیستم عصبی مصنوعی این است که ضرایب وزن با هر عنصر چنین سیستم همراه است. این ضرایب وزن، اطلاعات ذخیره شده در سیستم را نشان می دهد.

طرح نورون مصنوعی معمولی

نورون می تواند مقدار زیادی از ورودی ها داشته باشد، اما تنها یک راه دور است. مغز انسان حاوی حدود نورون ها است و هر نورون می تواند هزاران ارتباط با دیگران داشته باشد. سیگنال های ورودی نورون با ضرایب وزن ضرب می شوند و برای به دست آوردن یک ورودی کل نورون اضافه می شوند - من.:
شکل. عملکرد نورون مصنوعی 1.Type که یک خروجی نورون را با ورودی های آن متصل می کند، تابع فعال سازی نامیده می شود. این یک دیدگاه از یک تابع sigmoid دارد θ . رسم سازی واکنش نورون این است که سیگنال اولیه به یک سیگنال های ورودی بسیار کوچک و بسیار بزرگ به یکی از مرزها ارسال می شود. علاوه بر این، مقدار آستانه با هر نورون متصل می شود θ که در فرمول محاسبه سیگنال خروجی از سیگنال ورودی کل کسر می شود. در نتیجه، سیگنال خروجی نورون - O اغلب به شرح زیر شرح داده می شود: ساختار شبکه با توزیع مخالف "src \u003d" https://libtime.ru/uploads/images/00/01/2014 / 06/27 / set-s- rostnym-rasprostraneniyem.png "alt \u003d" (! lang: ساختار شبکه با توزیع معکوس" width="450" height="370"> Рис. 2. Сеть с обратным распространением !} معکوسبه عنوان یک قاعده، به سه بخش تقسیم می شود، هرچند بخش های اضافی نیز می توانند شکل بگیرند. بخش ها (بخش) که بین بخش های ورودی و خروجی هستند، بخش های پنهان نامیده می شوند، زیرا دنیای خارجی تنها بخش های ورودی و خروجی را درک می کند. شبکه ای که مقدار عملیات منطقی را محاسبه می کند، مقدار واقعی را در خروجی محاسبه می کند، تنها در مواردی که مقادیر واقعی در تمامی ورودی های آن وجود دارد یا نه در تمام ورودی ها ارزش های اشتباه است. تعداد گره ها در بخش پنهان ممکن است بسته به هدف پروژه متفاوت باشد.

ویژگی های شبکه های عصبی

لازم به ذکر است که شبکه های عصبی نیازی به برنامه نویسی در معنای معمول کلمه ندارند. برای شبکه های عصبی، الگوریتم های ویژه برای آموزش شبکه های عصبی، از جمله توزیع ضد توزیع و توزیع معکوس استفاده می شود. برنامه نویس "برنامه ریزی" شبکه را با تنظیم داده های ورودی و خروجی مربوطه. شبکه یادگیری است، به طور خودکار ضرایب وزن برای اتصالات سیناپسی بین نورون ها را تنظیم می کند. ضرایب توزین، همراه با آستانه نورون ها، ماهیت توزیع داده ها را بر روی شبکه تعیین می کنند و بنابراین پاسخ صحیح را به داده های مورد استفاده در فرآیند یادگیری تعیین می کنند. آموزش شبکه به منظور به دست آوردن پاسخ های صحیح ممکن است نیاز به زمان زیادی داشته باشد. چقدر بستگی دارد که چگونه بسیاری از تصاویر باید در طول آموزش شبکه، و همچنین قابلیت های سخت افزار کاربردی و کمکی مورد استفاده قرار گیرد نرم افزار. با این حال، در تکمیل آموزش، شبکه قادر به پاسخگویی با سرعت بالا است. مطابق با معماری سیستم عصبی مصنوعی از سایر سیستم های محاسباتی متفاوت است. سیستم اطلاعات کلاسیک توانایی اتصال اطلاعات گسسته را با عناصر حافظه پیاده سازی می کند. به عنوان مثال، معمولا سیستم اطلاعات داده ها را در یک شی خاص در یک گروه از عناصر حافظه مجاور ذخیره می کند. در نتیجه، امکان دسترسی و دستکاری داده ها با ایجاد ارتباط متقابل یکپارچه بین ویژگی های شی و آدرس سلول های حافظه ای که در آنها ثبت می شود، به دست می آید. بر خلاف چنین سیستم هایی، مدل های سیستم های عصبی مصنوعی بر اساس نظریه های مدرن عملکرد مغز، بر اساس آن اطلاعات در مغز با کمک ضرایب وزن ارائه می شود. در این مورد، همبستگی مستقیم بین مقدار خاص ضریب وزن و عنصر خاص اطلاعات ذخیره شده وجود ندارد. چنین ارائه توزیع شده اطلاعات شبیه به تکنولوژی ارائه حفاظت و تصویری است که در هولوگرام استفاده می شود. با توجه به این تکنولوژی، خط هولوگرام به عنوان شبکه های پراکنده عمل می کند. با کمک آنها، هنگامی که پرتو لیزر عبور می کند، تصویر ذخیره شده بازی می شود، با این حال، داده ها به طور مستقیم تفسیر نمی شوند.
شبکه عصبی به عنوان وسیله ای برای حل مشکل. شبکه عصبی این به عنوان یک وسیله قابل قبول برای حل مشکل عمل می کند زمانی که تعداد زیادی از داده های تجربی وجود دارد، اما هیچ الگوریتمی وجود ندارد که بتواند یک راه حل دقیق دقیق با سرعت لازم را تضمین کند. در این زمینه، تکنولوژی ارائه داده های سیستم عصبی مصنوعی مزایای قابل توجهی نسبت به دیگران دارد فناوری اطلاعات. اینها مزایای این را می توان به صورت زیر فرموله کرد:

1. حافظه شبکه عصبی تحمل خطا است. هنگام برداشتن بخش های فردی شبکه عصبی، تنها کاهش کیفیت اطلاعات رخ می دهد، آن را حفظ می شود، اما به طور کامل ناپدید می شود. این به این دلیل است که اطلاعات در فرم توزیع شده ذخیره می شود.
2. کیفیت اطلاعات در شبکه عصبی که به کاهش کاهش می یابد، به تدریج کاهش می یابد، نسبت به بخشی از شبکه، حذف شده است. از دست دادن فاجعه آمیز اطلاعات رخ نمی دهد.
3. داده ها در شبکه عصبی به طور طبیعی با حافظه انجمنی ذخیره می شوند. حافظه انجمنی چنین حافظه ای نامیده می شود که به اندازه کافی برای جستجوی داده های جزئی به طور کامل به طور کامل تمام اطلاعات را بازیابی می کند. این تفاوت بین حافظه انجمنی است حافظه معمولیجایی که اطلاعات به دست آوردن داده ها با مشخص کردن آدرس دقیق عناصر حافظه مربوطه انجام می شود.
4. به شما اجازه می دهد تا بر اساس اطلاعات ذخیره شده در آنها، استخراج و interpolation را انجام دهید. به عبارت دیگر، یادگیری به شما اجازه می دهد تا شبکه ای از توانایی جستجو برای ویژگی های مهم یا لینک های داده را ارائه دهید. پس از آن، شبکه قادر به استخراج و شناسایی لینک ها به داده های جدید است که به آن می آید. به عنوان مثال، در یک آزمایش، یک شبکه عصبی بر روی یک مثال فرضی آموزش دیده شد. پس از فارغ التحصیلی، شبکه توانایی به درستی به سوالات پاسخ داده شده است که آموزش آنها انجام نشده است.
5. شبکه های عصبی پلاستیکی هستند. حتی پس از حذف تعداد مشخصی از نورون ها، شبکه را می توان به سطح اولیه خود بازگرداند (البته، اگر تعداد کافی از نورون ها باقی بماند). چنین ویژگی ای نیز مشخصه مغز انسان است که در آن بخش های فردی می توانند آسیب ببینند، اما با گذشت زمان، با کمک یادگیری، سطح ابتدایی مهارت ها و دانش به دست آمده است.

با تشکر از چنین ویژگی های، سیستم های عصبی مصنوعی بسیار جذاب برای استفاده در روباتیک فضاپیمای، تجهیزات صنعت نفت، دستگاه های زیر آب، فرایندهای تکنولوژیکی ابزار مدیریت و غیره دستگاه های فنی این باید مدت زمان طولانی بدون تعمیر در محیط نامطلوب عمل کند. سیستم های عصبی مصنوعی نه تنها باعث می شود که مشکل قابلیت اطمینان را حل کنیم، بلکه توانایی کاهش هزینه های عملیاتی را به دلیل پلاستیک آنها فراهم می کنیم. با این حال، به طور کلی، سیستم های عصبی مصنوعی به خوبی برای ایجاد برنامه های کاربردی که در آن محاسبات ریاضی پیچیده مورد نیاز یا جستجو هستند مناسب نیست. راه حل بهینه. علاوه بر این، استفاده از یک سیستم عصبی مصنوعی نخواهد بود بهترین گزینه در صورتی که یک راه حل الگوریتمی وجود داشته باشد که قبلا نتیجه مثبتی را به دست آورده است کاربرد عملی برای حل این وظایف. مقاله مشابه:

شبکه های عصبی مصنوعی، چند لایه بالا موازی (به عنوان مثال، با تعداد زیادی، عناصر کار مستقل موازی) ساختارهای منطقی متشکل از نورون های رسمی. آغاز نظریه شبکه های عصبی و نورومورد قرار دادن کار نوروفیزیولوژیک های آمریکایی W. mac calloca و U. Pitts "محاسبه منطقی ایده های مربوط به فعالیت عصبی" (1943) که در آن پیشنهاد می شود مدل ریاضی نورون بیولوژیکی. در میان کار اساسی باید توسط مدل D. Habba اختصاص داده شود که در سال 1949 قانون آموزش را پیشنهاد کرد، که نقطه شروع برای الگوریتم ها برای یادگیری شبکه های عصبی مصنوعی بود. در توسعه بیشتر تئوری شبکه عصبی، مونوگراف از نوروفیزیولوژیست آمریکایی F. Rosenblatt "اصول Neurodynamics"، که در آن جزئیات طرح Perceptron را شرح داد (دستگاهی که روند ادراک اطلاعات را از طریق مغز انسان شبیه سازی می کند ) ایده های او در آثار علمی بسیاری از نویسندگان توسعه یافت. در سال 1985-86 تئوری شبکه های عصبی یک "انگیزه تکنولوژیکی" را دریافت کرد که ناشی از امکان مدل سازی شبکه های عصبی بر روی عملکرد قابل دسترس و با کارایی بالا و عملکرد بالا است کامپیوترهای شخصی . تئوری شبکه عصبی همچنان در ابتدای قرن 21 به طور فعال توسعه می یابد. به گفته کارشناسان، رشد تکنولوژیکی قابل توجهی در طراحی شبکه های عصبی و نوروموکرهای کامپیوتری در آینده نزدیک انتظار می رود. در سال های اخیر، بسیاری از ویژگی های جدید شبکه های عصبی قبلا باز شده اند و در این زمینه کار می کنند و مشارکت قابل توجهی در صنعت، علم و فناوری دارند، اهمیت اقتصادی زیادی دارند.

مسیرهای اصلی استفاده از شبکه های عصبی

برنامه های کاربردی بالقوه شبکه های عصبی مصنوعی کسانی هستند که هوش انسانی بی اثر هستند و محاسبات سخت افزاری سنتی یا از لحاظ جسمی ناکافی هستند (به عنوان مثال، منعکس کننده یا ضعیف فرایندهای فیزیکی واقعی نیستند). ارتباط استفاده از شبکه های عصبی (I.E. Neurocomputers) چندین بار افزایش می یابد زمانی که نیاز به حل آن ظاهر می شود وظایف رسمی ضعیفh مناطق پایه استفاده از شبکه های عصبی: اتوماسیون فرآیند طبقه بندی، اتوماسیون پیش بینی، اتوماسیون فرآیند تشخیص، اتوماسیون روند تصمیم گیری؛ مدیریت، رمزگذاری و رمزگشایی اطلاعات؛ تقریبی وابستگی ها، و غیره

با استفاده از شبکه های عصبی، یک کار مهم در این زمینه با موفقیت حل شده است. ارتباطات مخابراتی - طراحی و بهینه سازی شبکه های ارتباطی (پیدا کردن مسیر مسیر بهینه بین گره ها). علاوه بر کنترل مسیریابی جریان، شبکه های عصبی برای به دست آوردن راه حل های موثر در طراحی شبکه های مخابراتی جدید استفاده می شود.

تشخیص گفتار - یکی از محبوب ترین مناطق شبکه های عصبی.

منطقه دیگری - قیمت و تولید (تلفات از برنامه ریزی تولید غیر بهینه اغلب کم اهمیت است). از آنجایی که تقاضا و شرایط برای فروش محصولات بستگی به زمان، فصل، نرخ ارز و بسیاری از عوامل دیگر دارد، حجم تولید باید به طور انعطاف پذیر به منظور استفاده بهینه از منابع متفاوت باشد (سیستم شبکه عصبی وابستگی های پیچیده بین تبلیغات را تشخیص می دهد هزینه ها، حجم فروش، قیمت، قیمت رقبا، روز هفته، فصل، و غیره). به عنوان یک نتیجه از استفاده از سیستم، استراتژی بهینه تولید از نقطه نظر به حداکثر رساندن فروش یا سود انتخاب شده است.

برای تجزیه و تحلیل بازار مصرف کننده (بازاریابی) وقتی روش های معمول (کلاسیک) برای پیش بینی پاسخ مصرف کنندگان ممکن است به اندازه کافی دقیق نباشد، سیستم شبکه پیش بینی عصبی با معماری Neuraluorator تطبیقی \u200b\u200bاستفاده می شود.

تقاضای تحقیق به شما اجازه می دهد تا کسب و کار شرکت را در زمینه رقابت حفظ کنید، به عنوان مثال، برای حفظ تماس دائمی با مصرف کنندگان از طریق "بازخورد". شرکت های بزرگ، نظرسنجی های مصرف کننده را انجام می دهند تا متوجه شوند که چه عواملی برای آنها در هنگام خرید این محصول یا خدمات تعیین کننده هستند، چرا اولویت ها به رقبا داده می شود و کالاهای مصرف کننده می خواهند در آینده ببینند. تجزیه و تحلیل نتایج چنین نظرسنجی یک کار نسبتا دشوار است، زیرا تعداد زیادی از پارامترهای همبستگی وجود دارد. سیستم شبکه عصبی اجازه می دهد تا شما را به شناسایی وابستگی های پیچیده بین عوامل تقاضا، پیش بینی رفتار مصرف کنندگان در هنگام تغییر سیاست های بازاریابی، پیدا کردن مهمترین عوامل و استراتژی های تبلیغاتی مطلوب، و همچنین ارائه بخش مصرف کننده، امیدوار کننده ترین برای این محصول .

که در تشخیص پزشکی برای مثال، شبکه های عصبی برای تشخیص شنوایی در نوزادان استفاده می شود. سیستم تشخیصی هدف، ثبت شده "پتانسیل های ایجاد شده" را پردازش می کند (پاسخ های مغز)، که به صورت انفجاری بر روی الکتروانسفالوگرام ظاهر می شود، در پاسخ به محرک صدا، سنتز شده در طی فرآیند بررسی می شود. معمولا برای تشخیص اعتماد به نفس یک شنوایی کودک، یک متخصص شنوایی متخصص با تجربه باید تا 2000 آزمایش داشته باشد که حدود یک ساعت طول می کشد. سیستم بر اساس یک شبکه عصبی قادر به تعیین سطح شنوایی برای 200 مشاهدات در عرض چند دقیقه و بدون مشارکت پرسنل واجد شرایط است.

شبکه های عصبی نیز به پیش بینی اعمال می شود روند کوتاه مدت و بلند مدت در زمینه های مختلف (مالی، اقتصادی، بانکی، و غیره).

ساختار شبکه های عصبی

سیستم عصبی و مغز انسان شامل نورون های متصل به الیاف عصبی است. الیاف عصبی قادر به انتقال تحرکات الکتریکی بین نورون ها هستند. تمام فرآیندهای انتقال تحریکات از پوست ما، گوش ها و چشم ها به مغز، فرآیندهای تفکر و کنترل اقدامات - این همه در یک موجود زنده به عنوان انتقال پالس های الکتریکی بین نورون ها اجرا می شود.

نورون(سلول) دارای هسته (هسته)، و همچنین فرآیندهای فیبرهای عصبی دو نوع (شکل 1) - دندریت ها (دندریت)، که پالس ها پذیرفته می شوند (سیگنال ها را حمل می کنند) و تنها AXON (AXON) ، که در آن نورون می تواند پالس را انتقال دهد (سیگنال های دور را حمل می کند). Akson تماس با دندریت های دیگر نورون ها از طریق آموزش ویژه - سیناپس (سیناپس) که بر قدرت پالس منتقل شده تاثیر می گذارد. ساختار متشکل از جمعیت تعداد زیادی از این نورون ها نام یک شبکه عصبی بیولوژیکی (یا طبیعی) بود.

ظاهر نورون رسمی عمدتا به دلیل مطالعه نورون های بیولوژیکی. نورون رسمی (به ترتیب - نورون) اساس هر شبکه عصبی مصنوعی است. نورون ها نسبتا ساده، عناصر تک نوع هستند که از عملکرد نورون های مغز استفاده می کنند. هر نورون با حالت فعلی آن به صورت مشابه با سلول های عصبی مغز مشخص می شود که می تواند هیجان زده و تزریق شود. مغز و اعصاب مصنوعی، و همچنین نمونه اولیه طبیعی آن، گروهی از سیناپس ها (ورودی ها) دارد که به خروجی های دیگر نورون ها متصل می شوند، و همچنین آکسون - اتصال خروجی این نورون، از جایی که سیگنال تحریک یا ترمز است به سیناپس های دیگر نورون می آید.

نورون رسمی یک عنصر منطقی با $ n $ inputs، ($ n + 1 $) با ضرایب وزن، افزونه و غیر خطی است. ساده ترین نورون رسمی انجام تحول منطقی $ y \u003d \\ text (sign) \\ sum_ (i \u003d 0) ^ (n) a_ix_i $ سیگنال های ورودی (که، به عنوان مثال، سیگنال های خروجی از دیگران هستند. نورون های رسمی N. با.) در سیگنال خروجی، نشان داده شده در شکل. یکی

در اینجا $ y $ ارزش خروجی نورون رسمی است؛ $ a_i $ - ضرایب وزن؛ $ x_i $ - مقادیر ورودی نورون رسمی ($ x_i∈ \\ left \\ (0.1 \\ right \\)، \\؛ x_0 \u003d 1 دلار) فرایند محاسبه مقدار خروجی نورون رسمی جریان جریان داده ها و تبدیل آنها است. اول، داده ها به واحد ورودی نورون رسمی منتقل می شوند، جایی که داده های اولیه ضرب به ضرایب وزن مربوطه، و غیره N. وزن سینوپتیک (مطابق با سیناپس نورون های بیولوژیکی). ضریب وزن یک اندازه گیری است که تعیین مقدار ورودی مربوطه بر وضعیت نورون رسمی تاثیر می گذارد. ضرایب وزنی ممکن است مطابق با نمونه های آموزشی، معماری N.، قوانین یادگیری و غیره متفاوت باشد. مقادیر به دست آمده به یک عدد به ارزش عددی $ G $ (به وسیله جمع کردن) تبدیل می شوند. سپس، برای تعیین خروجی یک نورون رسمی در یک بلوک از تبدیل غیر خطی (پیاده سازی نسبت دنده) $ g $ در مقایسه با برخی از تعداد (آستانه). اگر مبلغ بیشتر از مقدار آستانه باشد، نورون رسمی یک سیگنال تولید می کند، در غیر این صورت سیگنال صفر یا ترمز خواهد بود. در این نورون رسمی، تبدیل غیر خطی اعمال می شود $$ \\ text (علامت) (g) \u003d \\ begin (موارد) 0، \\؛ G.< 0 \\ 1,\; g ⩾ 0 \end{cases},\quad \text{где}\,\,g = \sum_{i=0}^N a_i x_i.$$

انتخاب ساختار شبکه عصبی مطابق با ویژگی ها و پیچیدگی این کار انجام می شود. از لحاظ نظری، تعداد لایه ها و تعداد نورونها در هر لایه شبکه عصبی ممکن است خودسرانه باشد، اما در واقع آن توسط منابع کامپیوتری یا تراشه تخصصی محدود می شود که معمولا توسط یک شبکه عصبی اجرا می شود. در این مورد، اگر عملکرد یک پرش تک به عنوان یک تابع فعال سازی برای تمام نورون های شبکه استفاده شود، شبکه عصبی نامیده می شود persheppono چند لایهمتر

در شکل 3 نشان می دهد طرح کلی شبکه عصبی چند لایه با اتصالات متوالی. همبستگی درمانی با ترکیب تعداد زیادی از نورون های رسمی به لایه ها و ترکیبات به روش خاصی از نورون های مختلف در میان خود به دست می آید.

در مورد کلی، crosslinking و بازخورد با ضرایب وزن قابل تنظیم می تواند به این ساختار معرفی شود (شکل 4).

شبکه های عصبی سیستم های پیچیده غیر خطی با تعداد زیادی از درجه آزادی هستند. اصل که آنها پردازش اطلاعات را از اصل مورد استفاده در رایانه های مبتنی بر پردازنده ها با معماری پسزمینه-نئومنوف متفاوت می کنند - با یک منطق منطقی و یا نه (نگاه کنید به J. پس زمینه نئومه, محاسبه ماشین) به جای برنامه های کلاسیک (به عنوان سنتی سیستم های محاسباتی) آموزش شبکه عصبی اعمال می شود، که به عنوان یک قاعده کاهش می یابد، برای تنظیم ضرایب وزن برای بهینه سازی معیار مشخص شده برای کیفیت شبکه عصبی کاهش می یابد.

الگوریتم های شبکه عصبی

الگوریتم شبکه عصبی برای حل مشکلات یک روش محاسباتی، به طور کامل یا بیشتر به عنوان یک شبکه عصبی یک ساختار خاص (به عنوان مثال، یک شبکه عصبی چند لایه با پیوسته یا متقابل بین لایه های نورون رسمی اجرا می شود ) با الگوریتم مربوطه ضرایب وزن. پایه ای برای توسعه یک الگوریتم شبکه عصبی یک رویکرد سیستماتیک است که در آن فرآیند حل مشکل به عنوان عملکرد در زمان یک سیستم پویا خاص نشان داده شده است. برای ساخت آن، لازم است تعیین شود: یک شی به عنوان یک سیگنال ورودی شبکه عصبی عمل می کند؛ این شی به عنوان سیگنال خروجی شبکه عصبی عمل می کند (به عنوان مثال، به طور مستقیم راه حل یا برخی از ویژگی های آن)؛ سیگنال خروجی مورد نظر (مورد نیاز) شبکه عصبی؛ ساختار شبکه عصبی (تعداد لایه ها، ارتباط بین لایه ها، اشیاء که به عنوان ضرایب وزن) خدمت می کنند)؛ تابع خطای سیستم (مشخص کردن انحراف سیگنال خروجی مورد نظر از شبکه عصبی از سیگنال خروجی واقعی)؛ معیار کیفیت سیستم و عملکرد بهینه سازی آن، بسته به خطا؛ ارزش ضرایب وزن (به عنوان مثال، به طور متناوب به طور مستقیم از تنظیم مشکل تعیین شده، با استفاده از برخی از روش های عددی یا رویه ها برای تنظیم ضرایب وزن شبکه عصبی).

تعداد و نوع نورون های رسمی در لایه ها، و همچنین تعداد لایه های نورون بر اساس ویژگی های وظایف و کیفیت راه حل مورد نظر انتخاب می شوند. شبکه عصبی در فرآیند تنظیم در راه حل یک مشکل خاص به عنوان یک سیستم غیر خطی چند بعدی در نظر گرفته می شود که در حالت تکراری به طور هدفمند به دنبال مطلوب برخی از کاربردها، اندازه گیری کیفیت حل وظیفه را بررسی می کند. برای شبکه های عصبی، به عنوان اشیاء کنترل غیر خطی چند بعدی، الگوریتم ها برای تنظیم مجموعه ای از ضرایب وزن تشکیل می شوند. مراحل اصلی مطالعه شبکه عصبی و ساخت الگوریتم های تنظیم (انطباق) ضرایب وزن آنها عبارتند از: مطالعه ویژگی های سیگنال ورودی برای حالت های مختلف شبکه عصبی (سیگنال ورودی شبکه عصبی، به عنوان یک قاعده، اطلاعات ورودی و نشانه ای از "معلم من" از شبکه عصبی)؛ انتخاب معیارهای بهینه سازی (با یک مدل احتمالی دنیای خارجی، این معیارها را می توان به حداقل رساندن عملکرد متوسط \u200b\u200bریسک، حداکثر احتمال posteriori، به ویژه با محدودیت های مربوط به اجزای فردی عملکرد متوسط \u200b\u200bخطر)؛ توسعه یک الگوریتم برای پیدا کردن افراطون از عملکرد بهینه سازی (به عنوان مثال، برای پیاده سازی الگوریتم های جستجو برای افراط های محلی و جهانی)؛ ساخت الگوریتم ها برای تطبیق ضرایب شبکه عصبی؛ تجزیه و تحلیل قابلیت اطمینان و روش های تشخیص شبکه عصبی و غیره

لازم به ذکر است که معرفی بازخورد و در نتیجه، توسعه الگوریتم ها برای تنظیم ضرایب آنها در سال های 1960-80 دارای معنای صرفا نظری بود، زیرا هیچ گونه وظایف عملی برای چنین ساختارهایی وجود نداشت. فقط در اواخر دهه 1980 - اوایل دهه 1990 شروع به چنین مشکلی کرد و ساده ترین ساختارها با بازخورد قابل تنظیم برای حل آنها (شبکه های عصبی به اصطلاح مکرر). توسعه دهندگان در زمینه فن آوری های شبکه عصبی نه تنها با ایجاد الگوریتم ها برای ایجاد شبکه های عصبی چند لایه و الگوریتم های شبکه عصبی برای حل وظایف مختلف، بلکه مؤثر ترین (در توسعه فعلی تکنولوژی الکترونیک) شبیه ساز سخت افزاری (برنامه های ویژه ای که هستند) در نظر گرفته شده برای شروع یک سیستم در پوسته دیگری) الگوریتم های شبکه عصبی. در دهه 1960، قبل از ظهور یک ریزپردازنده، موثرترین شبیه سازهای شبکه های عصبی، اجرای آنالوگ شبکه های عصبی باز را با الگوریتم های پیکربندی توسعه یافته در رایانه های جهانی (گاهی اوقات سیستم ها بر روی عناصر سازگار با حافظه آنالوگ) داشت. چنین سطح توسعه الکترونیک مربوط به معرفی متقابل اوراق قرضه در ساختار شبکه های عصبی بود. این منجر به کاهش قابل توجهی در تعداد نورون ها در شبکه عصبی شد و در عین حال حفظ کیفیت حل مسئله (به عنوان مثال، توانایی تشخیص داده ها در حل وظایف تشخیص تصویر) بود. مطالعات سال های 1960-70s در زمینه بهینه سازی ساختارهای شبکه های عصبی با صلیب اوراق قرضه، قطعا توسعه را در پیاده سازی پیدا خواهد کرد سیستم های عصبی Memristor [Memristor (حافظه - حافظه - حافظه، و مقاومت - مقاومت الکتریکی)، عنصر منفعل در میکرو الکترونیک قادر به تغییر مقاومت خود بسته به شارژ جریان از طریق آن]، با توجه به ویژگی های خود را از لحاظ پردازش آنالوگ به دیجیتال اطلاعات و تعداد بسیار قابل توجهی از ضرایب قابل تنظیم. الزامات خاص وظایف برنامه با استفاده از برخی از ویژگی های ساختارهای شبکه های عصبی با استفاده از الگوریتم های راه اندازی تعیین شد: پیوستگی (از LAT. Continuum تعداد مداوم، جامد) تعداد کلاس ها، زمانی که دستورالعمل "معلم" سیستم است شکل به عنوان یک مقدار تابع مداوم در محدوده تغییر خاص تشکیل شده است؛ راه حل های پیوسته یک شبکه عصبی چند لایه تولید شده توسط انتخاب عملکرد مداوم فعال کردن نورون آخرین لایه؛ پیوستگی تعداد ویژگی های تولید شده توسط انتقال در فضای مشخص از نشان دادن سیگنال خروجی به صورت یک بردار $ $ n $ از اعداد واقعی به یک عملکرد واقعی در طیف وسیعی از تغییر استدلال؛ پیوستگی تعداد علائم، به عنوان یک نتیجه، نیاز به اجرای نرم افزار خاص و سخت افزار شبکه عصبی دارد؛ گزینه نشانه های پیوسته فضای ورودی در مشکل شناسایی سیگنال های دوره ای بدون تبدیل آنها با استفاده از آن اجرا شد مبدل آنالوگ دیجیتال (ADC) در ورودی سیستم و پیاده سازی یک شبکه عصبی چند لایه آنالوگ به دیجیتال؛ تعداد پیوندی نورون ها در لایه؛ پیاده سازی شبکه های عصبی چند لایه با پیوستگی کلاسها و راه حل ها با انتخاب انواع مربوطه عملکردهای فعال کردن نورون های آخرین لایه انجام می شود.

جدول نشان می دهد مجموعه سیستماتیک از انواع الگوریتم ها برای تنظیم شبکه های عصبی چند لایه در فضای "ورودی سیگنال - فضا". بسیاری از انواع ویژگی های سیگنال های ورودی و خروجی شبکه های عصبی ارائه شده است، که الگوریتم هایی برای تنظیم ضرایب توسعه یافته توسط مدرسه علمی روسیه در سال های 1960-70 ارائه شده است. سیگنال در ورودی شبکه عصبی توسط تعداد کلاس ها (درجه بندی ها) تصاویر نشان می دهد که دستورالعمل "معلم" را نشان می دهد. سیگنال خروجی شبکه عصبی یک توصیف کمی از راه حل ها است. جدول یک طبقه بندی از انواع عملکرد شبکه های عصبی برای انواع مختلف سیگنال های ورودی (2 کلاس، $ k $ clders، تثبیت کلاس ها) و گزینه های مختلف برای اندازه گیری فضای راه حل (2 تصمیم، $ k_p $ راه حل ها، راه حل های پیوسته). اعداد 1، 7، 8 گزینه های خاصی برای عملکرد شبکه های عصبی ارائه می دهند.

جدول. مجموعه ای از گزینه ها برای تنظیم الگوریتم ها

راه حل های فضا (شماره)	سیگنال ورودی
	کلاس 2		$ k $ classes		کلاسهای پیوسته
2	1		7		8
$ k_p $	$ k_p \u003d $ 3	3a	$ k \\ lt k_p $	9	10
			$ k \u003d k_p $	2
	$ k_p \u003d \\ text (const) $	3b	$ k \\ gt k_p $	4
پیوستگی	5		6		11

مزایای اصلی شبکه های عصبی به عنوان پایه منطقی برای الگوریتم ها برای حل وظایف پیچیده عبارتند از: غیر قابل تغییر (بدون تغییر، استقلال) روش های سنتز شبکه های عصبی بر ابعاد علائم نشانه ها؛ توانایی انتخاب ساختار شبکه های عصبی در محدوده قابل توجهی از پارامترها، بسته به پیچیدگی و مشخصه های مشکل حل شده به منظور دستیابی به کیفیت راه حل مورد نظر؛ کفایت فن آوری های فعلی و آینده نگر از میکرو الکترونیک؛ تحمل شکست به معنای آن کوچک است، و نه تغییر فاجعه بار در کیفیت حل مشکل، بسته به تعداد عناصر شکست خورده است.

شبکه های عصبی - نمایش خصوصی از شی کنترل در سیستم تطبیقی

شبکه های عصبی در تئوری مدیریت یکی از اولین نمونه هایی از انتقال از کنترل ساده ترین سیستم های ثابت خطی برای کنترل سیستم های غیر خطی غیر خطی، غیر ثابت، چند بعدی، چند منظوره چند منظوره بود. در نیمه دوم دهه 1960، روش شناسی سنتز شبکه های عصبی متولد شد، که توسعه یافته و با موفقیت در حدود پنجاه سال آینده اعمال شد. ساختار عمومی این تکنیک در شکل ارائه شده است. پنج

سیگنال های ورودی شبکه عصبی

یک مدل احتمالاتی از جهان اطراف آن، پایه فن آوری های شبکه عصبی است. یک مدل مشابه اساس آمار ریاضی است. شبکه های عصبی فقط در زمانی اتفاق می افتند که آزمایشکنندگان با استفاده از روش های آمار ریاضی از آنها خواسته شد: "و چرا باید توابع توزیع سیگنال های تصادفی ورودی را در قالب عبارات تحلیلی خاص (توزیع نرمال، توزیع پواسون و غیره) توصیف کنیم ؟ اگر درست است و برخی از دلایل فیزیکی در این زمینه وجود دارد، پس وظیفه پردازش سیگنال های تصادفی بسیار ساده می شود. "

متخصصان فن آوری های شبکه عصبی گفتند: "ما چیزی در مورد عملکرد توزیع سیگنال های ورودی نمی دانیم، ما حاضر به رسمیت شناختن عملکرد توزیع سیگنال های ورودی، حتی اگر ما Suzim کلاس از وظایف حل شده است. ما توابع توزیع پیچیده سیگنال های ورودی را در نظر می گیریم و ما وظایف خاصی را به روش مشابهی حل خواهیم کرد عدم قطعیت پیشینی (I.E. ناقض توضیحات؛ هیچ اطلاعاتی و در مورد نتایج احتمالی وجود ندارد). " به همین دلیل است که شبکه های عصبی در اوایل دهه 1960 به طور موثر در حل وظایف تشخیص تصاویر مورد استفاده قرار گرفتند. علاوه بر این، وظیفه به رسمیت شناختن تصاویر به عنوان یک وظیفه تقریب یک تابع تصادفی چند بعدی دریافت شد که دریافت $ k $ ارزش، که در آن $ k $ تعداد تصاویر از تصاویر است.

در زیر برخی از حالت های عملیات شبکه های عصبی چند لایه، تعیین شده توسط ویژگی های سیگنال های ورودی تصادفی، که در اواخر دهه 1960، الگوریتم ها برای تنظیم ضرایب توسعه یافته است.

آموزش شبکه های عصبی

واضح است که عملکرد شبکه عصبی، به عنوان مثال، اقداماتی که قادر به انجام آن است بستگی به مقادیر اتصالات سینوپتیک دارد. بنابراین، با تنظیم ساختار شبکه عصبی که با یک کار خاص مطابقت دارد، توسعه دهنده باید مقادیر بهینه برای تمام ضرایب وزن $ W $ پیدا کند. این مرحله تدریس شبکه عصبی نامیده می شود و در مورد چگونگی تکمیل آن، توانایی شبکه برای تصمیم گیری در طول عملیات مشکل است. مهمترین پارامترهای یادگیری عبارتند از: کیفیت انتخاب ضرایب وزن و زمان مورد انتظار باید آموزش داده شود. به عنوان یک قاعده، دو این پارامتر مربوط به وابستگی معکوس هستند و باید بر اساس سازش انتخاب شوند. در حال حاضر، تمام الگوریتم های آموزش شبکه های عصبی را می توان به دو کلاس بزرگ تقسیم کرد: "با معلم" و "بدون معلم".

احتمال ابتدایی کلاس ها

با تمام نارسایی یک اطلاعات پیشین در مورد توابع توزیع سیگنال های ورودی، نادیده گرفتن برخی از اطلاعات مفید می تواند منجر به از دست دادن کیفیت حل مسئله شود. این در درجه اول به احتمال احتمالی ظاهر کلاس ها مربوط می شود. الگوریتم ها برای ایجاد شبکه های عصبی چند لایه، با توجه به اطلاعات موجود در مورد احتمال احتمالی کلاس ها، توسعه یافتند. این اتفاق می افتد در چنین وظایف به عنوان شناسایی حروف در متن زمانی که برای از این زبان احتمال ظهور هر حرف شناخته شده است و این اطلاعات باید هنگام ساخت یک الگوریتم برای تنظیم ضرایب شبکه عصبی چند لایه استفاده شود.

مدارک تحصیلی "معلمان"

شبکه عصبی مقادیر هر دو پارامتر ورودی و خروجی را اعمال می کند و وزن های مربوط به لینک های سیناپسی خود را با برخی از الگوریتم داخلی تنظیم می کند. آموزش "با معلم" نشان می دهد که برای هر بردار ورودی یک بردار هدف وجود دارد که نشان دهنده خروجی مورد نیاز است. به طور کلی، مدارک تحصیلی "معلم" ممکن است برای کلاس های مختلف تصاویر متفاوت باشد. با هم آنها نامیده می شوند نماینده یا انتخاب آموزشهفتم معمولا شبکه عصبی در تعدادی از این نمونه ها آموزش دیده است. بردار خروجی ارائه شده است، خروجی شبکه عصبی محاسبه شده و با بردار هدف مربوطه مقایسه شده است، تفاوت (خطا) با استفاده از آن محاسبه می شود بازخورد این در شبکه عصبی خدمت می شود و وزن آن را مطابق با الگوریتم تغییر می دهد، به دنبال به حداقل رساندن خطا است. بردارهای آموزشی مجموعه ای به صورت متوالی ارائه می شوند، خطاها و وزن ها برای هر بردار محاسبه می شود تا زمانی که یک خطا در کل آرایه آموزش به سطح پایین قابل قبول برسد.

در وظایف شناخت تصاویر، به طور پیش فرض، به طور پیش فرض، مدارک تحصیلی "معلم" کامل است، به عنوان مثال احتمال وابستگی مناسب به "معلم" تصاویر به یک یا کلاس دیگر یکی است. در عمل، در حضور اندازه گیری های غیر مستقیم، این اغلب درست نیست، به عنوان مثال، در انجام وظایف تشخیصی پزشکی، زمانی که تایید (تأیید) بایگانی اطلاعات پزشکی در نظر گرفته شده برای آموزش، احتمال وجود این داده ها به یک بیماری یا یک بیماری دیگر برابر نیست معرفی مفهوم صلاحیت "معلم" امکان ایجاد الگوریتم های یکنواخت برای تعیین ضرایب شبکه های عصبی چند لایه برای حالت های آموزشی، یادگیری "با یک معلم"، که دارای مدارک نهایی و خودآموزی است (خوشه بندی) هنگامی که در حضور $ k $ یا دو درجه تحصیلی معلم (معلمان "احتمال اختصاص دادن تصاویر به یک کلاس یا یک کلاس دیگر) $ \\ frac (1) (k) $ یا 1/2 است. معرفی مفهوم مدارک تحصیلی "معلم" در سیستم های شناخت تصاویر، امکان استفاده صرفا به لحاظ نظری، حالت های "عبور" سیستم را در نظر گرفته است، زمانی که گزارش شده است (با درجه های مختلف)، تصاویر را به یک کلاس یا یک کلاس دیگر اختصاص داده است . این حالت تنظیم ضرایب شبکه عصبی چند لایه هنوز نرم افزار عملی را پیدا نکرده است.

خوشه بندی

خوشه بندی (خودآموزی، آموزش "بدون معلم") یک حالت خصوصی از عملیات شبکه های عصبی چند لایه است، زمانی که سیستم اطلاعاتی در مورد اموال نمونه ها را به یک کلاس خاص گزارش نمی دهد. شبکه عصبی تنها سیگنال های ورودی ارائه می شود و خروجی های شبکه به طور مستقل شکل می گیرند، با توجه به ورودی و مشتقات از آنها سیگنال ها را در نظر می گیرند. علیرغم دستاوردهای کاربردی متعدد، یادگیری "با معلم" برای عدم اطمینان بیولوژیکی مورد انتقاد قرار گرفت. دشوار است تصور یک مکانیسم آموزشی طبیعی عقل انسانکه مقادیر خروجی مورد نظر و واقعی را مقایسه می کند، اصلاحات را با بازخورد انجام می دهد. اگر به یک مکانیسم مشابه در مغز انسان اجازه دهید، پس از آن خروجی های مورد نظر از کجا آمده است؟ یادگیری "بدون معلم" یک مدل قابل اعتماد تر از آموزش در سیستم بیولوژیکی است. این به یک بردار هدف نیاز ندارد و بنابراین، نیازی به مقایسه با پاسخ های کامل از پیش تعریف شده ندارد. مجموعه یادگیری تنها از بردارهای ورودی تشکیل شده است. الگوریتم آموزش وزن شبکه عصبی را تنظیم می کند تا بردارهای خروجی توافق شده به دست آمده، به طوری که ارائه بردارهای ورودی کافی به اندازه کافی خروجی ها را ارائه دهد. بنابراین فرآیند یادگیری خواص آماری مجموعه یادگیری و گروه های مشابه را در کلاس ها اختصاص می دهد. ارائه ورودی بردار از این کلاس یک بردار خروجی خاص را ارائه می دهد، اما پیش بینی شده است که پیش بینی آموزش، که خروجی توسط این کلاس از بردارهای ورودی ساخته خواهد شد. در نتیجه، خروجی چنین شبکه باید به دلیل فرآیند یادگیری به برخی از شکل قابل درک تبدیل شود. این یک مشکل جدی نیست. معمولا اتصال بین ورودی و خروجی تنظیم شده توسط شبکه دشوار نیست.

خوشه بندی به بسیاری از آثار علمی اختصاص داده شده است. وظیفه اصلی خوشه بندی پردازش بسیاری از بردارها در یک فضای چند بعدی از ویژگی های با انتشار زیر مجموعه های جمع و جور (زیر مجموعه ها نزدیک به یکدیگر)، مقادیر و خواص آنها است. شایع ترین روش خوشه بندی، روش "$ k $ $" است که عملا با روش های انتشار معکوس همراه نیست و بر روی معماری نوع شبکه های عصبی چند لایه تعمیم داده نمی شود.

معرفی مفهوم مدارک تحصیلی "معلم" و یک رویکرد واحد به یادگیری و خودآموزی در دهه 1960 مجاز به ایجاد پایه ای برای اجرای رژیم خوشه بندی در شبکه های عصبی چند لایه از یک طبقه گسترده ای از ساختارها شد.

تصاویر غیرمستقیم

تحولات موجود در زمینه سیستم های تشخیص تصویر بر اساس شبکه های عصبی چند لایه عمدتا مربوط به تصاویر ثابت است، I.E. سیگنال های ورودی تصادفی دارای پیچیده ناشناخته، اما عملکرد توزیع ثابت در زمان. در برخی از آثار، تلاش برای توزیع روش پیشنهادی راه اندازی شبکه های عصبی چند لایه به تصاویر غیر ثابت، زمانی که یک تابع ناشناخته در نظر گرفته شده از توزیع سیگنال ورودی بستگی به زمان یا ورودی سیگنال تصادفی ورودی دارد مولفه منظم و یک جزء تصادفی با یک تابع توزیع پیچیده ناشناخته است که به زمان بستگی ندارد.

بر اساس معیارهای بهینه سازی اولیه در شبکه های عصبی چند لایه

مدل احتمالاتی جهان، به عنوان پایه ای برای ساخت الگوریتم های انطباق در شبکه های عصبی چند لایه گرفته شده، امکان ایجاد یک معیار بهینه سازی اولیه در سیستم های مورد نظر در قالب حداقل عملکرد متوسط \u200b\u200bریسک و اصلاحات آن صورت گرفته است: حداکثر احتمال posteriori (احتمال شرطی یک رویداد تصادفی، به شرطی که به عنوان مثال شناخته شده است، به عنوان مثال، بر اساس تجربه، داده ها)؛ حداقل عملکرد متوسط \u200b\u200bخطر؛ حداقل عملکرد متوسط \u200b\u200bخطر، با توجه به برابری توابع مشروط خطر برای کلاس های مختلف؛ حداقل عملکرد متوسط \u200b\u200bریسک تحت شرایط ارزش مشخصی از عملکرد ریسک شرطی برای یکی از طبقات؛ سایر معیارهای بهینه سازی اولیه ناشی از الزامات یک کار عملی خاص. در آثار دانشمندان روسی، تغییرات الگوریتم ها برای تنظیم شبکه های عصبی چند لایه برای معیارهای فوق بهینه سازی اولیه ارائه شد. لازم به ذکر است که در اکثریت قریب به اتفاق کار در زمینه نظریه شبکه عصبی و در الگوریتم های توزیع معکوس، ساده ترین معیار حداقل خطای RMS، بدون هیچ گونه محدودیتی در مورد توابع ریسک متعارف در نظر گرفته می شود.

در حالت خودآموزی (خوشه بندی)، فرض بر شکل گیری معیار و عملکرد بهینه سازی اولیه شبکه های عصبی، نمایش عملکرد توزیع سیگنال ورودی به شکل یک تابع چند بعدی در چند بعدی است فضای نشانه ها، که در آن هر حالت با برخی از احتمالات مربوط به کلاس است. به عنوان معیارهای بهینه سازی اولیه در حالت خودآموزی، تغییرات عملکرد متوسط \u200b\u200bریسک استفاده شد.

تغییرات ارائه شده از معیارهای بهینه سازی اولیه در موارد پیوستگی طبقات و راه حل ها خلاصه شده است. نشانه های پیوسته فضای ورودی؛ پیوستگی تعداد نورون ها در لایه؛ با مدارک دلخواه معلم. بخش مهمی از شکل گیری معیار و عملکرد بهینه سازی اولیه در شبکه های عصبی چند لایه در یک مدل احتمالاتی جهان، انتخاب ماتریس از دست رفته است که در تئوری راه حل های آماری تعیین ضریب از دست دادن $ L_ (12) $ با طبقه بندی اشتباه تصاویری از کلاس اول فاکتور دوم و از دست دادن $ l_ (21) $ هنگام طبقه بندی تصاویری از کلاس دوم به 1. به طور پیش فرض، به طور پیش فرض، به طور پیش فرض، ماتریس $ l $ از این ضرایب در سنتز الگوریتم ها برای تنظیم شبکه های عصبی چند لایه، از جمله هنگام استفاده از روش انتشار معکوس، متقارن پذیرفته شده است. در عمل، این به واقعیت مربوط نیست. یک نمونه مشخصه یک سیستم معدن با ژئولوکراتور است. در این مورد، از دست دادن در تخصیص اشتباه سنگ به معدن معادل برخی از از دست دادن زمان کوچک توسط کاربر Gealocator است. زیان های مرتبط با تخصیص اشتباه معادن به کلاس سنگها مربوط به زندگی یا از دست دادن قابل توجه سلامت توسط کاربران ژئولوکراتور است.

تجزیه و تحلیل شبکه های عصبی باز

این مجموعه سنتز با هدف تعیین شکل کلی ویژگی های آماری خروجی و سیگنال های متوسط \u200b\u200bشبکه های عصبی به عنوان اشیاء کنترل چند بعدی، غیر خطی، به منظور ایجاد یک معیار و کاربردی بهینه سازی ثانویه، یعنی عملکرد در واقع بهینه سازی شده است توسط الگوریتم انطباق در یک شبکه عصبی خاص. در اکثریت قریب به اتفاق کار به عنوان چنین قابلیت، یک خطای RMS به عنوان چنین کاربردی گرفته شده است، که کیفیت راه حل را بدتر می کند و یا با کار بهینه سازی تعیین شده توسط معیار بهینه سازی اولیه مطابقت ندارد.

تکنیک و الگوریتم برای تشکیل عملکرد بهینه سازی ثانویه مربوط به عملکرد بهینه سازی اولیه مشخص شده توسعه یافته است.

الگوریتم برای جستجو برای افراطمه های بهینه سازی ثانویه

الگوریتم جستجوی افراطی در رابطه با یک عملکرد بهینه سازی ثانویه خاص، الگوریتم را تعیین می کند تا ضرایب شبکه عصبی چند لایه را تعیین کند. در ابتدای قرن بیست و یکم، الگوریتم های مشابه در سیستم MATLAB (اختصار از انگلیسی "آزمایشگاه ماتریس انگلیسی، بزرگترین بهره عملی هستند - بسته نرم افزار کاربردی برای حل وظایف فنی محاسباتی و زبان برنامه نویسی نامعلوم). با این حال، لازم است که الگوریتم های انطباق خاص در شبکه های عصبی چند لایه مورد استفاده در سیستم های MATLAB مورد استفاده قرار گیرد (جعبه ابزار شبکه عصبی - توابع و برنامه های کاربردی برای مدل سازی سیستم های غیر خطی پیچیده، که توسط معادلات توصیف می شود؛ پشتیبانی از یادگیری "با معلم" و "بدون معلم" "، توزیع مستقیم، با توابع پایه شعاعی، و غیره)، و جهت گیری این الگوریتم ها بر ویژگی های وظایف حل شده، بلکه بر روی هندسه خیالی از عملکرد بهینه سازی ثانویه نیست. این الگوریتم ها جزئیات زیادی از جزئیات استفاده از شبکه های عصبی چند لایه را در هنگام حل وظایف خاص مورد توجه قرار نمی دهند و البته نیاز به یک پردازش اساسی، اگر نه اساسی در طی انتقال به سیستم های عصبی غشایی داشته باشند. تجزیه و تحلیل تطبیقی \u200b\u200bدقیق روش توزیع معکوس و روشهای روسی دهه های 1960 و 1970 انجام شد. ویژگی اصلی این الگوریتم ها این است که نیاز به جستجو برای جستجوی افراطی های محلی و جهانی از عملکرد چندگانه در فضای چند بعدی ضرایب شبکه عصبی قابل تنظیم را پیدا کنید. رشد اندازه شبکه عصبی منجر به افزایش قابل توجهی در تعداد ضرایب قابل تنظیم، به عنوان مثال، به رشد اندازه فضای جستجو می شود. در دهه 1960، این آثار مراحل جستجو و تحلیلی برای محاسبه گرادیان عملکرد بهینه سازی ثانویه ارائه شد و در کلاس های روش تحلیلی پیشنهاد شد و برنامه برای سازماندهی جستجوی نه تنها اول، بلکه دوم نیز مورد بررسی قرار گرفت مشتق از عملکرد بهینه سازی ثانویه. ویژگی بهینه سازی چندگانه عملکرد بهینه سازی ثانویه در دهه های آینده به ظهور تغییرات مختلف روش های جستجو (الگوریتم های ژنتیکی و غیره) منجر شده است. الگوریتم ها برای پیدا کردن افراطهای بهینه سازی ثانویه با محدودیت ها با محدودیت ها، سرعت و سایر پارامترهای ضرایب وزن شبکه های عصبی ایجاد می شوند. این روش ها این روش ها باید مبنای کار بر روی روش ها برای تنظیم شبکه های عصبی با استفاده از غشاء (ضرایب وزن) با توجه به ویژگی های خاصی به عنوان نسبت دنده ها باشد.

شرایط اولیه هنگام ایجاد ضرایب

انتخاب شرایط اولیه روش تکراری برای پیدا کردن افراطون های بهینه سازی ثانویه، یک گام مهم در سنتز الگوریتم ها برای تنظیم شبکه های عصبی چند لایه است. وظیفه انتخاب شرایط اولیه باید به طور خاص برای هر کار حل شده توسط شبکه عصبی حل شود و جزء جدایی ناپذیر از روش کلی سنتز الگوریتم ها برای ایجاد شبکه های عصبی چند لایه باشد. یک راه حل کیفی برای این کار می تواند زمان تنظیم را به طور قابل توجهی کاهش دهد. پیچیدگی پیشینی از عملکرد بهینه سازی ثانویه، معرفی ضروری از روش را برای انتخاب شرایط اولیه به صورت مقادیر تصادفی ضرایب با تکرار این روش و روش های راه اندازی ضریب ایجاد کرد. این روش در دهه 1960 به نظر می رسید بسیار بیش از حد از نقطه نظر صرف شده در تنظیم ضرایب بود. با این حال، با وجود این، به طور گسترده ای به طور گسترده ای اعمال می شود. برای وظایف فردی، ایده انتخاب شرایط اولیه خاص برای این وظیفه تصویب شد. چنین روش برای سه وظیفه مورد استفاده قرار گرفت: شناخت تصویر؛ خوشه بندی؛ نوروژن سازی اشیاء پویا غیر خطی.

حافظه در مدار تنظیم ضریب

رویکرد سیستم به ساخت الگوریتم های جستجوی افراطی از عملکرد بهینه سازی ثانویه، نشان می دهد به عنوان یکی از حالت های راه اندازی به تنظیم ضرایب در هر راه برای ورود به تصاویر در ورودی بر روی مقدار فعلی گرادیان عملکرد ثانویه بهینه سازی. الگوریتم های تنظیم شبکه های عصبی چند لایه با فیلتر کردن توالی از مقادیر گرادیان عملکرد بهینه سازی ثانویه توسعه یافته اند: فیلتر صفر با $ M_N $ حافظه (برای تصاویر ثابت)؛ فیلتر $ 1، ...، k $ -o سفارش با $ m_n $ حافظه (برای تصاویر غیر ثابت) با فرضیه های مختلف تغییرات در زمان توابع توزیع برای تصاویر از کلاس های مختلف تغییر دهید.

بررسی الگوریتم های سازگاری در شبکه های عصبی

سوال اصلی این است که چگونه ساختار یک شبکه عصبی چند لایه را برای حل کار خاص انتخاب شده انتخاب کنید - هنوز هم تا حد زیادی حل شده است. شما می توانید فقط یک مجسمه جهت معقول از مفاهیم ساختارها را با ارزیابی اثربخشی آنها در روند حل مشکل ارائه دهید. با این حال، کیفیت عملکرد الگوریتم پیکربندی بر روی یک ساختار انتخاب شده خاص، یک کار خاص ممکن است به درستی درست نباشد. بنابراین، سیگنال های ورودی معمولی (گام به گام، درجه دوم، و غیره) برای ارزیابی کیفیت سیستم های کنترل پویا خطی استفاده می شود، با توجه به واکنش که خطای ثابت (تقلبی سیستم) تخمین زده می شود و خطاهای فرآیندهای گذرا محاسبه می شود.

مانند این، سیگنال های ورودی معمولی برای شبکه های عصبی چند لایه برای آزمایش و مقایسه عملکرد الگوریتم های مختلف راه اندازی شد. به طور طبیعی، سیگنال های ورودی معمولی برای اشیاء مانند شبکه های عصبی چند لایه خاص برای هر کار حل شده است. اول از همه، سیگنال های ورودی تایپ برای وظایف زیر توسعه داده شد: تشخیص تصویر؛ خوشه بندی؛ عصب از اشیاء پویا.

اصل اصلی استفاده از تکنولوژی های شبکه عصبی به جای روش های آمار کلاسیک ریاضی، امتناع از توصیف رسمی توابع توزیع احتمالی برای سیگنال های ورودی و پذیرش مفهوم توابع توزیع ناشناخته و پیچیده است. به همین دلیل بود که سیگنال های ورودی نوع زیر پیشنهاد شد.

برای مشکل خوشه بندی، یک نمونه از یک سیگنال تصادفی با توزیع چندگانه پیشنهاد شده است، در فضای $ N $ -Dimensional از ویژگی های ویژگی های عملکرد تابع توزیع، مراکز که در مقدار $ z $ قرار می گیرد، اجرا شد هیپنوتیزم از علائم $ n $ -Dimensional. هر مد یک نمونه تصادفی را با توزیع نرمال و انحراف استاندارد $ σ $ برابر با هر یک از $ Z $ MOD به فروش می رساند. موضوع مقایسه روش های خوشه بندی مختلف، پویایی تنظیمات و کیفیت حل مسئله بسته به $ n $، $ z $ و $ σ $ خواهد بود، با یک نمونه تصادفی به اندازه کافی بزرگ از $ m $. این رویکرد را می توان یکی از اولین روش های هدفمند به اندازه کافی برای مقایسه الگوریتم های خوشه بندی، از جمله شبکه های عصبی چند لایه ای با انتخاب دقیق ساختار برای دستیابی به کیفیت مورد نیاز خوشه بندی مورد توجه قرار داد. برای وظایف طبقه بندی، سیگنال های ورودی برای آزمایش مشابه سیگنال های خوشه بندی با تغییراتی است که انتخاب با توزیع چندگانه به دو (در مورد دو کلاس) یا $ k $ (در مورد $ k) تقسیم می شود $) قطعات با توابع توزیع متناوب برای کلاس های فردی.

شبکه های عصبی با ساختار متغیر

امتناع از فناوری های شبکه عصبی از یک اطلاعات پیشین، از اطلاعات مربوط به عملکرد توزیع سیگنال های ورودی منجر به نیاز به اجرای یکپارچگی معقول از پارامترهای ساختار شبکه های عصبی چند لایه برای اطمینان از کیفیت لازم برای حل مشکل می شود.

در دهه 1960، برای یک کلاس کار بسیار مرتبط - تشخیص تصویر - این روش برای تنظیم شبکه های عصبی چند لایه پیشنهاد شده است که در آن یک ساختار پیشین ثابت نشده است و نتیجه تنظیم همراه با مقادیر ضرایب قابل تنظیم است . در این مورد، تعداد لایه ها و تعداد نورون ها در لایه ها در طول تنظیم انتخاب می شوند. روش تنظیم ضرایب یک شبکه عصبی چند لایه با یک ساختار متغیر به راحتی از کار شناخت دو کلاس از تصاویر به رسمیت شناختن کلاس های $ k $ $ انتقال می یابد. علاوه بر این، تنظیمات نتیجه $ k $ $ شبکه های عصبی است، هر کدام کلاس اول $ k $ class ($ k \u003d 1، \\ ldots، k $) است، و دوم همه دیگران هستند. یک ایده مشابه تنظیم شبکه های عصبی چند لایه با ساختار متغیر نیز برای حل مسئله خوشه بندی قابل استفاده است. در عین حال، نمونه اولیه به عنوان اولین کلاس از تصاویر، و به عنوان یک کلاس دوم - یک نمونه با توزیع یکنواخت در محدوده تغییرات نشانه گرفته شده است. شبکه عصبی چند لایه با یک ساختار متغیر که در فرآیند پیکربندی اجرا می شود، با کیفی و کمی، پیچیدگی حل مشکل را نشان می دهد. از این منظر، وظیفه خوشه بندی به عنوان یک وظیفه تولد دانش جدید در مورد شیء مورد مطالعه، برجسته کردن و تجزیه و تحلیل آن زمینه های علائم چند بعدی علائم است که در آن تابع توزیع احتمالی بیش از سطح توزیع یکنواخت در محدوده تغییرات در مقادیر علائم.

چشم انداز توسعه

در ابتدای قرن بیست و یکم، یکی از مفاهیم اصلی توسعه (یادگیری) شبکه عصبی چند لایه تمایل به افزایش تعداد لایه ها است، و این شامل تضمین انتخاب ساختار شبکه عصبی، یک کار کافی است ایجاد روش های جدید برای تشکیل الگوریتم های تنظیم ضریب. مزایای شبکه های عصبی عبارتند از: مالکیت به اصطلاح. تخریب تدریجی - هنگام برخورد با عناصر فردی، کیفیت سیستم به تدریج کاهش می یابد (برای مقایسه، شبکه های منطقی از عناصر و یا، در اختلال هر عنصر شبکه شکست نمی خورد)؛ افزایش مقاومت به تغییر پارامترهای طرح، اجرای آنها (به عنوان مثال، تغییرات بسیار مهمی در وزن منجر به اشتباهات در اجرای عملکرد منطقی ساده دو متغیر نیست) و غیره

توزیع گسترده ای از الگوریتم های شبکه عصبی در زمینه وظایف پیچیده، ضعیف رسمی و غیر رسمی، منجر به ایجاد یک جهت جدید در محاسبات ریاضیات شد - nemomathematics. NeuroMathematics شامل الگوریتم های شبکه عصبی برای حل وظایف زیر: تشخیص تصویر؛ بهینه سازی و استخراج توابع؛ نظریه گراف؛ وظایف رمزنگاری؛ حل سیستم های واقعی و بولین معادلات خطی و غیر خطی، معادلات دیفرانسیل یک بعدی و چند بعدی چند بعدی، معادلات دیفرانسیل در مشتقات خصوصی و غیره بر اساس نظریه شبکه های عصبی، بخش جدیدی از بخش جدیدی از نظریه مدرن ایجاد شد از مدیریت سیستم های پویا چند بعدی، چند منظوره چند بعدی، چند منظوره چندگانه - نزدیکیکه شامل روش های شناسایی شبکه عصبی از اشیاء پیچیده پویا است. ساخت نروهی در خطوط کنترل مجتمع های پویای پیچیده، و غیره

شبکه های عصبی (شبکه عصبی مصنوعی) یک سیستم متصل و تعامل است پردازنده های ساده (نورونهای مصنوعی). چنین پردازنده ها معمولا بسیار ساده هستند (به ویژه در مقایسه با پردازنده های مورد استفاده در کامپیوترهای شخصی) هر پردازنده این شبکه تنها با سیگنال هایی که به طور دوره ای دریافت می کند، و سیگنال هایی که به طور دوره ای به پردازنده های دیگر می فرستد، مورد رسیدگی قرار می گیرد. و، با این حال، به اندازه کافی متصل می شود شبکه بزرگ با تعامل مدیریت شده، این پردازنده ها با هم قادر به انجام وظایف نسبتا پیچیده هستند، زیرا شبکه های عصبی در این فرایند آموزش دیده اند.

این راز نیست که در حال حاضر عصب های عصبی اغلب در عکس استفاده می شود. ما قبلا دیده ایم که چگونه آنها قادر به کار با انیمیشن در رایانه معمولی هستند و نقاشی ها، چکش های گران قیمت هنرمندان معروف را ترک می کنند. تعجب آور نیست که این عصبانی است که FaceApp بر اساس محبوبیت در جهان در سراسر جهان، فروشگاه های طوفان بود فروشگاه App. و.

ماسک ایلن پس از مریخ استعمار

گوگل یک شبکه عصبی ترانسکتوترون تجربی را معرفی کرد که می تواند به طور مستقیم گفتار را به زبان دیگری بدون استفاده از نمایندگی متنی خود ترجمه کند و داده های صوتی و میزان سخنرانی سخنرانی را حفظ کند، در وبلاگ شرکت گزارش شده است. سیستم با حافظه کوتاه مدت کوتاه مدت قادر به دریافت ورودی صوتی است و آن را به عنوان یک طیف سنجی پردازش می کند و سپس بر این اساس یک طیف جدید در زبان مقصد تولید می شود. در شرایط خاص، این نه تنها نرخ انتقال را افزایش می دهد، بلکه دقت آن نیز افزایش می یابد. با بیشتر شرح کامل توسعه جدید را می توان در مقاله منتشر شده در مخزن آنلاین از مقالات علمی arxiv.org یافت.