AF регулюються шляхом адаптації параметрів посилення разом із MC та LR під час процесу навчання. Запропонований алгоритм, градієнтний спад зворотного поширення з адаптивним посиленням, адаптивним імпульсом і адаптивною швидкістю навчання (BPGD-AGAMAL) значною мірою може запобігти потраплянню мережі в локальні мінімуми.
Регуляризація працює шляхом додавання штрафу до функції втрат, пропорційного розміру параметрів моделі. Це допомагає запобігти переобладнанню моделі навчальними даними та може знизити ймовірність застрягання в локальному мінімумі.
Найбільшими недоліками зворотного поширення є: Зворотне поширення може бути досить чутливим до зашумлених даних і нерегулярності. Продуктивність зворотного поширення дуже сильно залежить від даних навчання. Зворотне поширення вимагає дуже багато часу для навчання.
- Стратегії уникнення локальних мінімумів. Ітераційне зростання відповідностей для зменшення ймовірності поганих локальних мінімумів. Тренування як початкових умов, так і початкових параметрів.
- Обробка розбіжних і нестабільних траєкторій.
- Одночасна підгонка кількох нейронних мереж.
Переваги та недоліки алгоритмів зворотного поширення Переваги алгоритмів зворотного поширення включають наступне: Їм не потрібно налаштовувати багато параметрів, крім кількості входів. Вони дуже адаптивні та ефективні, оскільки для початку навчання їм не потрібні спеціальні знання.