در این جلسه مروری داشته‌ایم بر مباحث مرتبط با بهینه سازی شبکه های عصبی از صفحه ۲۸۸ الی ۳۰۱ و ۳۰۶الی ۳۱۰ فصل ۸ کتاب که در قالب سه بخش کلی زیر و عناوین زیرمجموعه شان مطرح شده است:

• Challenges in Neural Network Optimization
• • بررسی انفجار گرادیان(Cliffs and Exploding Gradients)
  • وابستگی بلند برد(Long-Term Dependencies)
  • Inexact Gradients
  • Poor Correspondence between Local and
  • Global Structure
• Basic Algorithms
• • Stochastic Gradient Descent
  • Momentum
  • Nesterov Momentum
• Algorithms with Adaptive Learning Rates
• • بررسی الگوریتم AdaGrad optimizer
  • بررسی الگوریتم RMSProp
  • بررسی الگوریتم Adam