Алгоритм роботи нейронної мережі є ітеративним, його кроки називають епохами чи циклами. Епоха – одна ітерація в процесі навчання, що включає пред'явлення всіх прикладів з навчальної множини та, можливо, перевірку якості навчання на контрольній множині. Процес навчання складає навчальній вибірці.
Навчання нейронної мережі — це процес навчання нейронної мережі виконання завдання. Нейронні мережі навчаються шляхом первинної обробки кількох великих наборів розмічених чи нерозмічених даних. На основі цих прикладів мережі можуть більш точно опрацьовувати невідомі вхідні дані.
Кількість епох – це гіперпараметр, який визначає, скільки разів алгоритм навчання буде обробляти весь набір навчальних даних. Одна епоха означає, що кожна вибірка набору навчальних даних мала можливість оновити внутрішні параметри моделі. Епоха складається з однієї чи кількох пакетів-партій.