В 1974 году П. Вербосом был описан новый метод обучения – алгоритм обратного распространения ошибки (backpropagation). Параллельно вышел научный труд советского кибернетика Галушкина на ту же тематику. К аналогичным результатам впоследствии пришли Д. Паркер (1982 г.), Дэвид И. Румельхарт, Дж. Е. Хинтон и Рональд Дж. Вильямс (1986 г.), а также советские учёные С.И. Барцев и В.А. Охонин (1986г.). || согласно Иванов А.Н. и др. //Аналитический обзор истории развития нейросетевых архитектур. 2019 г.

Алгоритм обратного распространения

Вывод алгортима можно посмотреть в [Заенцев], а сам алгоритм состоит из следующих шагов:
0. Подготовка данных (сбор, масштабирование, фильтрация..) 1. Определение количества входов и выходов (желательно применение корреляционного анализа) 2. Разделение выборки на обучающую и валидационную //здесь интересный момент - в "боевом" режиме при поступлении новых данных, скорее всего сеть придется переобучать 3. Собственно цикл обучения пока ошибка не станет меньше заданной. Примеры подаются в случайном порядке. Возможно за приемлимое количество шагом алгоритм не сойдется и придется "пересобирать" сеть

Метрики, используемые для анализа обученности нейросетевой модели:

• средняя абсолютная ошибка (MAE);
• среднеквадратичная ошибка (MSE);
• коэффициент детерминации (R²)

Техники улучшения качества обучающей выборки

Понтяно, что необходимо нормализовать и шкалировать данные

• Если заведомо мало примеров, то L2-регуляризация, дроп-аут..
• Если крайне мало примеров, то аугментация и синтетические данные