Вы здесь
Чем отличается стохастический градиентный спуск от обычного градиентного спуска?
Нейро
Ответ создан на основе результатов поиска
Основное отличие стохастического градиентного спуска (SGD) от обычного градиентного спуска (GD) заключается в том, как алгоритм вычисляет градиент функции стоимости 1:
- GD. При стандартном градиентном спуске алгоритм вычисляет градиент функции стоимости, используя весь набор обучающих данных 1. Он обновляет параметры модели, предпринимая шаги, пропорциональные отрицательному градиенту всего набора данных 1.
- SGD. При стохастическом градиентном спуске алгоритм обновляет параметры модели, используя градиент функции стоимости для каждого отдельного примера обучения 1. Он делает частые обновления на основе отдельных или небольших пакетов обучающих примеров, что делает его намного быстрее, чем градиентный спуск для больших наборов данных 1.
Таким образом, GD подходит, когда набор данных относительно небольшой и может уместиться в памяти, а SGD предпочтителен при работе с большими наборами данных, когда вычисление градиентов для всего набора данных становится дорогостоящим 1.
На основе 10 источников: