1. Главная
  2. Библиотека
  3. Высшая математика
  4. И тренировочная выборка Сейчас мы будем минимизировать...
Разбор задачи

И тренировочная выборка Сейчас мы будем минимизировать функцию потерь с помощью стохастического градиентного спуска по мини-батчам. Размер батча будет равен 2 . Для старта спуска возьмем , причем мы предполагаем, что первая координата позиции "шарика"

  • Предмет: Высшая математика
  • Автор: Кэмп
  • #Математическая статистика
  • #Численные методы
И тренировочная выборка Сейчас мы будем минимизировать функцию потерь с помощью стохастического градиентного спуска по мини-батчам. Размер батча будет равен 2 . Для старта спуска возьмем , причем мы предполагаем, что первая координата позиции "шарика"

Условие:

И тренировочная выборка

\begin{array}{|c|c|} \hline $x$ & $y$ \\ \hline -1 & 1 \\ \hline 0 & 0 \\ \hline 1 & -1 \\ \hline \end{array}

Сейчас мы будем минимизировать функцию потерь L(w)L(w) с помощью стохастического градиентного спуска по мини-батчам. Размер батча будет равен 2 . Для старта спуска возьмем a0=(0,0),h=0.1a_{0}=(0,0), h=0.1, причем мы предполагаем, что первая координата позиции "шарика" соответствует весу w0w_{0}, а вторая координата соответствует весу w1w_{1}.

Давайте сделаем два шага стохастического градиентного спуска по мини-батчам и получим позицию a2a_{2}. Мы предполагаем, что первой итерации будет выбран батч из 1го и 2го объекта тренировочной выборки, а на второй итерации батч будет состоять из 2го и 3го объекта выборки.

В окошко ответа запишите вторую координату (которая соответствует весу w1w_{1} ) позиции a2a_{2}.

Решение:

Чтобы решить задачу, давайте сначала определим функцию потерь L(w)L(w) для нашей нейронной сети. Мы будем использовать среднеквадратичную ошибку (MSE) как функцию потерь:

L(w)=1n∑i=1n(yi−y^i)2 L(w) = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

где y^i=w1⋅xi+w0\hat{y}_i = w_1 \cdot x_i + w_0.

Теперь у нас есть тренировочная выборка:

\nxy−11001−1 \begin{array}{|c|c|} \hline \nx & y \\ \hline -1 & 1 \\ 0 & 0 \\ 1 & -1 \\ \hline \end{array}

Шаг 1: Первая итерация (батч из 1-го и 2-го объекта)

  1. Выбор батча: (−1,1)(-1, 1) и (0,0)(0, 0)
  2. Предсказания:
    • Для x=−1x = -1: y^=w1⋅(−1)+w0=−w1+w0\hat{y} = w_1 \cdot (-1) + w_0 = -w_1 + w_0...

Внутри — полный разбор, аргументация, алгоритм решения, частые ошибки и как отвечать на каверзные вопросы препода, если спросит

Попробуй решить по шагам

Попробуй один шаг и продолжи в режиме обучения или посмотри готовое решение

Какое из следующих утверждений верно относительно стохастического градиентного спуска (SGD) по мини-батчам?

Что нужно знать по теме:

Что нужно знать по теме

Алгоритм решения

Топ 3 ошибок

Что спросит препод

Похожие задачи

Похожие задачи

Не нашел нужную задачу?Воспользуйся поиском

AI помощники