Главная
Библиотека
Программирование
Рассмотрим следующую нейросеть: В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного...

Рассмотрим следующую нейросеть: В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска. Тренировочная выборка: X | Y --|-- 0 | 1 1 | 2 2 | 3 Начальные значения всех весов равны 0. Допустим, что на первой

«Рассмотрим следующую нейросеть: В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска. Тренировочная выборка: X | Y --|-- 0 | 1 1 | 2 2 | 3 Начальные значения всех весов равны 0. Допустим, что на первой»

24 октября 2025
Программирование

Условие:

Дропаут будем постигать на следующей нейросети:

В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска.

Тренировочная выборка такая:

X Y
0 1
1 2
2 3
Начальные значения всех весов равны 0. Для человека очевидно, что искомая зависимость здесь Y=X+1.

Допустим, что на первой итерации был уничтожен верхний нейрон. Чему равен вес
w
2
w
2

после одного шага градиентного спуска? Шаг спуска h=0.1

Решение:

Давайте рассмотрим нейросеть с одним скрытым слоем и одним выходным нейроном. У нас есть входные данные X и целевые значения Y. Мы знаем, что Y = X + 1. Пусть у нас есть два веса: w1 и w2. Мы будем использовать функцию активации, например, линейную, для простоты. Входные данные X будут передаваться на нейрон, и выход будет вычисляться как: Y_pred = w1 * X + w2 Поскольку начальные значения всех весов равны 0, то: Y_pred = 0 * X + 0 = 0 Теп...