Рассмотрим следующую нейросеть: В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска. Тренировочная выборка: X | Y --|-- 0 | 1 1 | 2 2 | 3 Начальные значения всех весов равны 0. Допустим, что на первой

5 ноября 2025
Программирование

#Основы алгоритмизации и программирования
#Структуры и алгоритмы обработки данных

Рассмотрим следующую нейросеть:

В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска.

Тренировочная выборка:

X | Y
--|--
0 | 1
1 | 2
2 | 3

Начальные значения всех весов равны 0.

Допустим, что на первой

Условие:

Дропаут будем постигать на следующей нейросети:

В этой сети часть весов уже натренирована и не подлежит изменению в процессе градиентного спуска.

Тренировочная выборка такая:

X Y
0 1
1 2
2 3
Начальные значения всех весов равны 0. Для человека очевидно, что искомая зависимость здесь Y=X+1.

Допустим, что на первой итерации был уничтожен верхний нейрон. Чему равен вес
w
2
w
2

после одного шага градиентного спуска? Шаг спуска h=0.1

Решение:

Давайте рассмотрим нейросеть с одним скрытым слоем и одним выходным нейроном. У нас есть входные данные X и целевые значения Y. Мы знаем, что Y = X + 1.

Пусть у нас есть два веса: w1 и w2. Мы будем использовать функцию активации, например, линейную, для простоты. Входные данные X будут передаваться на нейрон, и выход будет вычисляться как:

Y_pred = w1 * X + w2

Поскольку начальные значения всех весов равны 0, то:

Y_pred = 0 * X + 0 = 0

Теп...

Не нашел нужную задачу?Воспользуйся поиском

AI помощники

Выбери предмет

EVIEWS

SPSS

Естествознание

Ценообразование и оценка бизнеса

Черчение