Взвешенное среднее некоторой величины ( f ) оценивается следующим образом: [ ar{f}= rac{sum{i=1}^{N} f{i} w{i}}{sum{i=1}^{N} w_{i}} ] где ( w{i}- ) веса, с которыми взвешиваются значения ( f{i} ). Допустим, что мы отслеживаем экспоненциальное скользящее

Взвешенное среднее некоторой величины $f$ оценивается следующим образом:
$
\bar{f}=\frac{\sum{i=1}^{N} f{i} w{i}}{\sum{i=1}^{N} w_{i}}
$

где $w{i}-$ веса, с которыми взвешиваются значения $f{i}$.
Допустим, что мы отслеживаем экспоненциальное скользящее среднее:
$
E M A{\alpha} f{t+1}=\alpha E M A{\alpha} f{t}+(1-\alpha) f_{t+1}
$

причем в начальный момент времени $E M A{\alpha} f{0}=0$.
Если внимательно проанализировать эту процедуру, то можно понять, что экспоненциальное скользящее среднее не является взвешенным средним, а стремится к нему только при $t \rightarrow \infty$.

Это особенно хорошо видно при $t=1$. Допустим, $f{1}=100, \alpha=0.9$. Тогда $E M A{1} f=10$, что далеко от взвешенного среднего, которое для одного примера должно равняться $\bar{f}=100$ (поскольку наблюдался всего один пример и он был равен 100, каким бы вес ни был, взвешенное среднее должно быть равно 100).

На какое значение должно быть разделено экспоненциальное среднее $E M A{\alpha} f{t}$, чтобы получилось взвешенное среднее? $\alpha$ обозначайте как alpha, возведение в степень обозначайте крышкой: $a^{b}$ обозначайте как $\mathrm{a}^{\wedge} \mathrm{b}$.

После получения правильного ответа, подумайте, как нужно поправить алгоритм Adam:
$
x{t+1}=x{t}-\alpha \frac{E M A{\beta{1}} \nabla L{t}}{\sqrt{E M A{\beta{2}}(\nabla L){t}^{2}+\epsilon}}
$

чтобы в числителе и знаменателе были правильные оценки взвешенных средних на первых итерациях.