О чём рассказывается в презентации:
Презентация посвящена исследованию работы карт смыслов в нейросетях и последствиям агрессивного fine-tuning. В ней рассматривается, как структура многомерного векторного пространства формирует семантические связи и как чрезмерная настройка весов может разрушить эти связи, приводя к деградации когнитивных способностей модели. Углубленное понимание этих процессов поможет избежать распространенных ошибок в обучении нейросетей.
Оглавление
Нейросети: Как работает карта смыслов и почему агрессивный Fine-Tune ее рвет
Карта смыслов как фундамент нейросетевых представлений
Взаимосвязь весов и семантических координат
Адаптация через Fine-tuning меняет структуру весов
Риски агрессивного воздействия на семантическую карту
Явление разрушения логических цепочек
Катастрофическое забывание как следствие переобучения
Искажение вероятностных распределений вывода
Сравнение методов: мягкая адаптация против радикальной
Деградация абстрактных понятий в узких моделях
Влияние качества обучающей выборки
Динамика потери универсальности навыков
Индикаторы разрушения семантического пространства
Стратегии сохранения карты смыслов при обучении
Вывод: баланс между специализацией и интеллектом
Ключевые принципы ответственной дообучки
Баланс: ключ к устойчивому развитию ИИ
Спасибо за внимание!
