Условие:
При каких значениях
$

При каких значениях
$
Мы ищем такие значения параметров a и b, чтобы матрица
[ 1 0 1 ]
[ 1 a b ]
[ a 0 b ]
имела два собственных значения: 0 и 2. Далее нужно для каждой найденной пары (a, b) вычислить произведение a·b и выбрать наибольшее из них.
ШАГ 1. Нахождение характеристического многочлена
Вычислим det(M – λI). Вычтем λ на диагонали:
M – λI =
[ 1–λ 0 1 ]
[ 1 a–λ b ]
[ a 0 b–λ ]
Вычисляем определитель по первой строке:
det(M–λI) = (1–λ)·det([ [a–λ, b], [0, b–λ]...

Внутри — полный разбор, аргументация, алгоритм решения, частые ошибки и как отвечать на каверзные вопросы препода, если спросит
Попробуй решить по шагам
Попробуй один шаг и продолжи в режиме обучения или посмотри готовое решение