механика интеллекта 

у современных продвинутых моделей трансформер состоит только из декодера

Если в электронике дешифратор просто выбирает один сигнал из многих, то в нейросетях декодировщик — это структура, которая предсказывает следующее слово (токен) на основе всего предыдущего контекста.

декодер создает процесс авторегрессии:

1. Вы даете модели начало фразы (промпт).

2. Декодировщик вычисляет вероятность того, какое слово должно идти следующим и добавляет его к фразе.

3. Повторяет процесс снова и снова, пока не закончит мысль.

декодер состоит из нескольких механизмов которые позволяют ему «понимать» текст и генерировать продолжение:

Masked Self-Attention (Маскированное самовнимание): декодировщик имеет в качестве запроса неоконченные фразы (не полностью сформулированные задания, запросы). Модель должна угадывать следующее слово, опираясь только на то, что уже было сказано ранее.

Слои прямой связи (Feed-Forward Networks): После того как механизм внимания собрал связи между словами (например, понял, что слово «открыл» относится к слову «книга»), эти слои обрабатывают информацию и формируют более абстрактное представление смысла.

Линейный слой и Softmax: Это финальный этап. Декодировщик переводит свои математические вычисления в список вероятностей для всех слов, которые он знает (его словаря). Например: «кот» — 80\%, «пес» — 5\%, «самолет» — 0.1\%.

механизм внимания (Attention) позволяет понять, что слово «ключ» в предложении «Я открыл замок ключом» — это инструмент, а не музыкальный знак,
если предложение «Я увидел в нотах ключ», то скорее всего речь идет о музыкальном ключе

механизм внимания улавливает связь между словами в запросе

механизм FFN(feed-forward network) позволяет обдумать - расширить и углубить наше восприятие контекста запроса

FFN делает следующее:

Извлечение фактов: FFN работают как своего рода «база знаний». В их весах хранятся конкретные факты о мире.

Уточнение признаков: FFN может решить: «Ага, раз контекст про двери, значит, нам нужно усилить признаки "металлический", "холодный", "поворачивающийся"».

Трансформация представления: Слово на входе в FFN — это просто набор сырых данных из контекста. На выходе это уже более глубокое, концептуальное описание.