Index · Правила · Поиск· Группы · Регистрация · Личные сообщения· Вход

Список разделов Мнение оппозиции
 
 
 

Раздел: Мнение оппозиции механика интеллекта 

Создана: 17 Декабря 2025 Срд 14:09:08.
Раздел: "Мнение оппозиции"
Сообщений в теме: 1, просмотров: 37

  1. 17 Декабря 2025 Срд 14:09:08
    трансформер это зерно LLM

    придумали его в google, но начали использовать в openAI

    он состоит из двух частей, по моему -
    1. матриц внимания, их существует четыре типа - матрица запрос, матрица ключ, матрица значение и матрица выхода
    2. матриц FFN (Feed-Forward Network), их называют матрицы баз знаний, обычно это две или три большие матрицы - матрица Up-Projection, матрица Down-Projection и матрица Gate (Ворота)