механика интеллекта 

трансформер это зерно LLM

придумали его в google, но начали использовать в openAI

он состоит из двух частей, по моему -
1. матриц внимания, их существует четыре типа - матрица запрос, матрица ключ, матрица значение и матрица выхода
2. матриц FFN (Feed-Forward Network), их называют матрицы баз знаний, обычно это две или три большие матрицы - матрица Up-Projection, матрица Down-Projection и матрица Gate (Ворота)