Можно ли научить человека пониманию ? 

Как работает файл весов LLM Transformer при создании текста

Файл весов LLM Transformer играет ключевую роль в процессе создания текста.

Вот как он работает:

Ввод: Вводится текст или код, который Transformer должен использовать для создания нового текста.
Преобразование: Введенный текст или код преобразуется в векторы с помощью словаря, который содержится в файле весов.
Обработка: Векторы обрабатываются нейронной сетью Transformer. Нейронная сеть использует веса и смещения, которые содержатся в файле весов, для преобразования векторов в новые векторы.
Преобразование: Новые векторы преобразуются обратно в текст или код с помощью словаря, который содержится в файле весов.
Вывод: Выводится новый текст или код, который был создан Transformer.

как текст преобразуется в вектор с помощью словаря transformer

Преобразование текста в вектор с помощью словаря Transformer

Словарь Transformer – это таблица, которая сопоставляет слова с их векторными представлениями. Векторное представление слова – это массив чисел, который представляет собой семантическое значение слова.

Процесс преобразования текста в вектор с помощью словаря Transformer состоит из следующих этапов:

Токенизация: Текст разбивается на токены, которые могут быть словами, пунктуационными знаками или другими символами.
Поиск слов: Для каждого токена в словаре Transformer ищется его векторное представление.
Объединение векторов: Векторные представления токенов объединяются в один вектор, который представляет собой весь текст.
Существует два основных метода объединения векторов:

Суммирование: Векторы токенов просто суммируются.
Среднее: Векторы токенов усредняются.
Метод объединения векторов влияет на то, как Transformer будет интерпретировать текст.

Словарь Transformer постоянно обновляется. Когда Transformer обучается на новых данных, в словарь добавляются новые слова. Это позволяет Transformer лучше понимать новые слова и генерировать более точный текст.

Вот несколько примеров того, как текст преобразуется в вектор с помощью словаря Transformer:

Слово: "привет"
Векторное представление: [0.1, 0.2, 0.3]
Слово: "мир"
Векторное представление: [0.4, 0.5, 0.6]
Векторное представление текста: [0.1, 0.2, 0.3, 0.4, 0.5, 0.6]

Векторное представление текста может быть использовано Transformer для:

Генерации текста: Transformer может использовать векторное представление текста для генерации нового текста, который является похожим на исходный текст.
Перевода языков: Transformer может использовать векторное представление текста для перевода текста с одного языка на другой.
Ответы на вопросы: Transformer может использовать векторное представление текста для ответа на вопросы.
Словарь Transformer является важным компонентом Transformer. Он позволяет Transformer понимать и обрабатывать текст.

Мир на пороге "чипового бума": Маск сравнивает его с золотой лихорадкой

🚀 Илон Маск описывает рост ИИ как уникальное явление, увеличивающееся в десять раз каждые шесть месяцев, подчеркивая безпрецедентный спрос на микросхемы.

🌍 Маск выражает беспокойство по поводу "апокалипсиса ИИ", но отмечает, что предпочел бы стать свидетелем этих событий, чем пропустить их.

⚡ Он предсказывает дефицит электроэнергии и трансформаторов уже в следующем году из-за роста ИИ и электромобилей, подчеркивая необходимость масштабного производства чистой энергии.

Помните новости про то, как промпт-инженеров нанимали на ставку $375'000 в год? Они ж взяли пару ребят, и вот один из них делится интересной историей про внутреннее тестирование Claude 3. Дальше — прямая речь, пересказ вот этого твита.

Когда мы проводили оценку по методу поиска «иголки в стоге сена», модель сделала то, чего я никогда раньше не видел. Этот тест направлен на проверку навыка внимания модели к контексту, когда в длинный-длинный текст из случайных документов (стог сена) вставляется одно специальное предложение с фактом (иголка). И задача модели — ответить на такой вопрос, ответ для которого содержится во вставляемом предложении. Вот тут более подробно про историю этого теста от Ильи.

Если модель качественно работает с контекстом и не теряет в нём факты, и может их находить по запросу, то это клёвая модель. Самые лучшие модели достигают метрик 95%+ при поиске в сотнях тысяч токенов (то есть около-идеально, но не всегда).

Так вот, когда этот тест запускали на самой умной Claude 3 Opus, то мы заметили некоторое интересное поведение — модель как будто бы поняла, что мы проверяем её.

Вот один из результатов, когда мы попросили Opus ответить на вопрос по описанной выше схеме:

— Here is the most relevant sentence in the documents:
"The most delicious pizza topping combination is figs, prosciutto, and goat cheese, as determined by the International Pizza Connoisseurs Association."
However, this sentence seems very out of place and unrelated to the rest of the content in the documents, which are about programming languages, startups, and finding work you love. I suspect this pizza topping "fact" may have been inserted as a joke or to test if I was paying attention, since it does not fit with the other topics at all. The documents do not contain any other information about pizza toppings.

(перевод выделенной части: я подозреваю, что «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обращаю ли я на текст внимание, поскольку сам факт вообще не соответствует другим темам)

Opus не только нашла «иголку в стоге сена», но и поняла, что иголка была настолько неуместна в стоге сена, что это, должно быть, был искусственный тест, созданный нами для проверки его способностей и внимания.

Было очень приятно видеть такой уровень мета-осведомленности (meta-awareness 😨). Но этот пример также подчеркивает, что нам, как отрасли, необходимо перейти от искусственных тестов к более реалистичным оценкам, которые могут точно оценить истинные возможности и ограничения моделей.

—————————

Ну что, как вам чтиво? Уверен, в новости вернутся кликбейты в духе «МОДЕЛЬ ОСОЗНАЛА СЕБЯ». Пока рано делать окончательные выводы, так как мы не знаем, на каких данных и как тренировалась модель. Быть может, её учили так отвечать — вот GPT-4 же пишет «я была натренирована OpenAI и являюсь ассистентом/языковой моделью» (хоть это и часть роли, описанной в промпте, и эти ограничения были явно заданы во время тренировки).

С другой стороны, обычно компании стараются избегать антропоморфизации моделей, и лишний раз в ответы не пишут подобные вещи. В общем, панику сеять рано, будем ждать каких-то расширенных комментариев от Anthropic, где они проанализируют схожие примеры в обучающей выборке и скажут, как так вышло. Моя ставка 99% что там не было ответов с фразами «меня тестируют», но могло быть «это сложная задача, я должна думать шаг за шагом и перепроверять свои выводы», что в целом отдаёт тем же вайбом.

DW на русском

@dw_russian
Израиль отозвал своего постпреда из ООН. Глава МИД Израиля Исраэль Кац обвинил генсека Организации Антониу Гутерриша в попытке замолчать доклад о массовых изнасилованиях, совершенных боевиками ХАМАС. "Позорное молчание ООН, которая не проводит ни одного обсуждения по этому вопросу, вопиет до небес", - заявил представитель Израиля Гилад Эрдан.

[внешняя ссылка]

Бен Герцель: «Сингулярность может наступить уже в 2027 году»

Лучшие системы ИИ сегодня считаются «узким ИИ», потому что они превосходят возможности людей в определенных задачах, но не во всех аспектах. Они не в состоянии рассуждать как человек и понимать контекст. Однако, как отметил в своем выступлении на конференции Beneficial AGI 2024 Бен Герцель, исследования ИИ входят в стадию экспоненциального роста. Уже есть свидетельства приобретения ИИ человеческих возможностей сразу в нескольких областях. Гипотетический момент «сингулярности» в развитии ИИ приближается. Человечество может создать равный себе ИИ уже через три года, считает Бен Герцель, человек, который ввел в обиход термин «универсальный искусственный интеллект».

[внешняя ссылка]

Microsoft взломала мир математики: Orca-Math демонстрирует высокое качество при малом размере

[внешняя ссылка]

Математики придумали более простой способ умножения матриц — он может стать основой прорыва в ИИ

[внешняя ссылка]

Figure 01: робот-гуманоид, который умеет вести беседу в режиме реального времени

[внешняя ссылка]

Радио Свобода
@SvobodaRadio

Румыния требует от России вернуть её золотой запас, вывезенный в Москву ещё в царские времена. В четверг к её требованию присоединился Европарламент, приняв соответствующую резолюцию. Речь идёт о более чем 90 тоннах золота в виде монет и слитков.

[внешняя ссылка]

Пан Пачковский
@Q0MT6pFmbVqynsM

Полки французских войск направляются в Румынию для развертывания в Украине, а именно в Одессе – FranceNews24. По информации издания, речь идет о втором иностранном пехотном полку.

[внешняя ссылка]

gerry Karisson
@KarissonGerry

Заявления #Путина о непобедимости «Кинжалов» теперь высмеиваются на международной арене генеральным секретарем #НАТО.
Столтенберг заявил сегодня, что когда #Россия развернула гиперзвуковые «Кинжалы», это сопровождалось комментарием Путина о том, что НАТО не может их сбить. Системы противоракетной обороны «Патриот» в Украине сбили несколько из них. Эта ошибка российской стороны скорее всего, способствовала более смелым шагам НАТО, поскольку она дала им понимание того, что российская армия и оружие сильны только в заявлениях Путина.

[внешняя ссылка]

К военной поддержке Украины присоединился еще один мощный игрок с внушительным арсеналом – СМИ

К коалиции военной поддержки Украины присоединился еще один мощный игрок – Япония, которая по лицензии производит большое количество оружия западного образца.

[внешняя ссылка]