Можно ли научить человека пониманию ? 

STARLINK технологии , Коты & Сrypto
@lgj170

Вице-президент NVIDIA Боб Петте утверждает, что стоимость электроэнергии, необходимой для генерации токенов для моделей ИИ, за последние 10 лет снизилась в 100 000 раз, и Blackwell, который сейчас находится в производстве, продолжает эту тенденцию.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Илон Маск утверждает, что вычислительная мощность ИИ растет «гиперэкспоненциально», со скоростью около 500\% в год, и, кроме того, алгоритмы становятся все более сложными, поэтому они улучшаются как количественно, так и качественно.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

Макс Тегмарк говорит, что в ближайшие 2 года произойдут безумные вещи из-за ИИ, поэтому мы больше не можем планировать на 10 лет вперед, и хотя вокруг этого много шумихи, эта технология никуда не денется и «взорвет наш мозг».

[внешняя ссылка]

OpenAI
@OpenAI
Look what showed up at our doorstep.

Thank you to
@nvidia
for delivering one of the first engineering builds of the DGX B200 to our office.

[внешняя ссылка]

Второй раз ИИ получает Нобелевскую премию. На этот раз награда в области химии досталась старшим научным сотрудникам Google DeepMind за их вклад в предсказание структуры белков.

Хассабис и Джампер создали искусственный интеллект под названием AlphaFold2, который смог предсказать структуру почти всех 200 миллионов белков.

Энергопотребление ИИ удалось снизить на 95 \% без потерь, но Nvidia новый алгоритм вряд ли одобрит

В условиях растущей популярности искусственного интеллекта высокое энергопотребление ИИ-моделей становится всё более актуальной проблемой. Несмотря на то, что такие техногиганты, как Nvidia, Microsoft и OpenAI, пока не говорят об этой проблеме громко, явно преуменьшая её значение, специалисты из BitEnergy AI разработали технологию, способную значительно снизить энергопотребление без существенных потерь в качестве и скорости работы ИИ.

Согласно исследованию, новый метод может сократить использование энергии вплоть до 95 \%. Команда называет своё открытие «Умножением линейной сложности» (Linear-Complexity Multiplication) или сокращённо L-Mul. Как пишет TechSpot, этот вычислительный процесс основан на сложении целых чисел и требует значительно меньше энергии и операций по сравнению с умножением чисел с плавающей запятой, которое широко применяется в задачах, связанных с ИИ.
На сегодняшний день числа с плавающей запятой активно используются в ИИ для обработки очень больших или очень малых чисел. Они напоминают запись в бинарной форме, что позволяет алгоритмам точно выполнять сложные вычисления. Однако такая точность требует крайне больших ресурсов и уже вызывает определённые опасения, так как некоторым ИИ-моделям нужны огромные объёмы электроэнергии. Например, для работы ChatGPT требуется столько электроэнергии, сколько потребляют 18 000 домохозяйств в США — 564 МВт·ч ежедневно. По оценкам аналитиков из Кембриджского центра альтернативных финансов, к 2027 году ИИ-индустрия может потреблять от 85 до 134 ТВт·ч ежегодно.
Алгоритм L-Mul решает эту проблему за счёт замены сложных операций умножения с плавающей запятой на более простые сложения целых чисел. В ходе тестирования ИИ-модели сохранили точность, при этом энергопотребление для операций с тензорами сократилось на 95 \%, а для скалярных операций на 80 \%.
L-Mul также улучшает и производительность. Оказалось, что алгоритм превосходит текущие стандарты вычислений с 8-битной точностью, обеспечивая более высокую точность с меньшим количеством операций на уровне битов. В ходе тестов, охватывающих различные задачи ИИ, включая обработку естественного языка и машинное зрение, снижение производительности составило всего 0,07 \%, что специалисты сочли незначительной потерей на фоне огромной экономии энергии.
При этом модели на основе трансформеров, такие как GPT, могут получить наибольшую выгоду от использования L-Mul, поскольку алгоритм легко интегрируется во все ключевые компоненты этих систем. А тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах.
Плохая новость заключается в том, что L-Mul требует специализированного оборудования и современные ускорители для ИИ не оптимизированы для использования этого метода. Хорошая новость заключается в том, что уже ведутся работы по созданию такого оборудования и программных интерфейсов (API).
Одной из возможных преград может стать сопротивление со стороны крупных производителей чипов вроде Nvidia, которые могут замедлить внедрение новой технологии. Так как, например, Nvidia является лидером в производстве оборудования для искусственного интеллекта и маловероятно, что она так просто уступит позиции более энергоэффективным решениям.

[внешняя ссылка]

STARLINK технологии , Коты & Сrypto
@lgj170

По текущим оценкам, к концу 2025 года 99\% интернет-контента будет генерироваться с помощью искусственного интеллекта. Мы только начинаем параболический рост вычислительной мощности с использованием ИИ.

[внешняя ссылка]