Энергетическая стена ИИ и 4D-вычисления: Навин Рао

Главы

1. 0:00 ИИ и технологии

   Путь Навина Рао: от компьютера до нейронауки

   Гость — Навин Рао, основатель Unconventional AI. Он рассказывает, что с детства мечтал создать разумную машину: в 1978 году у семьи появился компьютер, в ранние 1980-е он начал программировать, затем выучился на инженера-электрика, а после карьеры в разработке компьютеров получил PhD по нейронауке, чтобы вернуться к вопросу, как сделать компьютеры интеллектуальными. Рао называет себя анти-думмером: ИИ для него — следующая эволюция человечества, и текущая конференция собрала единомышленников.

2. 2:05 Сделки и компании

   Nirvana Systems, Intel и сделка с Databricks

   Рао вспоминает путь предпринимателя. В 2014 году он основал Nirvana Systems — первую, по его словам, ИИ-чип-компанию; тогда термин «ИИ» ещё не был массовым, и убеждать инвесторов в важности железа для ИИ было сложно. Он считает, что продал компанию Intel слишком рано, но затем создал и возглавил ИИ-направление Intel. В 2020 году занялся инфраструктурой для больших моделей: его команда поднимала GPU в масштабе, а после появления ChatGPT стала главным выбором для желающих строить собственные модели. В 2023 году компания объединилась с Databricks и сейчас даёт четверть выручки Databricks.

3. 3:37 ИИ и технологии

   Unconventional AI: полный стек и цель 1000x

   Unconventional AI пересматривает основы устройства компьютера с единственной целью — радикально повысить энергоэффективность. Изначально компания ставила задачу добиться тысячекратного улучшения за пять лет, но пересмотрела срок до трёх с половиной лет, потому что ИИ ускорил решение научных проблем. Рао описывает вертикальную структуру: математики и нейротеоретики придумывают концепции, инженеры переводят их в модели, обучают на реальных данных и проверяют по реальным критериям, затем архитекторы проектируют схемы, а на выходе собирают систему и продукт. Весь стек проектируется внутри одной компании.

4. 5:08 ИИ и технологии

   Энергетическая стена: Google и 12 ГВт

   Рао приводит оценку энергетического кризиса ИИ. Только Google обрабатывает 3,2 квадриллиона токенов в месяц; при нижней оценке 10 джоулей на токен это 12 гигаватт постоянной мощности. Весь мир сейчас использует менее 100 гигаватт на дата-центры, США — около 40. Если модели и спрос продолжат расти, энергия закончится, по его прогнозу, примерно через три года. Он также объясняет, что главный ресурс дата-центра сегодня — не площадь и не GPU, а контракт на энергию, и что около 50% стоимости обработки токена — это энергия; остальное приходится на капзатраты и инфраструктуру.

5. 7:17 Наука

   Мозг тратит 20 ватт: урок биологии

   Для Рао биология — доказательство, что можно считать гораздо эффективнее. Человеческий мозг потребляет около 20 ватт; мозг обезьяны, если масштабировать, — 1 ватт, столько же, сколько смартфон. Белка с мозгом на 8 милливатт тысячи раз подряд безошибочно прыгает по веткам. Главная причина неэффективности современных систем — перемещение информации: кора человека передаёт лишь около 16 миллиардов бит в секунду, а GPU перекачивает почти 30 триллионов бит только между чипом и памятью, не считая внутренних потоков. Именно пересылка данных, а не сами вычисления, создаёт основную часть энергопотребления.

6. 9:18 Наука

   От ENIAC до абстракций и динамических систем

   Рао прослеживает историю вычислений: от механических машин к цифровым в 1930–1940-х. Архитектура ENIAC и сегодня почти та же: внешняя память, вычисления и пересылка битов. Машины оптимизировали под скорость, а не под энергию, а закон Мура практически завершился. Дальше он предлагает отказаться от «потерянных» абстракций вроде двоичного кода и уровней нейросетей: в природе интеллект возникает из простых правил — так стаи птиц и муравьиные колонии дают сложное поведение. Пример — синхронизация метрономов на доске; такую динамическую систему Рао хочет использовать в вычислениях.

7. 13:30 ИИ и технологии

   Динамические системы, модель Uno и разреженность

   Здесь Рао показывает, что динамические системы можно превратить в генеративные модели. Он выпустил открытую модель Uno, построенную на множестве осцилляторов: состояние системы задаётся фазами осцилляторов, а при генерации изображений разные классы — самолёт, автомобиль, птица — соответствуют разным траекториям в пространстве состояний. За несколько месяцев команда добавила принцип разреженности: если не соединять элементы попарно (n² связей), а выбрасывать часть соединений, система не только становится эффективнее, но и лучше обучается. По словам Рао, это редкий случай, когда разреженность даёт одновременно масштабируемость, эффективность и более высокое качество.

8. 16:04 ИИ и технологии

   Первый динамический чип: 500 нДж на изображение

   Рао впервые публично показывает физический динамический компьютер. Компания начала работу в январе, отправила чип в производство 1 июня, и он уже вернулся в лабораторию с результатами. Это первые в истории изображения, сгенерированные таким компьютером. Энергия на изображение — примерно 500 наноджоулей, тогда как GPU тратит миллиджоули, то есть разница на много порядков. Архитектура называется 4D-вычислениями: три физических измерения за счёт вертикального и плоского размещения элементов плюс время как четвёртое измерение. Память и вычисления объединены: у каждого вычислительного элемента есть память, и отдельного интерфейса памяти нет.

9. 18:08 ИИ и технологии

   Тысячекратный рост: продукт, портирование, команда

   Рао рассуждает о последствиях тысячекратного роста энергоэффективности. По его оценке, современные системы находятся примерно в 10 миллиардов раз от термодинамического предела, а животные — в одном-двух порядках; цель Unconventional AI — обогнать биологию и за 3,5 года достичь предела 2D-литографии. Он ссылается на парадокс Джевонса: удешевление вычислений в тысячу раз создаст спрос больше, чем в тысячу раз. Это позволит перейти от гигаваттных дата-центров к множеству локальных систем и питать миллиарды роботов. В ответ на вопросы он говорит, что до полноценного продукта — около двух лет: сначала это серверная стойка для дата-центра, которая принимает и отдаёт токены по сети, затем портирование моделей на уровне модели, а не операций. Команда сочетает теоретиков динамических систем и инженеров чипов; для выражения времени и стохастики написаны библиотеки на Python.