На западном побережье Америки самые ценные компании мира пытаются сделать искусственный интеллект умнее. Google и Facebook хвастают экспериментами с использованием миллиардов фотографий и тысяч высокопроизводительных процессоров. Но в конце прошлого года проект в восточной части штата Теннесси незаметно превзошел масштабы любой корпоративной лаборатории искусственного интеллекта.
В рекордном проекте участвовал самый мощный в мире суперкомпьютер Summit, находящийся в Национальной лаборатории Ок-Ридж. Эта машина получила корону в июне прошлого года, вернув США титул спустя пять лет, когда список возглавлял Китай. В рамках проекта исследования климата гигантский компьютер запустил эксперимент по машинному обучению, который протекал быстрее, чем когда-либо прежде.
«Саммит», занимающий площадь, эквивалентную двум теннисным кортам, задействовал в этом проекте более 27 000 мощных графических процессоров. Он использовал их мощность для обучения алгоритмов глубокого обучения, той самой технологии, которая лежит в основе передового искусственного интеллекта. В процессе глубокого обучения алгоритмы выполняют упражнения со скоростью миллиард миллиардов операций в секунду, известной в суперкомпьютерных кругах как экзафлоп.
«Ранее глубокое обучение никогда не достигало такого уровня производительности», говорит Прабхат, руководитель исследовательской группы в Национальном научно-вычислительном центре энергетических исследований в Национальной лаборатории имени Лоуренса в Беркли. Его группа сотрудничала с исследователями в штаб-квартире «Саммита», Национальной лаборатории Ок-Ридж.
Как можно догадаться, тренировка ИИ самого мощного в мире компьютера была сосредоточена на одной из самых больших проблем в мире — изменении климата. Технологические компании обучают алгоритмы распознавать лица или дорожные знаки; правительственные ученые обучили их распознавать погодные условия вроде циклонов по климатическим моделям, которые сжимают столетние прогнозы атмосферы Земли в три часа. (Непонятно, правда, сколько энергии затребовал проект и как много углерода было выброшено в воздух в этом процессе).
Эксперимент Summit имеет значение для будущего искусственного интеллекта и климатологии. Проект демонстрирует научный потенциал адаптации глубокого обучения к суперкомпьютерам, которые традиционно моделируют физические и химические процессы, такие как ядерные взрывы, черные дыры или новые материалы. Это также показывает, что машинное обучение может извлечь выгоду из большей вычислительной мощности — если вы сможете ее найти — и обеспечить прорывы в будущем.
«Мы не знали, что это можно сделать в таком масштабе, пока не сделали это», говорит Раджат Монга, технический директор Google. Он и другие «гугловцы» помогали проекту, адаптировав программное обеспечение машинного обучения TensorFlow с открытым исходным кодом компании для гигантских масштабов Summit.
Большая часть работы по масштабированию глубокого обучения проводилась в центрах обработки данных интернет-компаний, где серверы работают совместно над проблемами, разделяя их, потому что расположены относительно разобщенно, а не связаны в один гигантский компьютер. Суперкомпьютеры же вроде Summit имеют другую архитектуру со специализированными высокоскоростными соединениями, связывающими их тысячи процессоров в единую систему, которая может работать как единое целое. До недавнего времени проводилось относительно мало работ по адаптации машинного обучения для работы с такого рода аппаратными средствами.
Монга говорит, что работа по адаптации TensorFlow к масштабам Summit также будет способствовать усилиям Google по расширению ее внутренних систем искусственного интеллекта. Инженеры Nvidia также поучаствовали в этом проекте, убедившись, что десятки тысяч графических процессоров Nvidia в этой машине работают без сбоев.
Поиск путей использования большей вычислительной мощности в алгоритмах глубокого обучения сыграл важную роль в текущем развитии технологии. Та же технология, которую использует Siri для распознавания голоса и автомобили Waymo для считывания дорожных знаков, стала полезной в 2012 году после того, когда ученые адаптировали ее для работы на графических процессорах Nvidia.
В анализе, опубликованном в мае прошлого года, ученые из OpenAI, исследовательского института в Сан-Франциско, основанного Илоном Маском, подсчитали, что объем вычислительной мощности в крупнейших публичных экспериментах с машинным обучением удваивается примерно каждые 3,43 месяца с 2012 года; это будет означать 11-кратное увеличение за год. Такая прогрессия помогла бота из Alphabet победить чемпионов в сложных настольных и видеоиграх, а также способствовала значительному повышению точности переводчика Google.
Google и другие компании в настоящее время создают новые виды микросхем, адаптированных под ИИ, чтобы продолжить эту тенденцию. Google заявляет, что «стручки» с тесно расположенными тысячами ее чипов ИИ — дублированные тензорные процессоры, или TPU — могут обеспечивать 100 петафлопс вычислительной мощности, что составляет одну десятую от скорости, достигнутой Summit.
Вклад проекта Summit в науку о климате показывает, как ИИ гигантского масштаба может улучшить наше понимание будущих погодных условий. Когда исследователи генерируют столетние предсказания погоды, чтение полученного прогноза становится сложной задачей. «Представьте, что у вас есть фильм на YouTube, который идет 100 лет. Нет никакой возможности найти всех кошек и собак в этом фильме вручную», говорит Прабхат. Обычно для автоматизации этого процесса используется программное обеспечение, однако оно не совершенно. Результаты «Саммита» показали, что машинное обучение может делать это намного лучше, что должно помочь в прогнозировании штормовых воздействий вроде наводнений.
По словам Майкла Причарда, профессора Калифорнийского университета в Ирвайне, запуск глубокого обучения на суперкомпьютерах — это относительно новая идея, которая появилась в удобное время для исследователей климата. Замедление темпов усовершенствования традиционных процессоров привело к тому, что инженеры стали оснащать суперкомпьютеры растущим числом графических чипов, чтобы производительность росла более стабильно. «Наступил момент, когда больше нельзя наращивать вычислительную мощность обычным способом», говорит Причард.
Этот сдвиг завел традиционное моделирование в тупик, а значит пришлось адаптироваться. Также это открывает дверь для использования силы глубокого обучения, которое естественным образом подходит для графических чипов. Возможно, мы получим более четкое представление о будущем нашего климата.