Конец эпохи Nvidia? Graphcore разработала чипы на базе вычислительных графов
Искусственный интеллект — самая переломная (во всех смыслах) технология нашего времени. Чипы искусственного интеллекта — самая переломная инфраструктура для искусственного интеллекта. Если исходить из этих двух предпосылок, влияние того, что Graphcore планирует массово выпустить в мир, не поддается описанию. Как будут расширяться границы закона Мура с появлением IPU? Какое аппаратное и программное обеспечение нас ждет? Одно можно сказать наверняка: Nvidia стоит бояться и переживать.
Если везением можно назвать умение быть в нужном месте в нужное время, можно сказать, что мы с вами везунчики. Graphcore — популярнейшее название в мире чипов ИИ, уже давно появилось на радарах крупных технических изданий. Издательству ZDnet удалось пообщаться с основателями Graphcore до того, как они сами представили последние новости.
Graphcore, если вы еще не знали, только что получила очередные 200 миллионов долларов финансирования от BMW, Microsoft и ведущих финансовых инвесторов на масштабирование самого продвинутого в мире чипа ИИ. Теперь Graphcore официально «единорог» с оценкой в 1,7 миллиарда долларов. Среди партнеров компании — Dell, Bosch и Samsung. Нетрудно догадаться, что назревает что-то очень большое. Но давайте по порядку.
Узнать, как работает мозг — это одно. Смоделировать чипы — другое
Graphcore базируется в Бристоле, Великобритания, и была основана ветеранами полупроводниковой промышленности Найджелом Туном, CEO, и Саймоном Ноулзом, CTO. Ранее Тун и Ноулз работали с такими компаниями, как Altera, Element14 и Icera, которые достигли общей стоимости в миллиарды долларов. Тун уверен, что они могут — и смогут — перевернуть полупроводниковую отрасль сильнее, чем когда-либо прежде, сломав практическую монополию Nvidia.
Nvidia — главный игрок в области ИИ, благодаря ее чипам GPU, и все это развивается. В этой области есть и другие игроки, но Тун уверен, что только у Nvidia есть четкая, последовательная стратегия и эффективный продукт на рынке. Есть еще Google, который инвестирует в чипы ИИ, но Toon утверждает, что у Graphcore есть ведущее преимущество и фантастическая возможность построить империю с чипами IPU (Intelligent Processor Unit). В качестве примера он приводит успех мобильных процессоров ARM.
Чтобы понять, в чем причина его уверенности, уверенности его партнеров и инвесторов, нам нужно понять, что именно делает Graphcore и что отличает ее от конкурентов. Машинное обучение и искусственный интеллект — самые быстро развивающиеся и переломные технологии. Машинное обучение, которое лежит в основе искусственного интеллекта в наши дни, очень эффективно в нахождении паттернов и закономерностей, и работает на основе комбинации соответствующих алгоритмов (моделей) и данных (обучающих наборов).
Некоторые люди называют искусственный интеллект перемножением матриц. Хотя такие крайние заявления сомнительны, факт остается фактом: большая часть машинного обучения связана с эффективными операциями с данными в масштабе. Именно поэтому GPU так хорошо справляются с нагрузками машинного обучения. Их архитектура изначально разрабатывалась для обработки графики, но показала себя крайне эффективно и в операциях с данными.
Что сделала Graphcore? Инвестировала в совершенно новую архитектуру. Именно поэтому Тун считает, что у нее есть преимущество над другими вариантами. Тун отмечает, что в конкурентной борьбе эффективно строятся специализированные чипы (ASIC), которые хорошо справляются с определенными математическими операциями с данными, оптимизированными под определенные задачи. Но для завтрашних нагрузок это уже не подойдет.
Что же такого особенного в собственной архитектуре Graphcore? Говорят, Graphcore создает нейроморфный чип ИИ: процессор, созданный по образу человеческого мозга, с его нейронами и синапсами, отраженными в архитектуре. Но Ноулз развеивает это мнение:
«Мозг — отличный пример для компьютерных архитекторов в этом новом смелом начинании машинного интеллекта. Но сильные и слабые стороны кремния сильно отличаются от свойств влажной вычислительной начинки. Мы не копировали образцы природы ни в летательных аппаратах, ни в передвижении на поверхности, ни в двигателях, потому что наши инженерные материалы другие. То же самое и с вычислениями.
К примеру, большинство нейроморфных компьютерных проектов выступают за коммуникацию посредством электрических импульсов, как в мозге. Но базовый анализ эффективности использования энергии сразу же заключает, что электрический всплеск (два пика) в два раза менее эффективен, чем передача информации одним пиком, поэтому следование мозгу уже не будет хорошей идеей. Я думаю, компьютерные архитекторы обязаны стремиться узнать, как вычисляет мозг, но не должны его буквально копировать в кремнии».
Нарушая закон Мура, превосходя GPU
Энергоэффективность действительно является ограничивающим фактором для нейроморфных архитектур, но ею все не ограничивается. Комментируя закон Мура, Тун отметил, что мы намного превзошли все ожидания и у нас еще есть 10-20 лет прогресса в запасе. Но затем мы достигнем некоторых фундаментальных ограничений.
Тун считает, мы достигли наименьшего напряжения, которое можем использовать в таких чипах. Поэтому, мы можем добавить больше транзисторов, но заставить их намного быстрее не сможем. «Ваш ноутбук работает на 2 ГГц, у него просто больше ядер. Но нам нужны тысячи ядер для работы с машинным обучением. Нам нужен иной архитектурный процесс для конструирования чипов другими способами. Старые методы не сработают».
Тун говорит, что IPU — это универсальный процессор машинного интеллекта, специально разработанный для машинного интеллекта. «Одним из преимуществ нашей архитектуры является то, что она подходит для многих современных подходов к машинному обучению, таких как CNN, но при это высоко оптимизирована для других подходов к машинному обучению, вроде обучения с подкреплением и прочих. Архитектура IPU позволяет нам превосходить графические процессоры — она сочетает в себе массивный параллелизм с более чем 1000 независимых процессорных ядер на IPU и встроенную память, так что всю модель можно разместить на чипе».
Но как IPU можно сравнить с GPU от Nvidia на практике? Недавно были выпущены некоторые тесты машинного обучения, в которых Nvidia вроде как побеждала. Но как отмечает Тун, структуры данных для машинного обучения отличаются, поскольку они более многомерны и комплексны. Следовательно, с ними нужно работать иначе. GPU очень мощные, но не обязательно эффективные в работе с этими структурами данных. Можно создавать и в 10, и в 100 раз более быстрые модели.
Однако скорость — это еще не все, что нужно для успеха в этой игре. Nvidia, к примеру, преуспела не только потому что ее GPU мощные. Большая часть ее успеха заключается в программном обеспечении. Библиотеки, которые позволили разработчикам абстрагироваться от аппаратных особенностей и сосредоточиться на оптимизации своих алгоритмов машинного обучения, стали ключевым элементом успеха компании.
Революция графов вот-вот начнется
Конечно, вам уже стало интересно, что же это за графы. Какого рода структуры, модели и формализм использует Graphcore для представления и работы с этими графами? Можно ли назвать их графами знаний? Хорошие новости в том, что ждать осталось недолго.
«Мы называем их просто вычислительными графами. Все модели машинного обучения лучше всего выражать в виде графов — так работает и TensorFlow. Просто наши графы на несколько порядков сложнее, поскольку у нас есть параллелизм на несколько порядков для работы с графами на наших чипов», говорит Тун.
Тун обещает, что со временем Graphcore предоставит разработчикам IPU полный доступ с открытым исходным кодом к своим оптимизированным библиотекам графов, чтобы они могли видеть, как Graphcore создает приложения..
Graphcore уже поставляет производственное оборудование первым клиентам в режиме раннего доступ. Сейчас Graphcore продает PCIe-платы, которые готовы к подключению к серверным платформам, которые называются C2 IPU-Processor. Каждая содержит два процессора IPU. Также компания работает с Dell над привлечением корпоративных клиентов и облачных клиентов.
Продукт будет широко доступен в следующем году. Первоначальный фокус будет на дата-центрах, облачных решениях и определенном числе периферийных приложений, требующих больших вычислительных ресурсов, вроде автономных автомобилей. На потребительские устройства типа мобильных телефонов Graphcore пока не ориентируется.