Производительность ИИ-чипов: почему ее так трудно мерить и сравнивать


ИИ-чипы - это нейроны и синапсы в мозгах роботов. Разработка этих чипов является одним из наиболее перспективных направлений в развитии технологий, и в этой отрасли чрезвычайно востребованы молодые таланты (которым, естественно, неплохо платят). Однако индустрия создания чипов до сих пор во многом похожа на нерегулируемый Дикий Запад - по той простой причине, что чипы… сложно сравнивать друг с другом. Да, это звучит не просто банально, а даже как-то по-идиотски - но реальность именно такова.

Чаще всего для измерения производительности чипов используется такой критерий, как ТОРS, то есть количество триллионов операций в секунду. Для измерения энергоэффективности чипов применяется показатель TOPS/W, то есть TOPS в пересчете на ватты. Казалось бы, эти цифры должны быть достаточно объективными. Однако тут возникают следующие вопросы:

  • Для проведения каких именно операций задействуются чипы?
  • Что собой представляет одна операция?
  • Как то время, за которое выполняется одна операция, влияет на функции, которые устройство призвано выполнять?
  • Надо ли оснащать чип дорогостоящей памятью, чтобы устройство могло поддерживать производительность в условиях “реального мира”?
  • В конце концов, соответствует ли реальная производительность чипа заявленной?

Нюанс подсчета TOPS заключается в следующем. Основной математической функцией для нейросетей является свертка, она же конволюция. Если раскладывать эту функцию на составные части, ее можно представить, например, как одну операцию умножения, либо как несколько последовательных операций сложения. Таким образом, разница в числе TOPS может сильно разниться только из-за способа разложения операции на составляющие.

Условия эксплуатации чипов тоже влияют на их производительность. Чем выше температура окружающей среды и самого чипа, тем ниже скорость осуществления операций. Кроме того, процесс может замедлиться за счет необходимости подготовиться к операции - а время, необходимое на подготовку, не учитывается в TOPS, ха-ха. Суть подготовки заключается в том, что чип должен производить расчеты не в абстракции, а применимо к конкретным исходным данным реального мира. И вот пока он эти данные освоит и переварит, может пройти уйма времени. Считать-то он потом будет быстро, да. Но сначала придется потерпеть и подождать…

Для оптимизации вычислений конкретные данные вводятся в процессор не одним махом, а порционно, дозированно. Чипы с DRAM-памятью при этом все равно работают значительно медленнее и тугодумнее, чем их аналоги со SRAM-памятью. Чтобы дать процессу дополнительный пинок, можно задействовать компилирующую программу, которая будет подавать в процессор прописанные кодом инструкции. В таком случае, на многоядерном процессоре “порционное” поглощение данных будет происходить гораздо быстрее. Компилирующие программы при этом могут быть как дженериками, так и заточенными под конкретный чип.

ИИ-чипы одинаково востребованы во всех направлениях роботизации, будь то логистика, фабричные конвейеры или автомобили-беспилотники. Но пока что понять реальную ценность того или иного чипа в большинстве случаев можно только после его практической эксплуатации в конкретных условиях.


Comments 2


Проголосовал!

Искренне ваш @fomka

23.07.2019 21:42
0