Создан альянс по стандартизации новых форматов данных для ИИ: в нём участвуют AMD, Arm, Intel и NVIDIA
24.10.2023
Организация Open Compute Project Foundation (OCP) объявила о формировании альянса Microscaling Formats (MX) Alliance, который займётся стандартизацией новых форматов данных для ИИ. Проект поддержали AMD, Arm, Intel, Meta✴, Microsoft, NVIDIA и Qualcomm.
Традиционными форматами чисел с плавающей запятой являются FP32 (одинарная точность) и FP16 (половинная точность). Однако при решении задач ИИ целесообразно применять вычисления с более низкой точностью для повышения производительности и снижения затрат энергии. Ранее был внедрён формат FP8, а также различные вендорские решения вроде BF16 или TF32. Для инференса же всё чаще применяется INT8.
Теперь участники альянса MX предлагают стандартизовать 6- и 4-бит типы данных для обучения ИИ-моделей и инференса. Предполагается, что форматы MX будут востребованы в различных сценариях, таких как большие языковые модели (LLM), компьютерное зрение и рекомендательные системы. Причём использование вычислений с такой точностью не потребует каких-либо изменений в традиционных алгоритмах обучения.
Изначально спецификация MX (OCP MX v1.0) предусматривает четыре формата данных: MXFP8, MXFP6, MXFP4 и MXINT8. Они, как утверждается, совместимы с существующими платформами ИИ, а также обеспечивают гибкость реализации как на аппаратном, так и на программном уровне. Появление новых форматов данных поможет ускорить реализацию ряда ИИ-проектов благодаря снижению требований к объёму памяти и пропускной способности интерфейсов.
-
23.04.2024
Не по средствам: большинство госкомпаний не имеет планов и возможностей перейти на отечественное ПО -
23.04.2024
Состоялся релиз новой версии операционной системы Kaspersky Thin Client для тонких клиентов -
23.04.2024
Gartner: затраты в области ЦОД в 2024 году вырастут на 10 % и достигнут $260 млрд
Новости IT бизнеса
- Acer
- Aerocool
- AMD
- APC
- Apple
- Aquarius
- Asrock
- Asus
- AVT
- Blackmagicdesign
- Brother
- Canon
- Chieftec
- Cisco
- Corsair
- Crucial
- D-Link
- Deepcool
- DELL
- Digis
- DOKO
- Eaton
- EDCOMM
- EliteBoard
- ELTEX
- Epson
- EXEGATE
- Fanvil
- Felix
- Foxconn
- Foxline
- FSP
- Fujitsu
- Geckotouch
- Genius
- Gigabyte
- Glacialtech
- Hewlett Packard
- HP
- IBM
- INFOCUS
- Intel
- IQBoard
- ITK
- Juniper
- Kingston
- Kyocera
- Lenovo
- Lenovo Consumer
- Lenovo SMB
- Lexmark
- LG
- Logitech
- Lumien
- Microsoft
- Mikrotik
- MSI
- NVIDIA
- ONEPLUS
- Optoma
- Pantum
- PNY
- Powercom
- Powercool
- Prestigio
- Promobot
- Q-Dion
- QUMO
- Ricoh
- Samsung
- Seagate
- Skilo
- Sony
- STM
- Supermicro
- Thermaltake
- Titan
- Toshiba
- TRIUMPH BOARD
- Ubiquiti
- ViewSonic
- VIVOCOMP
- Wize
- Xerox
- Xiaomi
- Zalman
- Катюша
- Яндекс