Память для AI. High Bandwidth Memory разгоняет искусственный интеллект

Представьте себе мозг, способный к обучению и мышлению с поразительной быстротой. Искусственный интеллект (ИИ) стремительно приближается к этому идеалу, и в основе его прогресса лежит не только программное обеспечение, но и аппаратное обеспечение, обеспечивающее вычислительную мощь. Среди ключевых компонентов, отвечающих за быстродействие ИИ, особое место занимает память . Именно память снабжает процессор данными, необходимыми для обучения нейронных сетей и выполнения сложных задач.

Традиционная оперативная память, известная как DRAM, например DDR5, постоянно совершенствуется. Однако для современных ИИ-приложений, требующих обработки колоссальных массивов данных, ее возможности оказываются недостаточными. Скорость передачи данных становится узким местом, ограничивающим общую производительность. Именно здесь на первый план выходит High Bandwidth Memory, или HBM – память, разработанная для высокой скорости передачи данных.

HBM представляет собой революционную технологию, созданную специально для ускорения вычислений. Она обеспечивает значительное увеличение скорости передачи данных и снижение энергопотребления по сравнению с обычной DRAM. Однако, чтобы HBM работала с максимальной отдачей в приложениях ИИ, производители активно занимаются ее кастомизацией – адаптацией под конкретные требования. Это включает как технологические новшества на уровне производства, так и архитектурные оптимизации.

Причины, по которым кастомизация HBM важна для ИИ.

Растущие потребности искусственного интеллекта очевидны. Современные ИИ-модели, такие как большие языковые модели и нейросети для компьютерного зрения, оперируют огромными объемами информации. Обучение моделей с триллионами параметров требует терабайты памяти с экстремально высокой скоростью передачи данных. Если память не будет успевать снабжать процессор, вся вычислительная мощь окажется бесполезной. Кроме того, центры обработки данных, где функционирует ИИ, потребляют значительное количество электроэнергии. Снижение энергопотребления памяти – это прямой путь к экономии и заботе об окружающей среде. HBM уже сейчас более энергоэффективна, чем DDR DRAM, но кастомизация нацелена на дальнейшее улучшение этого показателя. Хотя HBM в первую очередь ориентирована на скорость передачи данных, время доступа к памяти также играет роль, особенно для определенных типов ИИ-задач. Оптимизация времени доступа – еще одно направление кастомизации. Наконец, интеграция HBM в компактные устройства требует новых решений в области упаковки чипов. Инженеры ищут способы разместить как можно больше памяти в ограниченном пространстве.

Технологические достижения NCF и TCB.

Производители памяти, такие как Samsung, Micron и SK Hynix, активно внедряют новые технологии для кастомизации HBM. Среди них выделяются некондуктивная пленка (NCF) и термокомпрессионное соединение (TCB). Традиционно чипы DRAM в стеке HBM соединялись эпоксидным компаундом. NCF – это новый материал для межсоединений, предлагающий ряд преимуществ. NCF позволяет создавать более тонкие слои межсоединений, что увеличивает плотность упаковки чипов DRAM в стеке HBM, приводя к увеличению емкости памяти в том же объеме. NCF также лучше отводит тепло от чипов памяти, что особенно важно при высоких рабочих частотах и плотности мощности, обеспечивая стабильную работу. Кроме того, NCF обеспечивает более прочное и надежное соединение между чипами, что критически важно для долгосрочной работы HBM в условиях интенсивных нагрузок ИИ-систем. Samsung активно использует NCF в своих HBM2E и HBM3 продуктах, а также разрабатывает HBM-PIM ( Processing-in-Memory) – память со встроенными вычислительными возможностями, где NCF играет важную роль. Термокомпрессионное соединение (TCB) – это метод соединения чипов в стеке HBM с использованием тепла и давления. Micron – один из лидеров в применении TCB. TCB позволяет создавать очень плотные и точные межсоединения между чипами, используя микробампы или медные столбики, что необходимо для обеспечения высокой скорости передачи данных и качества сигнала в HBM. Качественные соединения TCB минимизируют электрическое сопротивление и индуктивность, что улучшает электрические характеристики памяти и снижает энергопотребление. TCB также обеспечивает прочное и долговечное соединение, способное выдерживать температурные и механические нагрузки. Micron активно использует TCB в своих HBM2E и HBM3 продуктах, включая HBM3 Gen2, построенную на базе технологии DRAM 1β и TCB, обеспечивающую огромную скорость передачи данных.

Эволюция HBM.

Поколения HBM сменяют друг друга, каждое из которых предлагает улучшения, ориентированные на растущие потребности ИИ. HBM2, первое поколение, получило широкое распространение в ИИ-ускорителях, таких как GPU NVIDIA Volta и AMD Vega, обеспечивая скорость передачи данных до 307 ГБ/с на стек. HBM2E, улучшенная версия HBM2, с увеличенной скоростью и емкостью, использовалась в GPU NVIDIA Ampere и AMD Instinct MI100, достигая скорости до 460 ГБ/с и выше, и внедрила NCF и TCB. HBM3, следующее поколение, совершило огромный скачок в скорости и используется в новейших GPU NVIDIA Hopper и AMD Instinct MI300, достигая скорости 819 ГБ/с и выше, с дальнейшей оптимизацией NCF, TCB и новых материалов. HBM3e, еще более продвинутая версия HBM3, обещает скорость до 1 ТБ/с и выше и ожидается в будущих поколениях ИИ-ускорителей.

Производители в соревновании за превосходство.

Samsung, Micron и SK Hynix – ключевые участники рынка HBM, каждый из которых вносит свой вклад в кастомизацию памяти для ИИ. Samsung делает ставку на NCF и HBM-PIM, стремясь снизить энергопотребление и увеличить производительность за счет интеграции вычислений в память, а также увеличивает емкость стеков HBM. Micron лидирует в применении TCB и разработке передовых технологий DRAM, таких как 1β, фокусируясь на энергоэффективности HBM и решениях для мобильных ИИ. SK Hynix предлагает конкурентоспособные решения HBM2E и HBM3, разрабатывая собственные инновации в производстве и упаковке HBM.

Перспективы

Впереди новые горизонты кастомизации HBM. Исследования направлены на преодоление ограничений скорости передачи данных с помощью новых материалов, архитектур и методов передачи сигнала. Для обучения все более крупных ИИ-моделей необходима память большей емкости, поэтому разработка более плотных чипов DRAM и методов стекирования является важным направлением. Интеграция вычислений в память (PIM), такая как HBM-PIM, может стать ключом к повышению энергоэффективности и производительности для определенных ИИ-задач, перенося вычисления ближе к данным. Кастомизация HBM может включать адаптацию параметров памяти под конкретные типы ИИ-приложений. Технологии 2.5D и 3D упаковки, такие как CoWoS и InFO, играют ключевую роль в интеграции HBM с процессорами, и развитие этих технологий будет способствовать еще более эффективной работе HBM в ИИ-системах.

Кастомизация HBM для ИИ – это непрерывный процесс инноваций, который продвигает вперед всю отрасль микроэлектроники. Благодаря технологическим прорывам и архитектурным решениям, HBM становится все более мощным инструментом для развития искусственного интеллекта, открывая новые возможности для технологий будущего.

Подготовлено для ultra.by

Источник: Антон Муха 3 марта 2025