Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИндустрияРазбор · На радар3DNews AI→ оригинал

AMD MEXT переносит «холодные» данные из DRAM на SSD и экономит $5 млн на 145 серверах

Серверная DRAM стала одной из самых дорогих частей машины, и AMD решила не покупать её столько же, а выгонять из неё лишнее. Технология MEXT выносит редко используемые данные на более дешёвые SSD, а ИИ-алгоритмы подсказывают, что именно можно убрать, чтобы скорость не просела заметно. На первых 145 серверах AMD оценила экономию примерно в $5 млн.

AI-обработка оригинала 3DNews AI; редакция Hamidun News
AMD MEXT переносит «холодные» данные из DRAM на SSD и экономит $5 млн на 145 серверах
Источник: 3DNews AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
Первоисточник3DNews AI ↗
Главный редактор
Что переносяттолько редко используемые («холодные») данные
Экономияоколо $5 млн на 145 системах, примерно $34 тыс. на каждую
Проверьте свою нагрузкунасколько «горячая» у вас память

Оперативная память в серверах давно перестала быть мелочью в смете. Когда вы набиваете машину сотнями гигабайт DRAM, чтобы «хватило с запасом», значительная часть этого запаса большую часть времени просто лежит без дела. AMD предлагает с этим разобраться: её технология MEXT переносит редко используемые данные из DRAM на гораздо более дешёвые SSD, а алгоритмы ИИ следят, чтобы производительность при этом заметно не упала.

В чём проблема

Представьте кухню ресторана. Специи, которыми пользуются каждую минуту, стоят на столе у повара. Мешок муки, который открывают раз в неделю, лежит на складе. Никто не держит весь склад на рабочем столе, потому что стол дорогой и маленький.

С серверной памятью часто выходит наоборот. Приложение загрузило в DRAM большой объём данных: кэши, индексы, состояния сервисов, куски баз данных. Обращаются к ним неравномерно: часть данных нужна постоянно, часть неделями никому не нужна. Но платить за них приходится по цене самой быстрой памяти.

Как это работает

По описанию, MEXT определяет «холодные» страницы данных и переносит их из DRAM на SSD. Горячие данные остаются в оперативной памяти. Ключевая сложность в том, чтобы угадать, что именно холодное. Если ошибиться и убрать на диск то, что понадобится через секунду, приложение начнёт ждать накопитель, и задержки вырастут. Поэтому AMD подключает алгоритмы ИИ: они помогают решать, какие данные можно безопасно вытеснить, чтобы заметного падения производительности не было.

Такая идея не нова: многоуровневая память и подкачка существуют десятилетиями. Новизна в том, что решение подаётся как готовая технология производителя железа, а выбор данных для переноса становится предсказательным.

Цифры от AMD такие: на первых 145 серверных системах компания оценила экономию примерно в $5 млн. Если разделить, выходит около $34 тыс. на одну систему. Это наше арифметическое следствие, а не заявление AMD. В заголовке оригинала звучит и более громкий тезис про замену половины DRAM, но в доступном описании подробностей, как именно получена такая доля, нет.

Что здесь пока неясно

Материал короткий, и важных деталей в нём нет. Мы не знаем:

  • на каких нагрузках проверяли систему: базы данных, виртуализация, ИИ-инференс или что-то ещё;
  • насколько именно упала производительность и в каких перцентилях задержки это видно;
  • какие SSD использовались и как быстро они изнашиваются при постоянной подкачке;
  • является ли экономия измеренной или расчётной. Слово «оценила» намекает, что это скорее расчёт.

Фраза «без потерь» из заголовка звучит как маркетинг. В самом тексте речь идёт лишь о том, что заметного падения скорости быть не должно, а это совсем другое обещание.

Что делать практику

Если вы отвечаете за инфраструктуру, пара вопросов стоит того, чтобы задать их уже сейчас.

Первое: какая доля вашей памяти реально горячая. Если сервисы держат в DRAM много данных, к которым обращаются редко, потенциал экономии есть. Если почти всё в работе постоянно, переносить на SSD нечего.

Второе: насколько вы чувствительны к хвостовым задержкам. Для пакетной обработки и аналитики лишние миллисекунды на редких обращениях можно пережить. Для сервисов с жёсткими SLA это уже риск.

Третье: цены на память. Чем дороже DRAM, тем сильнее аргумент в пользу многоуровневой схемы, и для ИИ-серверов, где память и так в дефиците, это особенно актуально.

Пока MEXT выглядит как интересный сигнал, а не готовый рецепт. Дождитесь независимых тестов и сравнения с обычными механизмами подкачки, прежде чем пересматривать конфигурации серверов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём проблема?

Представьте кухню ресторана. Специи, которыми пользуются каждую минуту, стоят на столе у повара. Мешок муки, который открывают раз в неделю, лежит на складе. Никто не держит весь склад на рабочем столе, потому что стол дорогой и маленький. С серверной памятью часто выходит наоборот. Приложение загрузило в DRAM большой объём данных: кэши, индексы, состояния сервисов, куски баз данных. Обращаются к ним неравномерно: часть данных нужна постоянно, часть неделями никому не нужна.

Что известно по теме: как это работает?

По описанию, MEXT определяет «холодные» страницы данных и переносит их из DRAM на SSD. Горячие данные остаются в оперативной памяти. Ключевая сложность в том, чтобы угадать, что именно холодное. Если ошибиться и убрать на диск то, что понадобится через секунду, приложение начнёт ждать накопитель, и задержки вырастут. Поэтому AMD подключает алгоритмы ИИ: они помогают решать, какие данные можно безопасно вытеснить, чтобы заметного падения производительности не было.

Что известно по теме: что здесь пока неясно?

Материал короткий, и важных деталей в нём нет. Мы не знаем: на каких нагрузках проверяли систему: базы данных, виртуализация, ИИ-инференс или что-то ещё; насколько именно упала производительность и в каких перцентилях задержки это видно; какие SSD использовались и как быстро они изнашиваются при постоянной подкачке; является ли экономия измеренной или расчётной. Слово «оценила» намекает, что это скорее расчёт. Фраза «без потерь» из заголовка звучит как маркетинг.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…