Шардинг в LLM: как распределить вычисления между GPU

Масштабирование больших языковых моделей требует более чем одного GPU или TPU. Одна из ключевых техник для этого — шардинг: распределение матриц и векторов между несколькими ускорителями так, чтобы вычисления выполнялись эффективно и согласованно.

Почему матрицы не помещаются в памяти

При работе с действительно большими нейронными сетями матрицы весов и активаций практически никогда целиком не влезают в память одного GPU или TPU. Вес современной LLM может быть измерен в сотнях миллиардов параметров, каждый из которых требует нескольких байт памяти. Один ускоритель просто не справляется. Поэтому приходится разделять — шардировать — эти матрицы между несколькими чипами.

Как работает шардинг Представьте матрицу A размера [I, J].

Её можно разделить несколькими способами: По строкам (row-wise) — первый ускоритель берёт строки 1–N, второй строки N+1–2N и так далее По столбцам (column-wise) — аналогично, но по вертикали Блочное разделение — матрица делится на прямоугольные блоки и распределяется по сетке чипов По диагонали и другим паттернам — более сложные схемы для специфических операций Служба каждого ускорителя — выполнить операцию над своей частью матрицы, а затем синхронизировать результаты с соседями.

На что влияет качество шардинга От грамотного выбора стратегии шардинга зависит:

Скорость тренировки — минимизация времени на коммуникацию между GPU Эффективность памяти — правильное заполнение буферов на каждом чипе Пропускная способность — колличество данных, которые нужно передавать между ускорителями * Локальность вычислений — сколько работы может выполниться без синхронизации Плохой шардинг может привести к ситуации, когда ускорители большую часть времени ждут друг друга или пропускают пропускную способность связей между ними. Хороший шардинг старается минимизировать эти потери и держать все чипы в работе одновременно.

Что это значит Шардинг — не просто техническая оптимизация, это основа для экономики масштабирования.

Правильное распределение вычислений позволяет использовать кластеры из сотен и тысяч GPU так, чтобы суммарная скорость приближалась к идеальной и вычислительные ресурсы не тратились впустую на ожидание коммуникации.