Open source раскрыл скрытую мощность RTX 4090: Tensor Core вдвое быстрее

Одна RTX 4090, никакой замены железа, и пропускная способность отдельных операций Tensor Core прыгает со 165,6 до 331,6 TFLOPS. Это ровно в два раза. Открытый проект, о котором пишет Jiqizhixin, добирается до вычислительного запаса GeForce, который NVIDIA в штатном режиме не отдаёт. Драйвер при этом остаётся официальным.

Не только флагман

Главная деталь истории в том, что RTX 4090 оказалась лишь самым громким примером. Тот же подход вытянул дополнительную производительность из карт разных поколений. Среди протестированных устройств:

• RTX 4090 (архитектура Ada Lovelace): со 165,6 до 331,6 TFLOPS на отдельных операциях Tensor Core;
• RTX 4070 Ti SUPER (Ada Lovelace): запас найден, это младшая карта того же поколения;
• RTX 3090 Ti (Ampere): запас найден, это прошлое поколение;
• видеокарта 2018 года выпуска, то есть эпохи Turing: потенциал раскрылся даже на ней.

То, что результат повторяется на трёх архитектурах, говорит о системной причине. Это не баг конкретного чипа. Скорее всего, дело в том, как штатный программный стек обращается к тензорным блокам.

Откуда берётся «лишняя» половина

Паспортные цифры потребительских видеокарт NVIDIA известны. Для RTX 4090 значение около 165 TFLOPS соответствует режиму смешанной точности с накоплением в FP32. Профессиональные карты на близком кремнии заявляют в этом режиме больше. Поэтому геймерские GeForce давно считают искусственно урезанными в части тензорных операций. Открытый метод показывает, что часть этого лимита обходится на уровне пользовательского кода, а не прошивки или патча драйвера.

Важно, что прирост относится к определённым операциям. Это не волшебное удвоение всего подряд. Реальная нагрузка вроде инференса LLM упирается ещё и в пропускную способность памяти, в размер кэша и в планирование ядер. Удвоенный пиковый показатель Tensor Core даст ускорение там, где узким местом были именно матричные вычисления: большие батчи, префилл длинных промптов, обучение и дообучение небольших моделей.

Что с этим делать на практике

Для владельцев игровых карт новость хорошая. RTX 4090 с 24 ГБ памяти остаётся самой популярной картой для локального запуска моделей и экспериментов, и бесплатный прирост на матричных операциях сразу повышает её ценность. Выигрывают стартапы, исследовательские группы и энтузиасты, у которых нет бюджета на H100 или B200.

Перед тем как переписывать пайплайн, стоит проверить три вещи:

• сравнить свои ядра и библиотеки с тем, что делает проект, и замерить реальную пропускную способность на своей нагрузке, а не только пиковые TFLOPS;
• убедиться в стабильности: энергопотребление и температура при полной загрузке тензорных блоков выше привычных;
• следить за ответом NVIDIA, поскольку компания может закрыть лазейку в следующих версиях драйвера или CUDA.

Для индустрии у истории есть и более широкий смысл. Разрыв между потребительскими и дата-центровыми ускорителями во многом задан программно, а открытое сообщество умеет его сокращать. Если метод приживётся в популярных фреймворках, часть задач, которые сегодня уходят в облако, можно будет считать на собственной карте. Это давление на ценообразование NVIDIA и аргумент в пользу локального инференса.