Fractile привлекла $720 млн на чипы, которые должны удешевить работу LLM

Когда ИИ-агент разбирает обращение клиента, проверяет данные и готовит ответ, модель приходится запускать снова и снова. Каждая такая итерация добавляет задержку и расходы. Британская Fractile привлекла $720 млн, чтобы построить специализированные чипы для выполнения ИИ-моделей. Её ставка — разместить память DRAM над вычислительной частью чипа и дополнить железо собственным компилятором.

Это понятная инженерная задача: ускорить работу уже обученной модели и снизить стоимость её использования. Но результат пока предстоит проверить. По приведённому TechCrunch заявлению главы Fractile Уолтера Гудвина, первые чипы и системы компания намерена поставить в 2027 году. Новость даёт повод следить за будущим поставщиком инфраструктуры; готового основания пересматривать бюджет на инференс здесь пока нет.

Почему деньги идут в память

При выполнении LLM важны и вычисления, и доступ к данным модели. Если вычислительная часть ждёт данные из памяти, дополнительные вычислительные мощности сами по себе не устраняют задержку. Для продуктовой команды это проявляется вполне буднично: пользователь ждёт продолжения ответа, а сервер остаётся занят.

Fractile после смены технического подхода делает ставку на DRAM — распространённый тип оперативной памяти. Согласно материалу TechCrunch, компания собирается размещать её слоями над каждым чипом. Замысел — ослабить ограничения, которые мешают одновременно получить нужную ёмкость памяти и быстро работать с ней.

Представим агента, который изучает несколько документов и последовательно проверяет свои выводы. Ему нужны повторные обращения к модели. Если новая система сократит время каждого обращения, выигрыш может накопиться на всей цепочке. Однако это объяснение возможной пользы, а не измеренный результат Fractile: конкретных показателей ускорения статья не приводит.

Важно и то, какую часть задачи занимает сама модель. Когда агент долго ждёт внешнюю базу данных или ответ стороннего сервиса, ускорение чипа даст меньший эффект для пользователя. Поэтому проверять будущую систему придётся на полном рабочем сценарии.

Компилятор должен связать модель и чип

Fractile разрабатывает также компилятор машинного обучения. Его задача — подготовить вычисления модели к эффективному исполнению на собственном железе. Компания рассчитывает получить преимущество за счёт совместной разработки аппаратной и программной частей.

Для разработчика это существенная деталь. У нового ускорителя мало шансов стать полезной инфраструктурой, если перенос модели требует слишком много ручной работы или нужные операции выполняются неэффективно. Скорость отдельной демонстрации ещё ничего не говорит об удобстве эксплуатации.

Допустим, команда обслуживает помощника для поддержки клиентов. При оценке такой системы ей потребуется проверить свою модель, типичные размеры запросов, параллельную нагрузку и итоговую стоимость обработки обращения. Затем — разобраться, сколько усилий потребует перенос и как система ведёт себя при пиковом спросе. В исходном материале этих данных нет: ни списка поддерживаемых моделей, ни результатов независимых испытаний, ни цены оборудования.

Что означает раунд для рынка

Раунд Series C возглавили Thrive Capital, Founders Fund, Lightspeed Venture Partners и Redpoint. Его поддержал британский Sovereign AI Fund. По заявлению правительства Великобритании, оценка Fractile превысила £5 млрд. Государство объясняет участие желанием увеличить долю страны в аппаратной инфраструктуре будущей экономики.

Масштаб финансирования даёт компании ресурсы на следующий этап разработки и первые поставки. Он также показывает интерес инвесторов к специализированным чипам для инференса. Но сумма раунда не отвечает на главный вопрос покупателя: сколько будет стоить выполнение его задачи при нужной скорости и качестве.

Практический вывод для основателя или продакта — заранее понимать собственную экономику инференса: задержку полного сценария, число обращений к модели и расходы на успешно завершённую задачу. С этими показателями можно предметно оценить Fractile, когда появятся доступные системы и проверяемые результаты. Пока перед нами крупная инвестиция в обещание снизить инфраструктурные расходы, а техническое доказательство этого обещания ещё впереди.