Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИндустрияРазбор · На радарTNW→ оригинал

Fractile получила $720 млн при оценке $7 млрд: ставка на чипы с упором на память

Лондонский разработчик чипов Fractile закрыл раунд C на $720 млн; по данным FT, компанию оценили в $7 млрд при возрасте всего четыре года. Её тезис: узкое место ИИ — не вычисления, а пропускная способность памяти. Для инференса больших моделей это ровно та стенка, в которую упираются GPU. В раунде, как сообщается, участвуют Thrive Capital и Founders Fund.

AI-обработка оригинала TNW; редакция Hamidun News
Fractile получила $720 млн при оценке $7 млрд: ставка на чипы с упором на память
Источник: TNW. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTNW ↗
Главный редактор
Ключевой факт #1Раунд C на $720 млн, оценка $7 млрд — по данным FT
Ставка на памятьузкое место инференса — пропускная способность
Ключевой факт #3Смотрите на цену токена и задержку, а не только на FLOPS

Последние пару лет рынок ИИ-железа живёт по простому правилу: больше вычислений — лучше. Fractile ставит на обратное. Лондонский разработчик чипов закрыл раунд C на $720 млн, и, по данным Financial Times со ссылкой на источников, знакомых со сделкой, оценка составила $7 млрд. Компании всего четыре года. В числе инвесторов называют Thrive Capital и Founders Fund. Главная идея стартапа: производительность ИИ сегодня ограничена не мощностью вычислителей, а скоростью доступа к памяти.

Важная оговорка: исходная публикация обрезана, поэтому о составе раунда, архитектуре чипов и сроках выхода продукта мы знаем мало. Достоверно известны сумма, оценка и тезис компании. Всё остальное ниже — разбор самой проблемы, а не пересказ технических спецификаций Fractile.

Почему память, а не вычисления

Когда языковая модель генерирует ответ, на каждый новый токен ей приходится прочитать из памяти практически все свои веса. Вычислений на один токен при этом относительно немного, и ядра чипа в основном ждут данные.

Простая прикидка. Модель на 70 млрд параметров в 8-битном формате занимает около 70 ГБ. Если память чипа отдаёт 3 ТБ/с, то для одного потока запросов потолок составит около 43 токенов в секунду, сколько бы терафлопсов ни стояло на кристалле. Это грубая иллюстрация, а не замер конкретного железа. Но она показывает, почему рост FLOPS сам по себе не ускоряет ответы чат-бота или агента.

Отсюда вся индустрия борется за пропускную способность: HBM-память, плотная упаковка, квантизация и батчинг. Fractile, судя по заявленному тезису, предлагает перестроить саму архитектуру вокруг памяти, а не добавлять её к вычислителю как довесок.

Почему инвесторы готовы платить

Обучение моделей — разовая крупная статья расходов. Инференс — постоянная: каждый запрос пользователя и каждый шаг агента стоит денег. Чем больше продуктов строится на длинных рассуждениях и агентных цепочках, тем сильнее счёт за токены зависит от того, как быстро железо читает веса и кэш контекста.

Оценка в $7 млрд для четырёхлетней компании показывает, что рынок видит здесь шанс отыграть долю у Nvidia не в обучении, а в обслуживании готовых моделей. Но пока это ставка на будущее: независимых бенчмарков и сроков массовых поставок в доступных данных нет.

Что с этим делать на практике

Продуктовым командам и разработчикам стоит пересмотреть метрики при выборе инфраструктуры.

  • Сравнивайте не пиковые FLOPS, а пропускную способность памяти и итоговую цену миллиона токенов на вашей модели.
  • Считайте отдельно стоимость первого токена и стоимость генерации: у них разные узкие места.
  • Квантизация и сжатие KV-кэша — самый быстрый способ обойти ограничение уже сегодня, без смены железа.
  • Не закладывайте экзотические чипы в план на ближайший год. Дождитесь независимых тестов и реальной доступности в облаке.

Итог: сам раунд ничего не доказывает про качество чипов. Он показывает, куда смещается инженерный фокус индустрии: от гонки за вычислениями к борьбе за каждый гигабайт в секунду. Ограничения здесь остаются: данные о сделке пока опираются на одно издание, а технические детали продукта не раскрыты.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему память, а не вычисления?

Когда языковая модель генерирует ответ, на каждый новый токен ей приходится прочитать из памяти практически все свои веса. Вычислений на один токен при этом относительно немного, и ядра чипа в основном ждут данные. Простая прикидка. Модель на 70 млрд параметров в 8-битном формате занимает около 70 ГБ. Если память чипа отдаёт 3 ТБ/с, то для одного потока запросов потолок составит около 43 токенов в секунду, сколько бы терафлопсов ни стояло на кристалле. Это грубая иллюстрация, а не замер конкретного железа.

Что известно по теме: почему инвесторы готовы платить?

Обучение моделей — разовая крупная статья расходов. Инференс — постоянная: каждый запрос пользователя и каждый шаг агента стоит денег. Чем больше продуктов строится на длинных рассуждениях и агентных цепочках, тем сильнее счёт за токены зависит от того, как быстро железо читает веса и кэш контекста. Оценка в $7 млрд для четырёхлетней компании показывает, что рынок видит здесь шанс отыграть долю у Nvidia не в обучении, а в обслуживании готовых моделей.

Что известно по теме: что с этим делать на практике?

Продуктовым командам и разработчикам стоит пересмотреть метрики при выборе инфраструктуры. Сравнивайте не пиковые FLOPS, а пропускную способность памяти и итоговую цену миллиона токенов на вашей модели. Считайте отдельно стоимость первого токена и стоимость генерации: у них разные узкие места. Квантизация и сжатие KV-кэша — самый быстрый способ обойти ограничение уже сегодня, без смены железа. Не закладывайте экзотические чипы в план на ближайший год. Дождитесь независимых тестов и реальной доступности в облаке.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…