TG: @gonzo_ML (gonzo-обзоры ML статей)
Источник AI-новостей. Материалы автоматически отбираются и адаптируются редакцией Hamidun News.
Последние публикации
Исследователи предложили пять проверок для объяснений поведения ИИ
Найти внутри модели сигнал опасного поведения ещё не значит научиться его отключать. Новый обзор помогает разобраться, какие доказательства стоит требовать от инструментов безопасности ИИ.
Google встроил фаззинг в автотюнер XLA и поймал 142 тихих бага компилятора на TPU
Тихие баги компилятора не роняют обучение, а молча портят результаты. Google научил автотюнер XLA сверять ответы ядер и нашёл 142 такие ошибки на TPU.
Автоматизация ИИ-разработки может ускорить прогресс в 10 раз за 17 месяцев
ИИ уже пишет большую часть принятого кода в Anthropic. Авторы нового исследования разбирают, может ли следующий шаг — автоматизация самого R&D — сжать год прогресса до пяти недель.
Автор gonzo_ML: в его команде код пишут только модели, люди ревьюят
Разработчик рассказал, как за полгода его команда перестала кодить руками: узким местом стало ревью, Rust стал реальным выбором, а Claude перепроверил налоговый отчёт.
Единое обучение подняло результат на HumanEval+ до 24,96% pass@1
Один алгоритм смешивает предобучение, дообучение и RL в общем потоке. На модели 0,76B он слегка обошёл обычный конвейер, но до промышленного масштаба ещё далеко.
Синтетическое пред-предобучение LLM не окупается: при равных FLOPs оно проигрывает обычному тексту
Многие надеялись, что короткая «разминка» модели на клеточных автоматах и скобочных языках ускорит обучение. Новая работа показывает: при честном учёте вычислений выигрыша нет.
Зацикленный трансформер на 1B параметров обошёлся в 1,4 раза дешевле по FLOP
Вместо новых слоёв — те же слои по кругу. Свежая работа показывает, какой вариант зацикливания выбрать под лимит параметров или FLOP и как не сломать параллельный декодинг.
Агент с окном 16K держит 70,2% SWE-bench Verified, сбрасывая контекст каждый шаг
Авторы статьи показали: агенту не нужен миллион токенов. Обвязка сбрасывает диалог и оставляет короткую сводку, а качество почти не падает. Но есть подвох с кешем.
Маленькая JEPA-модель сравнялась с next-token на 21,6M примеров вместо 900M
Балестриеро и ЛеКун показали: текстовая модель на 109M параметров, обученная на «хороших ракурсах» сцены, догнала угадывание слов (10,9% против 11,1%) при 42-кратно меньших данных.
Дублирование слоёв при обучении подняло GSM8K с 12% до 19% на 3B-модели
Модели, у которых слои копируют в ходе обучения или гоняют по кругу, лучше учатся на примерах из промпта. У 3B-версии выигрыш на школьной математике GSM8K — 19% против 12%.
В DeepSeek-V4.1-Flash KV-кэш в HBM сократили до 890 байт на токен вместо 3514
DeepSeek-V4.1-Flash с контекстом 1M токенов хранит глобальный KV-кэш в 890 байтах на токен вместо 3514 и на агентных бенчмарках сравнялась с Opus-5.
TokenRouter ускорил потокенную маршрутизацию между моделями до 64 раз
Исследователи сделали рантайм, который переключает генерацию между малой и большой LLM на каждом токене. Пропускная способность выросла в 2–64 раза против прежних реализаций.