Дистилляция ансамбля на Kaggle: одна модель обошла учителя и сэкономила 6,5 часа

В соревнованиях с жёстким лимитом на инференс часто упираешься не в качество, а во время. Именно с этим столкнулась команда, занявшая 19-е место в RSNA Knee Abnormality Detection на Kaggle: их ансамбль из ConvNeXt, CoAtNet и ResNet-GRU считался около семи часов из девяти допустимых. Добавить к нему другие сильные модели было просто некуда.

Как сжать ансамбль в одну модель

Решение — классическая дистилляция, но с аккуратными деталями. Учителем стали out-of-fold предсказания раннего ансамбля: каждое исследование предсказывали только те модели, которые его не видели при обучении. Так мягкие таргеты не протаскивают в ученика утечку меток.

Таргеты сделали смесью 50/50: вероятности, которые LLM вывела из радиологических заключений, и OOF-вероятности учителя. Ученик — ConvNeXt-Tiny с головой slice-attention: поле зрения 140 мм, вход 384 px, 8 окон на серию при обучении и 16 при инференсе. Плюс EMA весов, попарный ранжирующий лосс поверх BCE и раздельные learning rate для бэкбона и головы.

Итог: на private LB ученик набрал 95,1% против 94,8% у учителя, а инференс занял около получаса вместо семи часов. Усреднение 6 или 12 учеников почти ничего не добавило (95,2%), так что одной модели хватило.

Глобальный и локальный взгляд

Вторая часть решения — ветка с MedSAM. Когда снимок целиком ужимают до небольшого размера, мелкие детали пропадают. Поэтому одна глобальная модель смотрела на всё колено, а пять специалистов — на локальные кропы под конкретные находки.

MedSAM при этом использовали замороженной и без дообучения: она сегментирует кость на среднем срезе, а верхняя граница самой большой компоненты маски служит якорем. От него кропы 288×288 пикселей (около 80 мм) ставятся с фиксированными смещениями. Бленд глобальной модели и специалистов дал 96,4% на public и 95,3% на private, тогда как по отдельности они показали 96,0/95,1% и 95,9/94,8%.

LLM как разметчик

Отдельно интересна разметка. Для каждого исследования запускали свежего агента с промптом «ты радиолог»: он читал заключение и DICOM и выдавал вероятности по 12 находкам, причём просили использовать весь диапазон от 0 до 1. Лучше всего сработало среднее двух прогонов: с DICOM и заключением и только с DICOM. Разметка только по заключениям на другой модели оказалась заметно хуже. Для 440 спорных случаев Lateral OA провели переразметку, но измерить её эффект авторы не смогли.

Что с блендингом

Самый практичный раздел — про веса бленда. Фиксированные веса, подгонка по находкам на Gold-наборе из 58 исследований и шринкаж к равным весам отличались на private LB не больше чем на 0,1 п.п. Чем точнее веса подгоняли под Gold, тем лучше был скор на нём и хуже на public. Split-half CV заранее показывала, что такая подгонка вредит.

Что из этого взять

• Если инференс упирается в лимит, попробуйте дистилляцию из OOF-предсказаний: ученик может не уступить учителю.
• Мягкие таргеты от LLM по текстовым заключениям — дешёвый способ получить вероятностные метки.
• На крошечной валидации не оптимизируйте веса бленда: равные веса почти всегда безопаснее.
• Для узких деталей добавляйте локальные кропы к глобальной модели, а не увеличивайте разрешение целиком.

Ограничения тоже стоит помнить. Авторы сами признают, что в итоге доверились public-лидерборду, а Gold из 58 кейсов не позволял надёжно сравнивать стратегии. Это рабочий кейс из медицинского Kaggle, а не клинически проверенная система, но рецепт переносится на любые задачи, где ансамбль не помещается в бюджет по времени.