Как избежать утечки данных в машинном обучении: Target Encoding
Target encoding кажется простым способом обработать категориальные признаки — но наивная реализация незаметно «сливает» таргет в обучающую выборку. Метрики на валидации выглядят отлично, а модель в проде не работает. Статья объясняет, где именно возникает leakage, и показывает правильные реализации через Leave-One-Out и K-Fold — чтобы получить честный результат, а не красивые цифры на дашборде.
AI-обработка оригинала Habr AI; редакция Hamidun News
Target encoding — метод машинного обучения для кодирования категориальных признаков, но его наивная реализация систематически вызывает утечку данных и завышает метрики модели на тестах, которая разваливается на проде.
Что такое target encoding в машинном обучении?
Target encoding заменяет каждое уникальное значение категориального признака средним значением целевой переменной по этой категории. Например, каждому городу присваивается среднее значение продаж по клиентам из этого города.
- 9 февр. 2026 г.Виртуальный питомец из детства стал реальностью: разработка Huawei
- 23 февр. 2026 г.OpenAI отказалась от главного бенчмарка для оценки кода — и это меняет правила игры
- 16 мая 2026 г.Глоссарий популярных AI-терминов: что означают галлюцинации, токены и промпты
- 26 июл. 2026 г.Memory Merge DQN: слияние весов target-сети вместо жёсткой замены в DQN
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.