TGIT переводит короткие команды для дронов и поднимает успех навигации с 11% до 33%

Модели воздушной навигации по тексту (aerial vision-and-language navigation, VLN) обучают на подробных командах, выверенных по траектории полёта. Люди же говорят иначе: коротко и с упором на цель. На замороженном навигаторе OpenFly этот разрыв сбрасывает долю успешных миссий (SR) с 31,03% до 11,33%. Авторы новой работы на arXiv предложили Trajectory-Grounded Instruction Translator (TGIT). Это переводчик, который переписывает короткую команду в форму, понятную агенту, и не требует дообучать сам навигатор. На реальных человеческих инструкциях он поднимает SR с 11,33% до 32,51%.

Где ломается связка человека и дрона

Навигатор видит мир через обучающую выборку. Там инструкции похожи на пошаговый маршрут: пролети вдоль здания, поверни у перекрёстка, снизься у красной крыши. Пользователь скажет «слетай к тому высокому зданию у реки». Для человека этого достаточно. Для агента, привыкшего к деталям, это почти шум.

В статье разрыв измерен напрямую. На подробных исходных командах замороженный OpenFly выдаёт 31,03% SR. На коротких, ориентированных на намерение инструкциях результат падает до 11,33%. Переобучать навигатор под каждый стиль речи дорого и неудобно, особенно если он уже развёрнут и заморожен. Поэтому авторы стали менять вход, а не модель.

Как устроен TGIT

Тренировать переводчик нужны пары «короткая команда — подробная команда». Реальных пар мало, и авторы собрали их синтетически. Языковой модели дали несколько написанных людьми примеров стиля и попросили превратить исходные команды в «слабые» (Weak): короткие, с упором на намерение. Эти Weak-команды сами по себе дают 15,27% SR, то есть чуть лучше живых человеческих инструкций, но заметно хуже оригиналов.

TGIT работает как фронтенд перед навигатором. Он принимает Weak-вход и выдаёт команду, которую агент способен исполнить. Обучается переводчик на исходах траекторий: смотрит, куда реально полетел замороженный навигатор после той или иной формулировки, и подстраивает перевод под это поведение. Отсюда название «trajectory-grounded».

Ключевые цифры из абстракта:

• замороженный OpenFly на подробных командах: 31,03% SR;
• он же на коротких человеческих инструкциях: 11,33% SR;
• Weak-команды без перевода: 15,27% SR;
• Weak-вход через TGIT: 37,93% SR;
• реальные человеческие инструкции через TGIT, zero-shot: 32,51% SR;
• отложенная выборка OpenFly: с 4,95% до 20,79%.

Отдельно стоит посмотреть на 37,93%. Это выше, чем 31,03% на исходных подробных командах. Видимо, переводчик не просто восстанавливает потерянные детали, а учится формулировать так, как навигатору удобнее. Но выводы тут осторожные: сравнивать эти показатели стоит по условиям эксперимента в полном тексте работы.

Перенос тоже важен. Переводчик обучался на синтетических Weak-командах, а на реальных людях сработал без дообучения: 11,33% превратились в 32,51%. Для бенчмарков CityNav и AirVLN авторы сообщают о «восстановлении» качества. Численных значений в абстракте нет, так что масштаб эффекта там пока неизвестен.

Что можно взять в работу

Главная практическая идея в том, что адаптеру достаточно наблюдать поведение чужой модели. Его веса, градиенты и обучающие данные не нужны. Команды, которые эксплуатируют готовые навигационные модели для дронов или роботов, могут поставить такой слой перед системой и не трогать то, что уже сертифицировано или оттестировано.

Есть и ограничения. Результаты получены на симуляционных бенчмарках, а не в полётах. Weak-команды сгенерированы моделью по нескольким образцам, поэтому реальное разнообразие речи, акцентов и шума голосового ввода остаётся открытым вопросом. Прежде чем строить продукт, имеет смысл проверить TGIT на своих сценариях и своём стиле запросов. Если эффект подтвердится, перевод намерения в исполняемую инструкцию станет отдельным слоем в стеке автономных агентов, а не задачей для переобучения каждой новой модели.