SAMF учит дроны находить себя на спутниковой карте по тепловизору без GNSS

Китайская исследовательская группа опубликовала на arXiv препринт SAMF (Structure-Aware Matching Framework). Это метод, который помогает беспилотнику определить своё положение, сопоставляя живой кадр с тепловизора со спутниковой картой. Задача нужна там, где GNSS недоступен или ненадёжен, а камера видимого диапазона слепнет: ночью, в дыму, тумане, при глушении и спуфинге. Авторы заявляют лучший результат на двух датасетах, Boson-nighttime и новом Thermal-UAV-Paired. Конкретных цифр в аннотации нет.

В чём проблема сопоставления

Спутниковый снимок — это цветная картинка, сделанная при дневном свете и сверху. Тепловой кадр с дрона показывает излучение поверхностей. Крыша, которая на карте выглядит светлой, ночью может оказаться холоднее асфальта. Добавьте разницу в ракурсе и яркости, и классические методы, опирающиеся на внешний вид, не находят надёжных соответствий.

По словам авторов, существующие подходы в основном борются с глобальным сдвигом между модальностями и выравнивают распределения признаков целиком. При этом они упускают то, что остаётся неизменным в обоих видах: геометрию сцены. Контуры дорог, границы построек и полей не зависят от того, снимает камера свет или тепло.

Как устроен SAMF

Фреймворк построен вокруг двух модулей, которые работают последовательно.

• DSEM (Directional Structure Enhancement Module) усиливает устойчивые структурные представления. Он вычленяет направленные и низкочастотные пространственные паттерны, то есть крупные линии и формы, а не текстуру.
• MARM (Modality-Aware Affine Remapping Module) применяет аффинную коррекцию к уже усиленным признакам. Так признаки тепловой и спутниковой ветвей подтягиваются друг к другу.

Логика такая: сначала выделить то, что стабильно, затем аккуратно скорректировать остаточную разницу между модальностями. Абляции, по заявлению авторов, подтверждают, что модули работают лучше вместе, чем по отдельности. Подробностей без полного текста статьи не видно: неизвестно, какой бэкбон лежит в основе, какова точность и сколько стоит инференс.

Данные и параметры работы

Ещё один вклад авторов — бенчмарк Thermal-UAV-Paired. Его собрали на основе существующего датасета Thermal-UAV, составив пары «тепловой кадр дрона — спутниковый снимок». Парных данных в этой нише мало, поэтому открытый набор может пригодиться и другим группам.

• Задача: геолокализация БПЛА по тепловым снимкам относительно георeференсных спутниковых изображений
• Модули: DSEM и MARM
• Датасеты для оценки: Boson-nighttime, Thermal-UAV-Paired (новый)
• Заявленный результат: state-of-the-art на обоих датасетах
• Числовые метрики в аннотации: не приводятся
• Код и данные: github.com/YuxinWang879/SAMF

Что проверить до практического применения

Это препринт версии v1, рецензирования он ещё не проходил. Заявление о state-of-the-art стоит проверять по таблицам: с какими базовыми методами сравнивали, на каких метриках и при какой высоте полёта.

Инженерам, которые делают навигацию без GNSS, имеет смысл взять репозиторий и прогнать SAMF на собственных тепловых записях. Главные вопросы такие: насколько метод переживает смену сезона между спутниковым снимком и полётом, держится ли он при изменении высоты и укладывается ли в вычислительный бюджет бортового компьютера. Для оценки нужны задержка инференса и устойчивость к устаревшим картам, а в аннотации этих данных нет.

Исследователям пригодится сам бенчмарк. Общий набор пар упрощает сравнение методов, а идея опираться на структуру, а не на внешний вид, переносится на другие пары модальностей, например радар и оптика.