Erster Platz bei der ACM Multimedia 2024 UAVs in Multimedia Challenge
1 Oktober 2024
Unbemannte Luftfahrzeuge (UAVs) sind für die Navigation auf eine genaue Geolokalisierung angewiesen. Herkömmliche GPS-basierte Methoden können jedoch in städtischen Umgebungen, bei schlechtem Wetter oder aufgrund von Signalstörungen versagen. Die KI-basierte visuelle Geolokalisierung gleicht daher von UAVs aufgenommene Bilder mit Satellitenreferenzen ab und ermöglicht so eine genaue Positionierung ohne GPS. Allerdings wird diese Aufgabe durch reale Herausforderungen wie Beleuchtungsänderungen, Verdeckungen und Wetterschwankungen erschwert.
Die UAVs in Multimedia: Capturing the World from a New Perspective auf der ACM Multimedia bringt die UAV-Lokalisierungsforschung weiter voran. Beim Wettbewerb 2024 in Melbourne, Australien, präsentierten die Organisatoren den University-160kWX-Datensatz, mit dem die Robustheit unter verschiedenen Wetterbedingungen getestet werden soll. Der Datensatz enthält 160.000 Satellitenbilder und über 80.000 Drohnenbilder. Jede Drohnenansicht, die unter verschiedenen Wetterszenarien aufgenommen wurde, muss zur Lokalisierung mit dem entsprechenden Satellitenbild abgeglichen werden. Um die Komplexität der Aufgabe zu erhöhen, enthält der Datensatz eine große Anzahl von Ablenkungs-Satellitenbildern ohne passende Drohnenansichten. Unser Team - Fabian Deuser, Konrad Habel, Norbert Oswald (UniBwM) und Martin Werner (TUM) - sicherte sich erneut den ersten Platz mit einem verbesserten Re-Ranking-Ansatz, um unsichere Vorhersagen zu behandeln. Mit Hilfe von Vision Transformers, die mit DINOv2 trainiert wurden, und einer neuartigen k-Means-Ranking-Strategie erreichten wir die höchste Genauigkeit bei der visuellen Lokalisierung.
Weitere Einblicke in unsere Methodik und Ergebnisse finden Sie in der beigefügten Veröffentlichung. Unsere Arbeit wurde auf dem UAVM Workshop der ACM Multimedia 2024 in Melbourne vorgestellt.
Optimizing Geo-Localization with k-Means Re-Ranking in Challenging Weather Conditions
Fabian Deuser, Konrad Habel, Martin Werner, Norbert Oswald
