Naukowcy: Samochody będą mogły "myśleć" podobnie do ludzi

Jak podkreślają eksperci z Uniwersytetu Tsinghua, mimo ciągłych postępów systemy sterujące autonomicznymi samochodami wciąż mają poważne braki - często nie dysponują wiedzą o świecie, mają trudności w rzadkich lub niejednoznacznych sytuacjach i zapewniają minimalny wgląd w proces podejmowania decyzji.

Z kolei duże modele językowe (LLM), takie jak ChatGPT, świetnie radzą sobie z wnioskowaniem, rozumieniem kontekstu i interpretacją złożonych instrukcji, ale ich wyniki mają charakter językowy, a nie wykonywalny, co utrudnia integrację z rzeczywistym sterowaniem pojazdu.

Aby poradzić sobie z tym problemem, chiński zespół opracował nową formułę – DriveMLM. System integruje obrazy z kamer wielokierunkowych, chmury punktów z LiDAR-u, komunikaty systemowe oraz instrukcje użytkownika, aby generować spójne plany zachowań.

Można je bezpośrednio podłączyć do istniejących modułów planowania ruchu, co umożliwia sterowanie jazdą w czasie rzeczywistym, przy jednoczesnym opisów każdej decyzji naturalnym języku.

DriveMLM podejmuje więc kluczowe wyzwanie związane z jazdą opartą na LLM - przekształcenie językowego rozumowania w niezawodne zachowania sterujące pojazdem – podkreślają twórcy systemu.

Zespół stworzył też system treningowy, który wygenerował 280 godzin danych z jazdy w 30 wymagających scenariuszach, w tym w rzadkich, krytycznych dla bezpieczeństwa sytuacjach. W testach nowej technologii uzyskano lepszy wyniki niż z użyciem jednego z najbardziej znanych systemów autonomicznej jazdy na świecie – Apollo.

"Nasze badanie pokazuje, że LLM-y, gdy zostaną powiązane ze strukturalnymi stanami decyzyjnymi, mogą pełnić rolę potężnych systemów planujących zachowania dla pojazdów autonomicznych" – twierdzą naukowcy.

"DriveMLM wykracza poza zwykłe przestrzeganie zasad. Rozumie złożone sceny, potrafi wnioskować o ruchu i wyjaśnia swoje decyzje w języku naturalnym. Są to zdolności kluczowe dla bezpieczeństwa i zaufania publicznego. Dzięki połączeniu percepcji, planowania i instrukcji użytkownika w jednym środowisku, DriveMLM wyznacza obiecujący kierunek dla systemów autonomicznej jazdy nowej generacji" – wyjaśniają.