Tecnologia sensor fusion: integrazione dati per veicoli autonomi

Nessun sensore, da solo, riesce a percepire il mondo nella sua interezza. Il radar misura distanze e velocità ma non distingue un pedone da un ciclista, la telecamera legge la segnaletica ma si confonde con il buio, il liDAR ricostruisce l’ambiente in 3D ma soffre la nebbia e la pioggia. Ogni dispositivo, insomma, porta con sé un punto di forza e un limite preciso.

Da questa consapevolezza nasce la sensor fusion, la tecnologia che fonde i dati di sensori diversi per trasformare tante percezioni parziali in un’unica rappresentazione coerente e affidabile dell’ambiente. È ciò che permette a un veicolo autonomo di muoversi in sicurezza tra pedoni e altri mezzi, a un velivolo di mantenere una navigazione precisa anche in condizioni critiche e a un impianto industriale di intercettare un guasto prima che si manifesti.

Nelle prossime sezioni vedremo come funziona la sensor fusion, quali sensori e algoritmi ne costituiscono il cuore, come si classificano le sue architetture e dove trova applicazione concreta: dalla guida autonoma all’aerospace, fino all’Industria 4.0.

La sensor fusion è un processo che combina dati provenienti da diversi sensori, come GPS o LiDAR, per ottenere una rappresentazione più accurata dell’ambiente di quanto ogni sensore possa fornire, se preso singolarmente. Nel caso di un veicolo autonomo, questo significa unire le informazioni provenienti da sensori quali radar, GPS, videocamere, LiDAR per creare una mappa dell’ambiente circostante. In questo modo è possibile dare una valutazione sullo stato del veicolo e prevedere i movimenti degli altri utenti della strada.

La sensor fusion è nota anche come multi-sensor data fusion e costituisce un sottoinsieme della più ampia information fusion. A seconda della natura dei dati combinati si distinguono la fusione diretta, che integra le misure provenienti dai sensori, e la fusione indiretta, che sfrutta informazioni a priori sull’ambiente. L’obiettivo comune resta la riduzione dell’incertezza e una maggiore consapevolezza situazionale rispetto a quanto ottenibile da una singola fonte.

Un singolo sensore, per quanto accurato possa essere, non basta a descrivere in modo esaustivo la totalità dell’ambiente circostante, per via dei suoi limiti fisici: ad esempio il radar ha una risoluzione limitata nel distinguere gli oggetti, la camera perde risoluzione in condizioni di scarsa luminosità. Appare evidente che basare le scelte di un veicolo a guida autonoma sulle informazioni provenienti da un singolo sensore riduce drasticamente la sicurezza del veicolo.

La sensor fusion introduce due concetti: fusione e ridondanza. Con fusione si intende il mettere assieme informazioni provenienti da sensori con caratteristiche diverse, in modo da fornire più dati possibili all’unità di controllo del veicolo per migliorarne le decisioni.

La ridondanza è riferita al numero di misure fornite da ciascun sensore al fine di migliorare la stima delle misure calcolate e per escludere malfunzionamenti di ciascun sensore.

I tre sensori principali utilizzati nei veicoli a guida autonoma sono: radar, liDAR e camera:

• Il sensore radar (Radio Detection and Ranging) trasmette onde elettromagnetiche a radio frequenza tramite un’antenna, la quale riceve le stesse onde riflesse dagli ostacoli incontrati. In questo modo è possibile individuare la presenza di oggetti, stimarne la loro distanza e anche la relativa velocità. Il radar risulta essere molto robusto a condizioni meteo difficili, quali pioggia o nebbia, per via della lunghezza d’onda utilizzata che non subisce interferenze durante la fase di ritorno. Ha, però, una risoluzione limitata nel distinguere gli oggetti, non riuscendo a riconoscere se l’ostacolo individuato è una macchina, una moto o un pedone.
• Il sensore liDAR (Light Detection and Ranging) è uno strumento di telerilevamento che tramite un impulso laser emesso e la ricezione del segnale retrodiffuso riesce a costruire una nuvola di punti 3D ad alta risoluzione. È quindi in grado di fornire una mappa 3D dell’ambiente circostante. Tuttavia, risulta essere molto sensibile alla presenza di nebbia e pioggia per via delle caratteristiche fisiche del raggio laser utilizzato.
• Le telecamere catturano immagini e, tramite algoritmi di visione artificiale, forniscono tantissime informazioni sull’ambiente circostante: presenza di ostacoli, lettura segnali stradali, riconoscimento corsie e semafori. Tuttavia, soffrono in condizioni di scarsa illuminazione e inclinazione del manto stradale.

La combinazione radar, liDAR, camera risulta essere vincente perché i punti di debolezza di un sensore, sono i punti di forza di un altro sensore, riuscendo a fornire un’accuratezza della scena che nessun sensore sarebbe in grado di raggiungere singolarmente.

Il più classico algoritmo alla base del sensor fusion è noto come filtro di Kalman: è un algoritmo ricorsivo che, dato un modello dinamico del sistema e misure provenienti dai sensori utilizzati, predice l’evoluzione dello stato e delle variabili che lo descrivono, quali per esempio velocità e posizione. La predizione viene corretta ogni qualvolta arriva una nuova misura da un sensore.

Una variante del filtro di Kalman, ma matematicamente equivalente, è il filtro di informazione: partendo dal presupposto che ogni sensore fornisce un’informazione, l’informazione totale corrisponde alla somma di ogni singola informazione fornita da ciascun sensore. Questo si traduce in una semplificazione matematica rispetto all’algoritmo di Kalman, rendendo il filtro di informazione più comodo da usare in alcune situazioni, soprattutto con molti sensori o sistemi distribuiti.

Negli ultimi anni, la sensor fusion è stata utilizzata con l’intelligenza artificiale. Gli algoritmi di deep learning integrano i dati forniti dai diversi sensori all’interno di reti neurali. Esistono due principali approcci:

1. Approccio early fusion: i dati provenienti dai diversi sensori sono combinati prima di qualsiasi elaborazione di alto livello. La fusione di dati così generata viene poi usata come input di un modello di machine-learning;
2. Approccio late fusion: i dati di ciascun sensore sono processati indipendentemente per fare una predizione locale. Tutte le predizioni locali vengono poi combinate da un processo di alto livello per poter così generare una predizione finale.

Questi algoritmi di deep learning sono in grado di interpretare ambienti complessi, tuttavia risultano avere dei limiti in termini di robustezza, soprattutto in domini safety-critical come l’aerospace.

La sensor fusion è una tecnologia chiave nei sistemi avionici, in grado di migliorare la sicurezza a bordo. Le sue principali applicazioni riguardano le seguenti aree di impiego:

• Navigazione: combinando dati provenienti da radar di bordo, GPS, liDAR aeronautici, la sensor fusion fornisce una stima continua e robusta della posizione, traiettoria e assetto del sistema, aumentando l’affidabilità della navigazione anche in condizioni meteo critiche.
• Aeronautico: i dati provenienti da radar, liDAR, camere nei velivoli sono utilizzati per aumentare la sicurezza contro il rischio di collisioni con oggetti in movimento e per dare una precisa percezione dell’ambiente circostante dalla fase di decollo fino a quella di atterraggio.

In ambito aerospace la ridondanza è essenziale: vengono infatti impiegati più canali sensoriali indipendenti, in modo da consentire la capacità di navigazione anche in presenza di guasti parziali.

L’implementazione della sensor fusion richiede software e piattaforme specializzati per gestire una grande quantità di dati in tempo reale. Sono infatti stati sviluppati due tipi principali di architetture, note come centralizzate e distribuite. Nelle architetture centralizzate, i dati forniti da ciascun sensore sono inviati ad un unico modulo noto come fusion center che esegue la data fusion. Idealmente questa architettura può raggiungere il livello più alto di performance, però nella pratica dovendo utilizzare algoritmi più complessi rispetto a quelli usati dalle architetture distribuite, necessita di un hardware più potente.

Nelle architetture distribuite ogni sottosistema esegue una pre-elaborazione dei dati e invia la stima ottenuta al fusion center, che esegue una fusione delle stime ricevute. In genere le architetture distribuite hanno strutture modulari e sono robuste a possibili guasti dei sensori.

La validazione di un sistema di sensor fusion avviene confrontandone l’uscita con un riferimento di verità (ground truth), tramite metriche dedicate che ne misurano l’accuratezza nel tracciamento multi-oggetto.

I requisiti computazionali che la sensor fusion deve soddisfare sono elevati: la fusione in tempo reale di stream di dati provenienti dai sensori richiede CPU performanti, acceleratori dedicati e ottimizzazioni a livello di sistema operativo. Inoltre, la latenza deve restare entro limiti stretti per garantire che le decisioni del veicolo si basino sempre su dati aggiornati.

Nei veicoli autonomi moderni, la multi sensor fusion driving è molto utilizzata. Un esempio è dato dal lane change: la camera individua le linee sulla carreggiata, il liDAR ricostruisce la geometria del manto stradale e il radar identifica i veicoli nelle corsie vicine, consentendo di cambiare corsia in sicurezza.

Nel contesto urbano, la sensor fusion è fondamentale per gestire veicoli, pedoni, ciclisti, semafori. Le telecamere poste sul parabrezza dell’auto riconoscono la segnaletica stradale e i semafori, il radar consente di individuare ostacoli nelle vicinanze e il liDAR aiuta a distinguere gli ostacoli tridimensionali. Utilizzando tutte queste informazioni con gli algoritmi di sensor fusion è possibile predire le intenzioni degli altri utenti della strada e pianificare manovre sicure.

Nel contesto extraurbano la sensor fusion supporta funzioni dei sistemi ADAS quali l’adaptive cruise control avanzato e la gestione degli ingorghi.

Le telecamere, il liDAR e il radar descrivono l’ambiente circostante e sono accompagnati dai sistemi di navigazione che forniscono informazioni riguardo a curve e svincoli. Anche in questo caso, applicando la sensor fusion allo stream di dati ricevuti è possibile aumentare notevolmente la sicurezza durante la guida.

Fino ad oggi la sensor fusion ha fatto grandi progressi, ma deve ancora affrontare numerose sfide. Una delle più rilevanti riguarda i limiti di affidabilità dei sensori utilizzati in condizioni meteo avverse, come nebbia fitta, neve e pioggia forte. In questo caso è necessario progettare strategie di sensor fusion in grado di adattare il peso dato a ciascun sensore dall’unità di controllo del veicolo. Un’altra sfida riguarda la standardizzazione di interfacce e protocolli di comunicazione utilizzati al fine di semplificare il modello dinamico implementato e snellire i complessi algoritmi software utilizzati.

Sul fronte tecnologico la sensor fusion sta evolvendo verso la guida autonoma di livello 5, gestita interamente senza supervisione umana. Per raggiungere questo obiettivo, l’intelligenza artificiale viene integrata a bordo del veicolo assieme a sistemi di comunicazione come il V2X (Vehicle to everything) in modo da arricchire ulteriormente la percezione locale a bordo del veicolo.

Proprio la forte interconnessione che rende efficace la sensor fusion ne rappresenta, sul piano della cyber security, il principale punto debole: un attaccante che comprometta l’unità di elaborazione centrale può mettere fuori uso l’intero sistema. Una vulnerabilità documentata è il GPS spoofing, ovvero la trasmissione di falsi segnali satellitari, che in un veicolo a guida autonoma può indurre deviazioni laterali di alcuni metri, sufficienti a portare il mezzo sulla corsia opposta.

È importante però accompagnare alle peculiarità tecniche di questo sistema anche appropriate soluzioni difensive di cyber security per ridurre al minimo potenziali attacchi esterni.