Six caméras vont analyser en permanence l’environnement du véhicule et plus précisément la signalétique et les feux de circulation. Elles permettent aussi de détecter et d’identifier les obstacles et les points-clés de la chaussée. Les images de ces caméras seront interprétées par le système embarqué et traitées avec les données des autres capteurs comme les LIDARs.
Car le volume d’informations à traiter en temps réel pour réagir à tout changement est très important. Et c’est là que va intervenir le « deep learning » ou « apprentissage profond » sans lequel il serait impossible d’analyser et traiter toutes ces informations. Ce « deep learning » est une technique d’apprentissage permettant à un programme de reconnaitre le contenu d’une image (voiture, piéton, obstacle, animal, panneau de signalisation,…) par des réseaux qui communiquent entre eux pour apprendre et s’améliorer en continu pour pouvoir gérer des situations et cas exceptionnels. Le fonctionnement est pratiquement similaire à la fonction des neurones de notre cerveau pour traiter une quantité monumentale de données et prendre des décisions en moins d’un quart de seconde.