tous les documents
  • tous les documents
  • Images
  • Films
  • Rushes
  • Publications
  • Audio
Recherche avancée
Ensemble de recherche :
tous les documents
  • tous les documents
  • Images
  • Films
  • Rushes
  • Publications
  • Audio
Recherche par couleur
Ensemble de recherche :
tous les documents
  • tous les documents
  • Images
  • Films
  • Rushes
  • Publications
  • Audio
Code HTML Copiez-collez le code ci-dessous pour l'intégrer dans une page Web.
Titre :
Détection et interprétation d'obstacles par système multicapteurs
Légende - Résumé :
Projet européen Prometheus : vision pro-art
Détection et interprétation d’obstacles par système multi-capteurs
Perception de l’environnement routier par multi-capteurs
Fusion et interprétation de données multi-capteurs
Intégration logicielle de modules de traitement de vision

Apport du système expert Prométhée
Nom de fichier :
INRIA-156-fr.mp4
Titre :
Détection et interprétation d'obstacles par système multicapteurs
Année :
1991
Durée (min) :
00:13:14
Publications :
https://videotheque.inria.fr/videotheque/doc/156-fr
Autres versions :
Master VF : 156-fr
Master VEN : 156-en
Autre : Lien externe :
Lien Equipe-projet :
Lien Centre de Recherche :
Mots clés :
N° master :
156
Durée :
13 min 14 sec
IsyTag :
- - 2D - 3D - algorithme - apparent - capteur - chaîne - contour - critère - cycliste· - différent - environnement - image - interprétation - logicielle - modèle - module - mouvement - objet - point - primitives - pyramidal - résolution - routier - routier· - scène - stéréovision - système - traitement
Transcription automatiqu :
dans le cadre du projet promettait nous étions à almeria sofia-antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier cette nous avons abordé essentiellement les trois sujets suivants premièrement la perception de l'environnement routier par multiples capteurs notamment la vision de vision et le mouvement la fusion et l'interprétation de ces données l'intégration logiciel des modules de traitement vision schéma illustre les traitements fondamentaux de notre système à savoir la perception de l'environnement routier par multi capteurs deuxièmement la vision et l'interprétation des données obtient ainsi une description de la scène premièrement nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques capteurs logiques et l'association d'un capteur physique une ou plusieurs caméras ccd avec un logiciel de traitement capteur de dean permet d'obtenir des primitifs de dés perçus dans le plan image quatorze est nos visions permet d'obtenir des primitifs dimensionnées dimensionné dans l'espace enfin capter un mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement but des capteurs logiques de d et donc d'extraire les primitifs de type point de chaîne de contour ainsi que segment droites cette tâche est accomplie par les trois opérations suivantes extraction des contours des contours l'approximation le premier exemple est une image d'une scène de ville nous voyons les chaînes de contour extrait sur cette image la dernière image montre segment de droite obtenu par approximations polygones halles exemple est une de ville comportant un obstacle typique en cycliste nous voyons les chaînes de contours ainsi que segment des droites obtenues dans ce cas utilisant la stéréo vision pour avoir une représentation très dimensionné de l'environnement routier algorithmes stéréo vision que nous avons développé travaillent sur une structure pyramidale des points de chaînes de contours processus des mises en correspondance contours entre l'image gauche et l'image droite donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide une fois que les points de chaîne des contours sont parier les points trois d dans l'espace cent reconstruit par une technique des triangulaires nous allons montrer un exemple des résultats il s'agit de la scène les cyclistes perdent image thériault est prise par deux caméras ccd montés sur toit de véhicules construisant une structure pyramidale les points de chaîne des contours sur laquelle s'appuie le processus de mise un correspondance la première étape consiste dans l'appareil des grandes structures de la scène un résonance la résolution la plus grossière d'abord en fonction des similarités entre les points de contour est employée pour déterminer les points ensuite validés en contre la de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation le premier exemple est une image d'une scène de ville nous voyons les chaînes de contour extrait sur cette image la dernière image montre segment de droite obtenu par approximations polygones halles exemple est une de ville comportant un obstacle typique en cycliste nous voyons les chaînes de contours ainsi que segment des droites obtenues dans ce cas utilisant la stéréo vision pour avoir une représentation très dimensionné de l'environnement routier algorithmes stéréo vision que nous avons développé travaillent sur une structure pyramidale des points de chaînes de contours processus des mises en correspondance contours entre l'image gauche et l'image droite donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide une fois que les points de chaîne des contours sont parier les points trois d dans l'espace cent reconstruit par une technique des triangulaires nous allons montrer un exemple des résultats il s'agit de la scène les cyclistes perdent image thériault est prise par deux caméras ccd montés sur toit de véhicules construisant une structure pyramidale les points de chaîne des contours sur laquelle s'appuie le processus de mise un correspondance la première étape consiste dans l'appareil des grandes structures de la scène un résonance la résolution la plus grossière d'abord en fonction des similarités entre les points de contour est employée pour déterminer les points ensuite validés en contre la de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont parier les points trois d dans l'espace cent reconstruit par une technique des triangulaires nous allons montrer un exemple des résultats il s'agit de la scène les cyclistes perdent image thériault est prise par deux caméras ccd montés sur toit de véhicules construisant une structure pyramidale les points de chaîne des contours sur laquelle s'appuie le processus de mise un correspondance la première étape consiste dans l'appareil des grandes structures de la scène un résonance la résolution la plus grossière d'abord en fonction des similarités entre les points de contour est employée pour déterminer les points ensuite validés en contre la de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation nous allons montrer un exemple des résultats il s'agit de la scène les cyclistes perdent image thériault est prise par deux caméras ccd montés sur toit de véhicules construisant une structure pyramidale les points de chaîne des contours sur laquelle s'appuie le processus de mise un correspondance la première étape consiste dans l'appareil des grandes structures de la scène un résonance la résolution la plus grossière d'abord en fonction des similarités entre les points de contour est employée pour déterminer les points ensuite validés en contre la de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La première étape consiste dans l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· ensuite les appariements sont validés en contrôlant de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en de la disparité long des siennes les disparités obtenues les données un site utilisé pour guider la mise en correspondance effectué à la résolution supérieure le processus continuera jusqu'à la plus haute résolution présentant les chaînes reconstruites en trois d lui par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène logiciel montre des chaînes filières selon le point d'observation certaines chaînes sont donc vues par transparence lorsque les observateurs bougent légèrement vers le haut à droite nous distinguons nettement files de voitures sur la gauche la ligne de séparation des voix et le cyclisme sur la droite est chaîne survie par transparence l'observateur se déplace vers la gauche une cycliste apparaît nettement maintenant distinguant encore le cycliste le droit de la route une voiture garée qui apparaît pour pouvoir étudier l'aspect dynamite un routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de ces révision pour estimer les mouvements apparents entre deux images consécutives images à l'instant tentées et images à l'instant suivant plus d'été travaillant sur le même type et primitive des points de chaînes de contour et utilisant également une structure pyramidale pour effectuer la mise en correspondance nous montrons maintenant les résultats obtenus pour la scène et ses prix voici des images consécutives de cette scène l'image à l'instant et l'image à l'instant plus d'été les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· les mêmes principes dans ces révision nous une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points des contours pour estimer le mouvement apparent aux différentes résolutions ce cas est contraint sur les lignes polaires et pourront pas être utilisés dans une fenêtre de recherche dans la taille est déterminée par les mouvements maximaux autorisés en x et en grec point seront parié une fonction imméritée on sait qu'une contrainte de continuité du mouvement apparent le long des chaînes estimant d'abord le mouvement apparent à la résolution la plus grossière le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation des mouvements apparents ce processus continuera jusqu'à la plus haute résolution voici mouvements apparents estimé aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions deuxième sujet auquel nous nous intéressons est la et l'interprétation des données multi capteurs l'objectif consiste à traiter les données multi capteurs afin de fournir une description de l'environnement dans ce contexte avons traité deux types de problèmes à savoir les problèmes de coopération entre les primitifs d'aider et trois des et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitifs trois des élus mouvement apparent cherchant à obtenir une description plus symbolique de l'environnement routier et des trois des principes de cette coopération de détroit d et de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord hypothèse l'objet en utilisant les primitifs d'aider et des modèles géométriques de des objets ensuite les valider ou de rejeter ces hypothèses obligés en vérifiant la cohérence en dimensions selon les chaînes dans un premier temps utilisant des modèles géométriques simples à des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules des modèles de bord de route et des modèles de poteaux montrant un exemple résultat est une scène de ville primitif d'aider nous utilisons les segments des droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· appliquant des modèles géométriques d'objets prédéfini notre algorithme coopération de détroit des est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules derrière un bord de route et quatre poteaux nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets de réformable cela nous réalisa la coopération trois mouvements algorithme développé est constitué de trois opérations premièrement le regroupement des chaînes de aidés selon un critère de proximité dans l'espace et deuxièmement le groupement des chaînes d'aidés selon un critère d'homogénéité du mouvement apparent enfin l'interprétation des objets au niveau de l'interprétation des critères sont utilisés pour la prise des décisions concernant la nature des objets si les chaînes du même groupe ont un mouvement apparent homogène ce groupe de correspondants deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisa la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· deux des chaînes de aidé d'un même n'ont pas un mouvement apparent homogène ce groupe correspondant un objet de réformable ou articulé nous montrons maintenant un exemple des résultats pour la scène cycliste selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon critère de proximité dans l'espace trois d aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D aider sans couper des sous-ensembles cela illustrée par des couleurs différentes connaissant le mouvement apparent des chaînes des dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image peut les grouper également sous ensemble selon un critère d'homogénéité mouvement apparent le des chaînes en appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet réformable concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· concluant la présentation de ses travaux par le problème de l'intégration logiciel des modules des traitements vision effets dans le cadre des prométhée eues outre le développement de modes de vision spécifique intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste sommes intéressés au de robustesse du système à travers son adepte méditer à différents types de scènes et des conditions d'acquisition des données correspondant pour réaliser cette intégration nous avons développé le système expert promettait qui est spécialisé dans le pilotage du capteur logique trois d de stéréo vision architecture logiciel est constitué du système expert prométhée de la bibliothèque des modules bien sûr des images système expert prométhée contient la connaissance spécifique à la bibliothèque des modules tels que leurs conditions d'utilisation la manière de choisir entre plusieurs traitements possibles ou la manière d'optimiser leur utilisation opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution a été construit à l'aide du noyau de systèmes experts okapi spécialisés en planification et contrats d'exécution des programmes présentant maintenant le déroulement d'une session d'utilisation du système expert nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· nous voyons ici plusieurs contextes possibles allons nous situer dans le contexte de fonctionnement automatique tous les choix et optimisation se feront donc sans l'aide d'un utilisateur d'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· maintenant le système expert en demandant la résolution de la requête stéréo vision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique ce système lance donc la résolution de l'opérateur stéréo au pire qui se décompose en étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes d'abord des états d'échantillonnage une sur l'image de droite une sur l'image de gauche puis une étape d'extraction des primitives experiment elle-même une étape des composantes d'exécution s'affichent des bas en eau de lave correspond à une décomposition en état l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· l'arme correspond à un programme de la bibliothèque qui est effectivement executé par le système par exemple actuellement les programmes réalisant les machines est en cours d'exécution nous voyons ici l'ensemble de l'art des traitements executé après le déroulement complet de la session nous avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations les ajustements et les bouclages qui ont été décidés automatiquement par exemple opérateurs de machines à boucler deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert promettait de piloter le capteur trois d de vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert PROMETHEE permet de piloter le capteur 3D de stéréovision vision en adaptant automatiquement ces paramètres pour obtenir des résultats satisfaisants pour la suite du traitement on peut ainsi l'adapter à des scènes variées aussi bien des scènes de campagne il y a des conditions d'acquisition des données diverses images plus ou moins critiques du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert PROMETHEE permet de piloter le capteur 3D de stéréovision en adaptant automatiquement ses paramètres pour obtenir des résultats satisfaisants pour la suite du traitement· On peut ainsi l'adapter à des scènes variées aussi bien à des scènes de campagne que de ville et à des conditions d'acquisition des données diverses - images plus ou moins bruitées· du traitement séquences des données adaptation a lieu en permanence nous avons développé une approche de capteurs pour la détection de l'interprétation d'obstacles dans un environnement routier pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert PROMETHEE permet de piloter le capteur 3D de stéréovision en adaptant automatiquement ses paramètres pour obtenir des résultats satisfaisants pour la suite du traitement· On peut ainsi l'adapter à des scènes variées aussi bien à des scènes de campagne que de ville et à des conditions d'acquisition des données diverses - images plus ou moins bruitées· Lors du traitement des séquences de données‚ l'adaptation a lieu en permanence· Nous avons à développer une approche multicapteur pour la détection de l'interprétation d'obstacles dans un environnement routier· pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de travaux est nécessaire dans les trois directions suivant l'aspect temps réel et différents capteurs logiques doivent fournir des données en temps réel nous envisageons pour cela l'utilisation des cartes spécifiques une machine de calcul parallèle pour accélérer les traitements géométriques complet au niveau de la coopération des primitifs de détroit deux nous avons utilisé des modèles simples pour l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme de diverses positions il est indispensable de définir modèles géométriques les plus complets possibles logiciel logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert PROMETHEE permet de piloter le capteur 3D de stéréovision en adaptant automatiquement ses paramètres pour obtenir des résultats satisfaisants pour la suite du traitement· On peut ainsi l'adapter à des scènes variées aussi bien à des scènes de campagne que de ville et à des conditions d'acquisition des données diverses - images plus ou moins bruitées· Lors du traitement des séquences de données‚ l'adaptation a lieu en permanence· Nous avons à développer une approche multicapteur pour la détection de l'interprétation d'obstacles dans un environnement routier· Pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de nos travaux est nécessaire dans les trois directions suivantes· L'aspect temps réel - les différents capteurs logiques doivent fournir des données en temps réel‚ nous envisageons pour cela l'utilisation de cartes spécifiques· Une machine de calcul parallèle pour accélérer les traitements· Des modèles géométriques complets· Au niveau de la coopération des primitives 2D et 3D‚ nous avons utilisé des modèles simples pour effectuer l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme d'objets dans diverses positions il est indispensable de définir des modèles géométriques les plus complets possibles· L'intégration logicielle· logiciel doit être étendu à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation notre par stratégie générale de coopération entre les modules doit être défini
dans le cadre du projet du projet PROMETHEUS‚ nous étudiions à l'INRIA Sophia Antipolis le problème de la détection et de l'interprétation d'obstacles dans un environnement routier· Dans cette perspective‚ nous avons abordé essentiellement les trois sujets suivants - premièrement la perception de l'environnement routier par multicapteurs notamment la vision 2D stéréovision et le mouvement - deuxièmement la fusion et l'interprétation de ces données‚ et enfin l'intégration logicielle des modules de traitement vision· Ce schéma illustre les traitements fondamentaux de notre système à savoir premièrement la perception de l'environnement routier par multicapteurs deuxièmement la fusion et l'interprétation des données· On obtient ainsi une description de la scène· Premièrement‚ nous nous intéressons à la perception de l'environnement routier à l'aide de capteurs logiques· Un capteur logique est l'association d'un capteur physique - une ou plusieurs caméras CCD - avec un logiciel de traitement· Le capteur 2D nous permet d'obtenir des primitives 2D perçues dans le plan image· Le capteur stéréovision nous permet d'obtenir des primitives tridimensionnelles dans l'espace· Et enfin le capteur de mouvement nous fournit de l'information concernant l'aspect dynamique l'environnement routier· Le du capteur logique 2D est donc d'extraire les primitives de type point de chaîne de contour ainsi que segments de droites· Cette tâche est accomplie par les trois opérations suivantes - l'extraction des contours‚ le chaînage des contours‚ l'approximation polygonale des chaînes· Le premier exemple est une image d'une scène de ville· Nous voyons les chaînes de contour extraites sur cette image· La dernière image montre un segment de droite obtenu par approximations polygonale· Le deuxième exemple est une scène de ville comportant un obstacle typique‚ un cycliste· Nous voyons les chaînes de contours ainsi que les segments de droites obtenus dans ce cas· Nous utilisons la stéréovision pour avoir une représentation tridimensionnelle de l'environnement routier· L'algorithme de stéréovision que nous avons développé travaille sur une structure pyramidale de points de chaînes de contour· Le processus des mises en correspondance des points des chaînes de contours entre l'image gauche et l'image droite est donc réalisé en différentes étapes correspondant aux différentes résolutions de la pyramide· une fois que les points de chaîne des contours sont appariés‚ les points 3D dans l'espace sont reconstruits par une technique de triangulation Maintenant nous allons montrer un exemple de résultat· Il s'agit de la scène du cycliste· La paire d'images stéréoscopique est prise par deux caméras CCD montées sur le toit d'un véhicule· Nous construisons une structure pyramidale de points de chaîne de contour sur laquelle s'appuie le processus de mise un correspondance·
La La première étape consiste en l'appariement des grandes structures de la scène en raisonnant à la résolution la plus grossière‚ d'abord une fonction de similarité entre les points de chaînes de contour est employée pour déterminer les points appariés· Ensuite les appariements sont validés en contrôlant la continuité de la disparité le long des chaînes L'information de disparité obtenue à résolution donnée est ensuite utilisée pour guider la mise en correspondance effectuée à la résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Nous présentons les chaînes reconstruites en 3D vues par un observateur tournant autour de la scène Le logiciel montre des chaînes filaires· Selon le point d'observation‚ certaines chaînes sont donc vues par transparence· Lorsque l'observateur bouge légèrement vers le haut à droite nous distinguons nettement la file de voitures sur la gauche‚ la ligne de séparation des voies et le cycliste· Sur la droite‚ les chaînes sont vues par transparence lorsque l'observateur se déplace vers la gauche le cycliste apparaît nettement· Maintenant‚ nous distinguons encore le cycliste‚ le bord droit de la route et une voiture garée qui apparaît· Pour pouvoir étudier l'aspect dynamique d'un environnement routier nous avons adapté l'algorithme de stéréovision pour estimer le mouvement apparent entre deux images consécutives‚ l'image à l'instant t et l'image à l'instant suivant t + dt· Nous travaillons sur le même type de primitives - des points de chaînes de contours - et utilisons également une structure pyramidale pour effectuer la mise en correspondance· Nous montrons maintenant les résultats obtenus pour la scène du cycliste· Voici deux images consécutives de cette scène - l'image à l'instant t et l'image à l'instant t + dt· Selon le même principe qu'en stéréovision‚ nous utilisons une structure pyramidale de points de chaînes de contours pour estimer le mouvement apparent aux différentes résolutions· Dans ce cas‚ les contraintes sur les lignes épipolaires ne pourront pas être utilisées Nous utilisons donc une fenêtre de recherche dont la taille est déterminée par les mouvements maximaux autorisés en x et en y· Des points seront appariés s'ils vérifient une fonction de similarité ainsi qu'une contrainte de continuité du mouvement apparent le long des chaînes· Nous estimons d'abord le mouvement apparent à la résolution la plus grossière‚ le résultat sera ensuite utilisé pour réduire la fenêtre de recherche lors de l'estimation du mouvement apparent à une résolution supérieure· Ce processus continuera jusqu'à la plus haute résolution· Voici mouvements apparents estimés aux différentes résolutions Le deuxième sujet auquel nous nous intéressons est la fusion et l'interprétation des données multicapteurs· L'objectif consiste à traiter les données multicapteurs afin de fournir une description de l'environnement vu d'un véhicule· Dans ce contexte‚ nous avons traité deux types de problèmes à savoir le problèmes de coopération entre les primitives 2D et 3D‚ et problèmes de coopération entre les primitives 3D et le mouvement apparent· Nous cherchons à obtenir une description plus symbolique de l'environnement routier et des primitives 3D - le principe de cette coopération 2D - 3D est de générer tout d'abord des hypothèses d'objets en utilisant les primitives 2D extraites et des modèles géométriques 2D d'objets et ensuite de valider ou de rejeter ces hypothèses d'objets en vérifiant la cohérence en dimensions selon les chaînes 3D· Dans un premier temps nous utilisons des modèles géométriques simples à savoir des modèles de véhicules‚ des modèles de bord de route‚ et des modèles de poteaux· Maintenant nous montrons un exemple de résultat· C'est une scène de ville - comme primitive 2D nous utilisons les segments de droites fournis par le capteur logique 2D· En appliquant des modèles géométriques d'objets prédéfinis notre algorithme de coopération 2D - 3D est capable de reconnaître quatre véhicules vus de l'arrière‚ un bord de route et quatre poteaux· nous voulons utiliser l'information concernant l'aspect dynamique de l'environnement routier pour pouvoir distinguer les objets rigides des objets déformables· Pour cela‚ nous réalisons la coopération 3D - mouvements· L'algorithme développé est constitué de trois opérations - premièrement le groupement de chaînes 2D selon un critère de proximité dans l'espace 3D‚ deuxièmement le groupement des chaînes 2D selon un critère d'homogénéité du mouvement apparent‚ et enfin l'interprétation des objets· Au niveau de l'interprétation· deux critères sont utilisés pour la prise de décisions concernant la nature des objets - premier critère si les chaînes 2D d'un même groupe ont un mouvement apparent homogène ce groupe correspond donc à un objet rigide· Critère numéro 2‚ si des chaînes 2D d'un même groupe n'ont pas un mouvement apparent homogène‚ ce groupe correspond donc à un objet déformable ou articulé· Nous montrons maintenant un exemple de résultat pour la scène du cycliste - selon un critère de proximité dans l'espace 3D Les chaînes 2D sont coupées en des sous-ensembles cela illustré par des couleurs différentes· Connaissant le mouvement apparent des chaînes de construction dans l'espace image on peut les grouper‚ également des sous-ensembles‚ selon un critère d'homogénéité du mouvement apparent le long des chaînes· En appliquant les deux critères d'interprétation on peut finalement décider que les cyclistes est un objet déformable· Nous concluons la présentation de ces travaux par le problème de l'intégration logicielle des modules des traitements vision· En effet‚ dans le cadre de PROMETHEUS‚ outre le développement de modules de vision spécifiques‚ l'intégration et la coopération de ces modules sont primordiales pour obtenir un système robuste· Nous nous sommes intéressés au problème de la robustesse du système à travers son adaptabilité à différents types de scènes et de conditions d'acquisition des données correspondantes· Pour réaliser cette intégration‚ nous avons développé le système expert PROMETHEE‚ qui est spécialisé dans le pilotage du capteur logique
3D de stéréovision· L'architecture logicielle est constituée du système expert PROMETHEE‚ de la bibliothèque de modules‚ et bien sûr des images Le système expert PROMETHEE contient la connaissance spécifique à la bibliothèque de module tels que leurs conditions d'utilisation‚ la manière de choisir entre plusieurs traitements possibles‚ ou la manière d'optimiser leur utilisation· Les opérateurs élémentaires sont ensuite utilisés pour travailler à différents niveaux de résolution· PROMETHEE a été construit à l'aide du noyau de systèmes experts OKAPI spécialisé en planification et contrôle d'exécution des programmes· Nous présentons maintenant le déroulement d'une session d'utilisation du système expert· Nous voyons ici plusieurs contextes possibles· Nous allons nous situer dans le contexte de fonctionnement automatique· Tous les choix et optimisations se feront donc sans l'aide d'un utilisateur· D'autres informations sont données dans ce contexte elles permettent de prendre en compte la grande variabilité des scènes telles que les informations d'environnement et les conditions d'acquisition des données· Nous lançons maintenant le système expert en demandant la résolution de la requête de stéréovision dans ce contexte automatique Le système lance donc la résolution de l'opérateur stéréo peer qui se décompose en plusieurs étapes· Tout d'abord deux étapes d'échantillonnage une sur l'image de droite une sur l'image de gauche· Puis une étape d'extraction des primitives x'elle-même une étape décomposable· L'arbre d'exécution s'affiche de bas en haut chaque noeud de l'arbre correspond à une décomposition en étapes· Une feuille de l'arbre correspond à un programme de la bibliothèque qui est effectivement exécuté par le système· Par exemple actuellement les programmes réalisant le matching est en cours d'exécution· Nous voyons ici l'ensemble de l'arbre des traitements exécutés après le déroulement complet de la session· Nous pouvons avoir accès à l'historique de manière interactive ceci permet d'analyser les évaluations‚ les ajustements‚ et les bouclages qui ont été décidés automatiquement - par exemple l'opérateur de matching a bouclé deux fois car à sa première exécution le paramètre nombre de couples a été jugé insuffisant· le système expert PROMETHEE permet de piloter le capteur 3D de stéréovision en adaptant automatiquement ses paramètres pour obtenir des résultats satisfaisants pour la suite du traitement· On peut ainsi l'adapter à des scènes variées aussi bien à des scènes de campagne que de ville et à des conditions d'acquisition des données diverses - images plus ou moins bruitées· Lors du traitement des séquences de données‚ l'adaptation a lieu en permanence· Nous avons à développer une approche multicapteur pour la détection de l'interprétation d'obstacles dans un environnement routier· Pour réaliser un système opérationnel embarqué sur un véhicule la poursuite de nos travaux est nécessaire dans les trois directions suivantes· L'aspect temps réel - les différents capteurs logiques doivent fournir des données en temps réel‚ nous envisageons pour cela l'utilisation de cartes spécifiques· Une machine de calcul parallèle pour accélérer les traitements· Des modèles géométriques complets· Au niveau de la coopération des primitives 2D et 3D‚ nous avons utilisé des modèles simples pour effectuer l'interprétation d'objets dans un environnement routier pour être capable d'interpréter une large gamme d'objets dans diverses positions il est indispensable de définir des modèles géométriques les plus complets possibles· L'intégration logicielle· L'intégration logicielle doit être étendue à tous les modules par exemple les modules d'analyse du mouvement et ceux d'interprétation· D'autre part une stratégie générale de coopération entre les modules doit être définie·
INRIA-156-fr.mp4

Format : .mp4
446,3 Mo
768 x 576 pixels
Fichier H264. Meilleure résolution disponible
INRIA-156-fr_HD.MP4

Format : .mp4
485,8 Mo
768 x 576 pixels
Moyenne définition - équivalent DVD
Encodage PAL .MP4 H264
5 Mbits/s
Sélection
Voir Selection
Déposer ici pour retirer de la sélection