Retour au format normal

  Smartkom - Dialog-based Human-Technology Interaction

Le projet SmartKom (septembre 1999 - octobre 2003) a pour objectif de tester de nouveaux concepts d’interaction Homme-Machine. Il s’agit de réduire les préjugés que peuvent ressentir des novices à l’égard de tout ce qui traite des technologies de l’information. L’interface doit en conséquence être adaptative et auto-explicative. Pour atteindre cet objectif, SmartKom cherche à combiner les avantages de la communication langagière avec ceux d’une interface graphique et de la communication gestuelle. Le projet propose trois scénarios, pour différents domaines d’application :
  SmartKom Home/Office (pour une utilisation dans un environnement privé),
  SmartKom Public (pour une utilisation dans une cabine téléphonique simulée),
  SmartKom Mobil (pour une utilisation dans un environnement mobile voiture / piéton).

Les applications sont (selon le scénario) : gestion des carnets d’adresses personnelles, accès aux services d’informations (météo, horaires), spectacles, réservation d’hôtels, téléphonie, gestion des documents, Internet, commandes d’appareils domestiques (Hifi, TV, magnétoscope, éclairage et autres).

Ce projet a donné lieu à la création du Corpus multimodal SmartKom - SKP 1.0, produit par BAS. Il comprend les enregistrements de 45 locuteurs allemands enregistrés dans des endroits publics (cinéma et restaurant) dans un environnement technique SmartKom Public, qui équivaut à une cabine téléphonique publique traditionnelle équipée de divers moyens supplémentaires de communication intelligents. Les modalités enregistrées sont l’audio (10 canaux), la vidéo du visage, la vidéo de la moitié supérieure du corps, filmée sur le côté gauche, la vidéo infrarouge de la zone d’affichage (pour capter les mouvements en 2D) comme entrée du SIVIT (Siemens gesture recognizer), la vidéo de la sortie GUI, les coordonnées du tableau graphique (lorsqu’un stylo a été utilisé), les coordonnées du SIVIT (lorsque les doigts et les mains ont été utilisés). Des fichiers d’annotation sont inclus (transcriptions, mouvements en 3D, etc.), ainsi que la documentation. Le corpus est partagé en volumes qui peuvent être achetés séparément. Il est disponible sur DVD ou sur IDE (disque dur). Les données (Corpus multimodal SmartKom - SKP 2.0) sont disponibles sur le catalogue ELDA.

  Verbmobil

Le projet Verbmobil a été financé par le ministère fédéral allemand de l’éducation, de la science, de la recherche et de la technologie. Il est désormais terminé. Il a notamment permis le développement d’un système de traduction mobile pour la traduction de parole spontanée.