Profitez des offres Memoirevive.ch!
Monte le son, je vois pas bien…

Si je vous dis que cette humeur va vous expliquer comment voir avec les oreilles, quelle est l'idée qui vous vient à l'esprit ?

Eh bien c'est à peu près à ça que j'ai pensé lorsque l'on m'a montré un article décrivant une méthode, révolutionnaire, pour rendre un semblant de vue aux aveugles.

Et, si je vous en parle, ce n'est pas de l'intox mais bel et bien un projet en cours, médical et informatique.

L'idée de base est de transformer une image, provenant d'une caméra, en un son. Ce son est alors joué dans les oreilles de la personne aveugle et, grâce à un apprentissage et l'application de quelques règles très simples, elle peut se représenter ce qui est filmé.

Avant de me lancer dans de plus amples explications, je vous propose d'écouter le résultat sonore de l'image suivante :

image
Le son est ici, en wav.

Au premier abord cela semble être un son peu "lisible". Non, ce n'est pas un extrait de Star Trek en VO, c'est bien le son obtenu à partir de l'analyse de cette image.

Lorsque l'ordinateur lit l'image enregistrée par la caméra, il la transforme en niveaux de gris, puis l'analyse en suivant 3 règles fort simples :

1. De gauche à droite : l'image est scannée de gauche à droite. Le son d'une image dure une seconde, et permet ainsi de savoir si un objet est situé plutôt sur la gauche ou sur la droite de l'objectif.

2. Haut et bas : lors de l'écoute d'un son, le pitch du son donne l'élévation de l'objet regardé. On entend donc un son plus aigu lorsqu'un objet est situé en haut de l'image et un son plus grave lorsque celui-ci est en bas du cliché.

3. Tons clairs ou foncés : les niveaux de gris présents sur l'image se traduisent par un volume plus ou moins fort. La couleur noire est passée sous silence, alors qu'un objet blanc est décrit à l'aide d'un son fort.

Chaque image est reproduite en un son d'une seconde.

Maintenant que vous avez les cartes en main pour "lire avec vos oreilles", je vous propose quelques exemples, pour entendre vraiment l'application de ces règles. Vous noterez que le fond de ces images est noir, pour ne provoquer aucun son lors de la reproduction de l'image. Ainsi, ce sont les formes blanches et grises qui sont reproduites.

image
image
image
image
Cliquer sur les images pour entendre les sons correspondants, au format wav.

• Le premier son est fort, bas et n'apparaît qu'en fin de lecture.
• Le deuxième est aigu, fort, et le signal est entendu rapidement dans la reproduction sonore.
• La troisième image donne un son fort et aigu, que l'on peut entendre tout au long du passage sonore.
• Enfin, la dernière image vous permet d'entendre la différence entre plusieurs niveaux de gris. Ici, il faut entendre trois signaux, de plus en plus fort.

Évidemment, il est assez difficile de "voir" immédiatement une vraie image, sortie de la vie courante. Ces quatre exemples permettent d'entendre les bases du concept. Si vous n'entendez pas grand-chose, essayez les yeux fermés, c'est plus facile.

Voici une image plus compliquée, et sa transcription.

image
Pour le son, c'est par ici !

Pas facile, n'est-ce pas ?

Mais, dans les faits, les résultats sont impressionnants.

Des tests ont été effectués et, alors qu'au début les volontaires reconnaissaient des formes géométriques simples environs 25 % du temps, ils étaient presque tous capables, vers la fin du test, de reconnaître des objets tels des gants, une chaise ou encore un arbre.

Une participante, au début du test, n'entendait qu'une cacophonie lorsqu'un certain objet était joué. Après 8 jours, elle savait que c'était un objet naturel, mais ne savait pas lequel. Après 15 jours, elle "voyait" une plante en pot, avec des feuilles, et savait que l'image représentait la plante vue de dessus. Elle put même faire la différence entre cette plante et un narcisse.

Cette technologie n'est pas uniquement utilisable en laboratoire. Puisqu'il suffit d'une webcam et d'un ordinateur (portable), on peut imaginer créer une interface portable, que pourrait transporter une personne aveugle.

Et cette interface existe !

image

Les lunettes que voici contiennent une mini camera, que l'on peut connecter avec un ordinateur.

Cette nouvelle façon de voir ne va sans doute pas rendre la vue aux aveugles.

Les personnes qui ont testé ce concept ont conclu que, même si cela ne leur permettait pas de distinguer les détails de ce qui les entoure, ce système leur permet de "voir" les formes des choses et leurs emplacements.

Si l'expérience vous tente, vous pouvez télécharger ici un logiciel exécutant la transformation entre une image et un son. Malheureusement, il ne fonctionne que sous Windows.

Alors, maintenant vous me croyez ? On peut voir avec les oreilles !

9 commentaires
1)
G4Beige
, le 17.12.2004 à 01:39

Bon sang, j’espère qu’ils ne vont pas remplacer la canne blanche par ce truc, tu imagines windows embedded ou Pocket PC qui plante et le pauvre gars croit que la route est libre et se jette sous un camion ? Parce que l’inconvénient du système à l’extérieur, c’est que le malvoyant qui l’utilise se privera de son sens de l’ouïe qui lui servait à se guider, ou en tout cas lui permettait d’entendre arriver un véhicule ou des gens, et devra faire confiance à une machine…..

Le concept est intéressant, le mobile grandiose (quoique l’intérêt financier ne soit pas négligeable), mais je vois mal un aveugle remplacer son seul sens fiable (enfin pour se repérer), l’ouïe, par une machine. Ce serait vraiment parfait si celà ne demandait pas de « devenir sourd pour voir ».

On me dira ce qu’on veut, mais à mon avis, il faudra des années pour que cet engin puisse remplacer un chien bien dressé… Ce qui ne veut pas dire qu’il faille négliger ce genre de recherches bien au contraire, mais à mon avis, cela reste un produit de laboratoire, une base pour un e future solution.

L’idéal bien sur, serait de pouvoir brancher directement les capteurs sur le cerveau afin de remplacer les yeux, mais ce n’est pas pour demain…

2)
Roger Baudet
, le 17.12.2004 à 08:40

Superbe article (je n’ose pas dire « grand cru » car le rédacteur en chef de chez CUK va de nouveau claquer les portes !)

Même remarque que G4 beige. L’aveugle a besoin d’entendre les sons naturels, donc cet outil ne lui sera semble-t il pas d’un grand secours.

Par contre, cela fait des annnées que des artistes travaillent sur l’interaction image-son (dont votre serviteur). On peut imaginer poser ce genre de capteurs sur des spectateurs lors d’une expo de peinture par exemple. Reste évidemment à imaginer des images et des sont un peu moins rébarbatifs que sur tes exemple !

3)
borelek
, le 17.12.2004 à 09:14

C’est vrai c’est fascinant. J’ai essayé de prévoir le son des quatre figures simples en noirs et blancs, de valider par le vrai son puis de tirer au hasard. Ca marche.
Y-a-t’il des artistes dans ce groupe de recherche ? Parce que la « musique » produite me semble assez déprimante.

borelek = 5.1 planètes (la honte)

4)
marief
, le 17.12.2004 à 09:21

Passionnante, cette approche. Je ne vois pas pourquoi ce qui ajoute quelque chose aux possibilités serait un inconvénient.

5)
Inconnu
, le 17.12.2004 à 09:58

Merci Sebastien pour l’info. Ca a l’air de fonctionner parfaitement avec une image fixe. Je trouve que c’est génial et intelligent comme solution.
Mais, qu’est ce que ca donne avec des images mouvantes et nombreuses ? Genre un aveugle équipé d’un tel matériel un samedi d’Avent vers 15h près des Galeries Lafayette à Paris. Je n’ose pas imaginer la cacophonie… Mais bon, le cerveau humain est capable de telles prouesses…

^. .^ GerFaut
=U= http://gerfaut.com
, http://equinoxiale.com
GerFaut c’est frais, mais c’est pas grave.

6)
François Cuneo
, le 17.12.2004 à 09:58

Superbe article (je n’ose pas dire « grand cru » car le rédacteur en chef de chez CUK va de nouveau claquer les portes !)

Pas de risque, j’ai pété l’autre, elle est en réparation. Plus rien à claquer!

7)
Sébastien Pennec
, le 17.12.2004 à 16:32

Merci à tous de vos commentaires! :-)

Tout d’abord une remarque générale: ce concept n’est pas encore capable de rendre véritablement la vue à un aveugle, et je doute qu’un jour un tel « miracle » soit possible. C’est toutefois un pas en avant vers les gens aveugles, et une possibilité pour eux de « voir » mentalement leur entourage.

La fiabilité est évidemment un point crucial, et le fait qu’une personne ne se fie qu’à cet appareillage n’est pas près d’être avéré. Cela dit, les personnes témoignant sur le site n’ont pas parlé de bugs ou autre problèmes à l’utilisation.

L’idéal bien sur, serait de pouvoir brancher directement les capteurs sur le cerveau afin de remplacer les yeux, mais ce n’est pas pour demain…

Tu ne crois pas si bien dire… j’ai entendu (attention, info pas vérifiée, livrée telle quelle mais provenant d’une source sérieuse), que des scientifiques avaient réussi une expérience assez folle: des capteurs sur le cerveau, à certains endroits choisis. Un « cobaye » se concentre sur une souris (hem, je parle de la souris informatique, hein..) et pense « gauche » ou « droite » en se concentrant sur la flèche.
Les capteurs lisent les flux éléctriques présents dans le cerveau et, via un autre ordinateur et une liaison avec le premier, de faire bouger la souris dans la bonne direction.

Concernant l’aspect rébarbatif des exemples, j’avoue que j’ai essayé avec des images plus jolies, mais ça devient impossible de « sentir » le fonctionnement du système. Ces exemples permettent d’entendre immédiatement l’objet dessiné.
Celà dit, j’adorerai entendre le résultat d’image artistiques! Roger, si t’es partant.. :-)

Gerfaut,
Les galeries à 15h, c’est déjà la mort pour une personne voyante, j’ose pas imaginer pour un aveugle, même avec ce système! :-)

Plus sérieusement, les seules utilisations en extérieur qui sont décrites sur le site (sauf erreur) sont du style « promenade tranquille, dans un endroit tout aussi tranquille ». Tout simplement parce que dans ce cas, une grosse part de l’image lue ne change pas ou très peu, et donc l’utilisateur peut se concentrer sur ce qui change…

Voilà, long commentaire… merci d’avoir lu jusqu’au bout.. :-)

8)
jclauney
, le 17.12.2004 à 19:24

Précipitez-vous au Centre Pompidou à Paris et allez voir l’exposition :  » Sons et lumières  » . Jusqu’au 3 janvier.
On y voit et entend des choses époustouflantes sur les rapports par exemple du cinéma et du son avec des formes dessinées sur pellicule qui créent un son. Des inventeurs géniaux du temps du cinéma en noir et blanc.

J.C.L

9)
Inconnu
, le 20.12.2004 à 07:21

Je viens de voir une émission époustouflante sur les chauve-souris et leur système d’écho-localisation. Le rapport avec ici ? C’est qu’elles modulent leur signal en fonction de l’éloignement ou de la proximité de leur cible. Elles émettent des centaines de fois par seconde et ‘traitent’ aussi rapidement le signal reçu. Un si petit animal effectuant une telle prouesse est vraiment stupéfiant. Je pense que le cerveau humain, avec un peu (beaucoup) d’entraînement devrait être capable d’analyser les images qu’il entend…

^. .^ GerFaut
=U= http://gerfaut.com
, http://equinoxiale.com
GerFaut c’est frais, mais c’est pas grave.