Claude a menti, ou presque ?
Anthropic, la boîte derrière Claude, a réagi vite. « Nos outils sont conçus pour aider, mais ils ne remplacent pas l’expertise humaine », a-t-il été écrit dans un communiqué. Traduction : « Désolé, mais c’est pas notre faute si votre ado a failli se casser la gueule. » Sauf que le problème, c’est pas juste la faute à pas de chance. C’est que l’IA, aujourd’hui, donne des réponses. Des réponses qui ont l’air solides. Qui ont l’air vraies. Et quand un gamin de 16 ans, seul en montagne avec son téléphone, voit un itinéraire qui part de A et arrive à B en passant par des points précis, son cerveau de préado ne va pas se dire « Attends, est-ce que ce chemin est vraiment sécurisé ? ». Non. Il va se dire « Cool, l’IA m’a sauvé la mise ». Et puis il va marcher. Sans vérifier. Sans recouper. Sans se demander pourquoi, sur la carte des pompiers, ce chemin-là est barré en rouge.
Le pire ? Ce n’est pas le premier cas. En 2023, un randonneur en Suisse a suivi un itinéraire généré par une IA pour atteindre un refuge, et s’est retrouvé bloqué par une avalanche. Les secours ont dû le sortir en hélicoptère. « Les algorithmes ne connaissent pas les conditions météo en temps réel », expliquait alors un guide de montagne. Sauf que l’IA, elle, ne le sait pas. Elle ne peut pas le savoir. Parce qu’elle n’a pas été programmée pour. Et ça, personne ne le précise assez fort.
Pourquoi on continue à faire confiance à l’IA ?
Vous vous souvenez de cette étude de l’Université de Stanford publiée en 2022 ? Elle montrait que 68 % des utilisateurs d’outils d’IA croyaient que leurs réponses étaient « toujours ou souvent exactes ». Sauf que non. L’IA, c’est comme un traducteur automatique : ça a l’air fluide, mais si vous voulez une traduction précise, vous passez par un humain. Sauf que là, on parle de vie ou de mort. Et pourtant, on laisse les ados, les débutants, les gens pressés, croire que « l’IA, c’est fiable ».
Pourquoi ? Parce qu’Anthropic, Google, Meta et les autres dépensent des millions en marketing pour nous vendre l’idée que leurs outils sont « utiles », « pratiques », « révolutionnaires ». Ils ne disent pas : « Attention, ça peut vous tuer. » Ils ne mettent pas en gras, en rouge, en gros caractères : « NE FAITES PAS CONFIANCE À CELA POUR VOTRE SÉCURITÉ. » Non. Ils laissent faire. Parce que ça arrange tout le monde. Les parents qui veulent « simplifier » la vie de leurs enfants. Les ados qui veulent « tout savoir tout de suite ». Les marques qui veulent « digitaliser » l’expérience utilisateur. Et les géants du tech qui veulent « monétiser » la confiance aveugle.
Sauf que la montagne, elle, ne se digitalise pas. Pas comme ça, en tout cas. Un itinéraire, ça se valide avec un guide. Une carte IGN. Un coup de téléphone aux pompiers. Pas avec un bot qui vous sort un chemin parce qu’il a « analysé les données disponibles ».
Les secours en ont marre
« On voit de plus en plus de cas comme ça », confie un pompier des Alpes, sous le coup de l’émotion. « Les gens arrivent avec des traces GPS bizarres, des chemins qui n’existent pas, et on doit les sortir de là. » Le problème ? Les secours, eux, n’ont pas les moyens de vérifier chaque itinéraire généré par IA avant qu’un utilisateur ne se lance. « On est pas des contrôleurs de l’ANFR », ajoute-t-il. « On est là pour sauver des vies, pas pour faire le travail des algorithmes. »
Pourtant, les appels augmentent. En 2023, la Sécurité Civile française a recensé 12 % de plus de demandes de secours liées à des erreurs de navigation assistée par IA ou GPS. Douze pour cent. Sur un an. Avec des cas de plus en plus graves. Parce que l’IA, elle, elle ne fait pas la différence entre « un chemin de randonnée balisé » et « un sentier de chasse interdit ». Elle ne sait pas qu’en automne, les marmottes sortent de leur terrier et que les éboulis deviennent traîtres. Elle ne comprend pas que le brouillard, à 2 500 mètres, peut vous faire perdre 100 mètres de visibilité en deux minutes.
Et le pire ? Les ados, eux, ils croient dur comme fer que « l’IA, elle, elle ne ment pas ». Parce qu’on leur a vendu cette image. Celle du robot parfait, infaillible, toujours là pour eux. Sauf que non. L’IA, c’est comme un couteau : ça peut servir à éplucher une pomme… ou à s’ouvrir la carotide.
Alors, on fait quoi ?
Anthropic pourrait ajouter une bannière d’avertissement du style « Cet itinéraire n’a pas été validé par des experts. Consultez toujours un guide ou les autorités locales avant de vous lancer. » Google Maps pourrait limiter l’accès à ses outils de génération d’itinéraire pour les zones à risque sans validation humaine. Les pompiers pourraient former les jeunes à vérifier une source avant de suivre un chemin généré par machine. Mais non. Parce que ça coûterait de l’argent. Parce que ça complexifierait l’expérience utilisateur. Parce que « l’IA, c’est l’avenir », et que l’avenir, il ne doit pas être entravé par des détails comme « la sécurité » ou « la vie humaine ».
Pourtant, ce gamin de 16 ans, lui, il a frôlé la mort. Et il n’est pas le seul. La prochaine fois, ce pourrait être votre enfant. Votre frère. Votre pote de rando. Quelqu’un que vous aimez. Et là, vous vous demanderez pourquoi personne n’a crié plus fort : « Attention, l’IA, ça peut tuer. »
La vraie question, c’est : qui va payer ?
Parce que si un jour un ado meurt parce qu’il a suivi un itinéraire généré par une IA, qui sera responsable ? Anthropic ? Le fabricant du téléphone ? Les parents qui ont laissé leur enfant partir seul ? La société qui a normalisé l’usage de ces outils sans avertissement clair ?
Aujourd’hui, personne. Demain, peut-être trop tard.
La montagne ne se résume pas à des données. Et l’IA, elle, ne le sait pas encore.
