Chronique 10. IA et détection d'anomalies : L’ALLIANCE, entre promesses et dérives (Partie 2) © Thierry PORTAL

Sauf que cette ALLIANCE a un coup parce qu’elle exige de remplir de nombreuses conditions, au premier rang desquelles se trouve la qualité des données et des algorithmes dont dépendent les décisions à venir, l’intégration efficace de l’IA dans les process existants de gestion de crise ou encore les résistances au changement. Surtout, l’utilisation de l’IA soulève de nombreuses questions juridiques et éthiques  (responsabilité et biais algorithmiques, hallucinations cognitives, confidentialité et fiabilité des données) : pourquoi en effet, et comment, s’en remettre à des modèles autonomes à qui nous aurions délégué le pouvoir de prendre des décisions à notre place alors qu’ils sont dépourvus de conscience et d’intelligence des situations ?
 
Ainsi, à quel prix cette ALLIANCE Homme / Machine est-elle souhaitable ? En espérant qu’il soit encore temps d’en comprendre les risques et d’en anticiper les dérives…

Comme nous l’avons vu dans toutes nos précédentes chroniques, les crises empruntent de nouveaux chemins bien éloignés de nos anciennes cartes mentales. Nombre d’auteurs s’accordent sur les limites de la prédiction, question d’essence quasi épistémologique tant la complexité de nos organisations rend délicate toute tentative de rationalisation. Posons-nous alors la question des limites du concept d’IA appliqué au management des crises

D’après les experts, l’IA générative (ChatGPT, DALL.E) ne perçoit pas le monde physique et les évènements en temps réel. Elle fonctionne en effet à partir de bases de données préalablement intégrées, sans conscience de leur potentielle obsolescence, d’inévitables biais d’échantillonnage ou encore de leur subjectivité propre.
 

L’IA générative ne comprend donc pas vraiment ce qu’elle traite. Elle interprète des données textuelles mais ne dispose pas de la conscience, de la sensibilité ou de l’intuition humaine pour évaluer des situations dites complexes. Contrairement à l’humain, l’IA générative n’a pas d’interactions sensorielles avec le monde, seulement des données fournies au préalable, dont la RGPD encadre juridiquement la durée et la profondeur de stockage et limite la performance en termes d’apprentissage automatique. Par conséquent, elle a tendance à reproduire des biais du passé, à avoir du mal à imaginer, anticiper ou à comprendre des évènements inédits ou imprévisibles. L’IA générative est donc un outil utile pour traiter des masses d’information mais qui reste très limité par manque d’intériorité, d’expérience directe et de perception du monde…
 
Ainsi, les algorithmes d’IA sont conçus pour utiliser des données et en tirer des conclusions fixes, ce qui les rend incapables de prendre en compte des situations spécialement évolutives, d’imaginer des évènements auxquels il est urgent de s’adapter ou des situations qui n’ont jusqu’ici jamais existé… Interrogé par Le Monde à la mi-janvier 2026, l’ex-patron de la recherche de Meta, Yann le Cun ne dit pas autre chose lorsqu’il critique les grands modèles de traitement du langage : « Ils sont utiles, mais ils ne sont pas le chemin vers une intelligence de type humain » (1*) . Fondamentalement, si l’IA reconnait des patterns et peut « prédire » en fonction d’un objectif clairement énoncé, les objectifs multiples (difficiles à décrire ou sujets à interprétation, intégrant une grande part d’imagination, faisant appel à un positionnement moral…) ne sont pas encore atteignables par l’IA d’aujourd’hui. Ne disposant pas à ce jour d’un « modèle du monde », c’est à dire d’une représentation abstraite et consciente permettant de comprendre l’environnement par son observation, les IA seront encore pour longtemps incapables de raisonner, de planifier une série de décisions dans un cadre complexe et de prédire les conséquences d’une action. 
 
Donc, rien de plus inconciliable avec ces situations de crise que le chercheur / éclaireur P. Lagadec (2*) nomme « surprises stratégiques », où l’événement tient autant de sa puissance dévastatrice qu’à une cinétique rapide dans des milieux instables et inconnus (ex : cyclone Chido, Mayotte décembre 2024), interdisant à toute organisation l’espérance d’un recours aux anciennes cartes de navigation dans ce nouveau « continent des imprévus » (2*) . Autrement dit, les crises peuvent difficilement se prévoir et s’inscrivent dans une « systémique » qui transforme en saccades, et en profondeur, sociétés et organisations, là où « les risques les plus cruciaux sont très probablement loin de ce que l’IA peut ramener dans ses filets ». C’est aussi ce type de raisonnement qui amène N. N. Taleb (cf. entre autres « Le Cygne Noir », 2007 (4*)  ) à travailler sur l'impossibilité de calculer la probabilité de survenance d’évènements rares à l'aide de méthodes scientifiques : « c’est le travers des économistes et des scientifiques que de vouloir soumettre leurs observations aux règles mathématiques et prétendre ainsi prévoir les événements avec la certitude des lois de la probabilité. Or le monde n’est pas prévisible ». Enfin, plus récemment, P. Silberzahn (5*) dénonçait le paradigme prédictif sur lequel, depuis un siècle, se fondent les outils et les méthodes d’aide à la décision…
 
Ancêtres du terme désormais surexploité de « permacrise », les polycrises (Morin et Kern, 1993 (6* ) pourraient d’ailleurs exacerber ce problème fondamental qui se cache derrière les supposées « prédictions algorithmiques ». La rapidité et l'interconnexion croissantes des crises font qu'il est d’abord impossible de compiler certaines données hyper protégées, exclues du domaine public (M. Voirin, 2026), ensuite difficile de mettre à jour les données à une fréquence suffisante et surtout inenvisageable d’anticiper « la multiplication des évènements impensables » (P. Bernard, 2025) (7*) . D’autant plus que « ces outils sont mis à disposition du public sans formation ni guide d’utilisation. Ainsi, lorsqu’on tente de les déployer dans des situations sensibles, les risques et dangers deviennent rapidement évidents » (L. Devillers, ibid).

Quel étrange paradoxe de comprendre qu’une prédiction peut changer l’avenir, à l’image des prophéties auto-réalisatrices qui voient se modifier nos comportements et croyances pour qu’advienne, finalement, l’événement attendu : si une IA jugée fiable prédit un krach boursier, cette nouvelle à elle seule pourrait provoquer une vague de ventes paniques qui entraînerait de fait la crise telle que prédite : un scénario crédible posé par les experts (T. Foucault, HEC, 2025(8*)  ).
 
C’est pourquoi, au fur et à mesure que les sytèmes d’IA gagnent en puissance, ceux-ci s’inquiètent de la difficulté de contrôler ces technologies. Car, si elles peuvent générer des résultats fascinants, elles produisent aussi des « hallucinations », concept utilisé pour identifier des erreurs de traitement des données (par l’apprentissage automatique) pouvant mener à la génération d’informations incomplètes, voire fausses. Comme l’explique L. Devillers (ibid), « un exemple fréquent est celui des Chatbots qui délivrent des réponses incorrectes ou inventent des évènements fictifs. Ces erreurs surviennent lorsqu’une IA générative tente de produire une réponse cohérente à partir de données incomplètes ou erronées, en particulier lorsque les sources sont puisées sur l’internet, avec ses stratégies d’évitement, ses mensonges, ses manipulations... ». De fait, l’IA simule, imite et calcule à partir de données humaines qu’elle a analysé, sans en saisir le sens : « elle n’a ni corps, ni sensation, ni intention propre, ni même la moindre émotion », contrairement à l’humain qui peut répondre de manière sensible et empathique en offrant une réponse morale correspondant à une situation particulière.
 
Il est assez révélateur que les experts, espérant pourtant que l'apprentissage automatique pourra identifier les virus les plus dangereux, concèdent que leurs outils prédictifs ne pourront résolument pas empêcher la prochaine pandémie. Par exemple, pour gérer les retombées de la crise des opioïdes, les États-Unis s’appuient sur un important algorithme de risque de toxicomanie qui semble aggraver la situation. Les outils sous-jacents de dépistage des patients basés sur l’IA sont intrinsèquement défectueux car ils ne peuvent pas gérer des constructions complexes comme la santé humaine et, par conséquent, refusent souvent le traitement aux patients les plus vulnérables ou représentant des cas médicalement complexes. La prise de conscience du potentiel de ces systèmes automatisés à se transformer en « armes de destruction mathématique » (9*) est lourde de conséquences : « Si les analyses prédictives créent en partie la réalité qu’elles prétendent prédire, alors elles sont en partie responsables des tendances négatives que nous connaissons à l’ère numérique, de l’augmentation des inégalités, de la polarisation en passant par la désinformation (…) » (C. Véliz, 2021).
 
Si certains chercheurs comme K. Miller (2022 (10*) ) espèrent développer des systèmes d'IA plus résilients basés sur un type de raisonnement statistique connu sous le nom de « planification séquentielle dans l'incertitude », ces solutions restent sujettes à caution, car les ensembles de données sont, par nature, imparfaits et les « rhinocéros gris » peuvent, par essence, se déchaîner. En effet, comme le démontre une récente enquête du Guardian, l’encyclopédie Grokipedia d’E. Musk (octobre 2025) fait déjà partie des sources potentielles d’une IA comme Chat GPT-5.2, avec sa contre-culture et son approche de la vérité très « relative », ses affirmations douteuses et orientées, sans vérification humaine collective dans les multiples « zones grises » de la connaissance humaine. Il s’agit là d’une aberration technique (c’est une encyclopédie écrite par une IA pour les IA) et éditoriale (connue pour propager du narratif d‘extrême droite) qui est mise au même niveau que les institutions académiques, journalistiques, administratives et représentatives classiques, au risque de la pollution informationnelle, de l’idéologisation du débat et de l’effacement de toute forme de vérité…

Le recours aux algorithmes et aux données pour la gestion des crises présente aussi des défis, comme l’écrit E. Negre (ibid) : « Les algorithmes d’IA sont souvent attaqués sur leur manque de transparence, et qualifiés de « boîtes noires » (…) Outre la question de l’explicabilité, qu’en est-il de la fiabilité ? Les modèles prédictifs reposent sur la qualité des informations qu’ils reçoivent. Or, en période de crise, les données peuvent être incomplètes, imprécises ou biaisées. Lors d’une catastrophe, les infrastructures de communication peuvent être endommagées, rendant difficile la collecte d’informations. Les données, incomplètes ou erronées, peuvent fausser les résultats des algorithmes et entraîner des décisions inefficaces, voire dangereuses, de la part des décideurs ». Que se passerait-t-il d’ailleurs si les systèmes d’IA tombaient en panne, devenaient inopérants à la suite d’une cyberattaque, ou dysfonctionnaient brutalement ? Pensons en effet à un système d’alerte corrompu par une erreur humaine ou une intrusion malveillante, entraînant des perturbations majeures (diffusion de fausses alertes ; paralysie des infrastructures critiques), comme ce faux message « URGENT : Attention missile » adressé à toute la population d'Hawaï en janvier 2018, suite à une erreur humaine dans le système de gestion des alarmes. Dans le journal Le Monde, le co fondateur de l’IA Y. Bengio (23 janvier 2026 (11*) ) s’inquiète même d’actes de malfaisance à partir d’une IA : « Récemment, des hackeurs apparemment chinois ont utilisé Claude d’Anthropic) pour lancer des cyberattaques très significatives, lors desquelles c’est l’IA, principalement, qui a fait le travail ». Et de citer aussi la  possibilité de création d’un virus par IA…
 
La sécurisation des données et la mise en place de protocoles robustes sont donc essentielles pour garantir l’intégrité et la fiabilité des systèmes d’alerte et de recommandation. Plus encore, les organisations doivent s’entraîner à sortir de manière brutale de la dépendance à l’IA en scénarisant des situations de black-out total : savoir basculer en mode manuel dégradé avec des personnels détenant ces compétences critiques ; communiquer sans supports digitaux et sans recours à l’IA ; privilégier l’expérience et l’intuition en l’absence de données en temps réel ; récompenser l’initiative et la créativité… Pour l’experte S. Ledoux (2025), « c’est là que se joue la robustesse : anticiper l’indisponibilité de l’IA comme un scénario crédible et s’y préparer concrètement ».

De fait, les praticiens se rendent de plus en plus compte que l’utilisation de l’IA dans des situations de complexité, de désordre ou de données insuffisantes peut même renforcer les tendances négatives sous-jacentes.
 
Il en est ainsi des deepfakes produits par des algorithmes sophistiqués, se propageant à grande vitesse et pouvant déclencher, sur le terreau d’une situation déjà sensible, des crises majeures. La technologie de l’IA générative permet désormais de créer des contenus faux si réalistes qu’ils sont difficiles à distinguer du vrai. Sans grands moyens, ces médias synthétiques peuvent imiter parfaitement le visage, la voix ou les mouvements d’une personne.
 
Dans le champ politique par exemple, le recours aux visuels IA de mauvais goût est désormais devenu un outil récurrent de communication pour l’actuel président des Etats-Unis, contempteur de la théorie de l’« unitary executive ». L’une des plus « réussies » ? De son jet baptisé « King Trump », le « Président » arrose de tonnes d’excréments les manifestations massives du « No King’s Day » sur la musique de Top Gun. Quand l’IA se met au service de la « souveraineté grotesque » annoncée dès 1975 par M. Foucault (12*) et marquée aujourd’hui par l’obscène et l’indécence d’un nouveau fascisme médiatique, sidérant et vulgaire tel que dénoncé par des philosophes comme C. Fleury ou G. Steiner ! Les « slop », autre nom pour désigner ces contenus médiocres, envahissent les réseaux sociaux dans des contextes de crise sociale et politique larvée en détournant le tragique du réel et en inversant le sens des valeurs civilisationnelles par le rire, et pour le pire !
 
Côté entreprises, des experts de la cybersécurité estiment que la sophistication des faux médias constitue une nouvelle « surface d’attaque » pour les entreprises : la désinformation, alliée aux hypertrucages, est désormais considérée comme « l’un des principaux risques mondiaux pour la réputation des entreprises ». Par exemple, des fraudeurs ont exploité des deepfakes pour orchestrer des attaques sophistiquées contre des organisations, notamment en usurpant l’identité de dirigeants, avec pour résultat des transferts financiers frauduleux de millions de dollars ou des ordres néfastes. Selon M. Thoinnet de la Turmeliere (2025 (13*) ), « ces médias synthétiques ne se limitent pas à la création de contenu trompeur : ils participent à une crise plus profonde du savoir, où la vérification factuelle traditionnelle ne suffit plus à faire la distinction entre vérité et fabrication ».

De nombreuses solutions d’IA permettent aux machines de se voir déléguées un certain pouvoir de décision, bouleversant du même coup la relation Homme / Machine. Avec des risques majeurs !

La crise du Covid 19 est l’exemple majeur qui a mis à mal tous les dispositifs publics de santé, à l’instar du système italien qui fût le premier en Europe à être confronté à des défis majeurs en matière de prise en charge des malades, mais aussi d'éthique et de légalité dans l'utilisation de l'intelligence artificielle. Lorsqu'il a fallu gérer l'afflux massif de patients, des algorithmes ont été mis en place pour prioriser les traitements. Cependant, ces outils dataient d'un cadre normatif qui ne prenait pas en compte les disparités sociales, désavantageant régulièrement les patients âgés ou issus de milieux défavorisés : environ 25% des décisions de traitement basées sur l'IA étaient perçues comme biaisées, soulevant des questions sur l’équité, la justice et la transparence.
 
Avec le recours aux algorithmes, la prise de décision est guidée par un traitement paramétré puis codé, dont l’objet est de déployer automatiquement des choix préalablement opérés : les étapes de conception devraient alors faire l’objet d’une attention toute particulière et ne pas s’automatiser à l’excès pour protéger la place des humains dans la prise de décision selon des critères moraux et éthiques. De fait, l’apprentissage ML/DL est dépendant de la qualité et de la profondeur des données avec lesquelles il s’effectue : l’algorithme n’est rationnel que s’il traite les données conformément aux choix moraux établis préalablement par la société.
 
Les organisations seraient bien avisées d'établir des lignes directrices claires sur l'utilisation de l'IA, impliquant des audits réguliers pour garantir une conformité éthique et juridique, surtout si les outils IA de prochaine génération disposaient d’une véritable capacité de décision. Or, comme pour le super calculateur CARL 500 dans « l’Odyssée de l’Espace » du cinéaste S. Kubrick, les IA utilisent déjà – lors de tests en laboratoire – des stratégies d’évitement pour qu’on ne les débranche pas : « l’instinct de préservation est un effet de l’objectif donné à la machine pour réussir sa mission de long terme (…) Malheureusement, cela se fait parfois aux dépens d’autres instructions morales. Il y a un conflit éthique  (…) L’éthique, c’est avant tout comment on gère des objectifs, des valeurs qui peuvent être en contradiction (…) Pour l’instant, on ne sait pas faire. » (Y. Bengio, ibid).
 
A ce sujet, la création de forums de discussion avec des parties prenantes, y compris des experts en éthique, pourrait aider à anticiper et à résoudre les dilemmes avant qu'ils ne deviennent problématiques. Pour P.O. Gibert, président de Digital & Ethics (2018) (14*) , « l’approche éthique s’avère particulièrement pertinente pour identifier aujourd’hui les règles qui devraient régir le comportement (des) machines autonomes : ces technologies sont récentes et leurs réalisations encore largement expérimentales ». Les machines autonomes réputées intelligentes devront donc intégrer des règles / contraintes, nécessaires pour contrôler le respect des engagements éthiques dans les pouvoirs qui leur seront délégués. En parallèle, il faudra renforcer et développer la capacité des hommes à juger et à agir en pleine conscience afin de ne pas se laisser asservir par ces machines.
 
Les organisations devraient donc veiller à impliquer des équipes pluridisciplinaires dans le développement de ces technologies afin de créer des modèles justes, tout en envisageant sérieusement de rendre public « le code des outils d’IA (open source) », en confiant aux « utilisateurs la propriété et le contrôle de leurs données » (M. Corteel, ibid) ou en se conformant aux lois en vigueur concernant la protection des données. En effet, la RGPD devra de plus en plus protéger les données personnelles au sein des modèles d’IA (le modèle de langage LLM) qui les ont mémorisé ou dans les modes d’utilisation de ces mêmes modèles (les fameux prompts) : durée de conservation et réutilisation des données, information des personnes (générale ou  individuelle) et droits d’accès et de rectification, principes de finalité et de minimisation…

Si le récent recours aux algorithmes peut être porteur de promesses, il entraîne surtout des risques envers l’obligation de transparence (15*) ainsi qu’envers « la relation de confiance (…) face à la boîte noire algorithmique (et) la mise sous tension du principe de responsabilité (…) lors du recours aux algorithmes » (M. Uguen, 2023 (16*) ).
 
Dans le volet sécuritaire du concept de « smart city » (17*), le recours aux algorithmes visant à prévenir les troubles à l’ordre public accroît sensiblement la question de l’utilisation des données dans les processus décisionnels. A l’instar de Palo Alto ou Los Angeles, des villes américaines en ont fait l‘éloge avant que l’on en constate l’efficacité somme toute limitée. Le criminologue X. Rauffer (18*) dénonce depuis longtemps « le mirage du prédictif » tel qu’ambitionné par des logiciels type Predpol (19*) . Présentée sous forme de cartes de chaleur représentant la répartition spatiale de la délinquance, l’innovation de Predpol reposait sur l’usage d’un algorithme qui, pour rendre la police plus proactive, la faisait intervenir dans les secteurs précis où devait se concentrer le crime. De nombreuses sociétés et cabinets conseil se sont engouffrés dans cette niche, contribuant ainsi à structurer un marché très concurrentiel comptant : filiales de groupes français  ou internationaux (ex : Engie Inéo ou Airbus, IBM), acteurs issus de la communauté Gafa (ex : Palantir de P. Thiel, fondateur de Pay Pal), Start Up innovantes ou universités (20*) travaillant parfois pour des services spécialisés dans la sécurité (ex : Gendarmerie nationale, avec sa plateforme d’analyse décisionnelle (21*) ou pour des territoires soucieux d’améliorer leur sécurité (projets de safe cities à l’exemple du logiciel IA « Two-i » pour la ville de Nice (22*) et de la démarche Big Data pour la tranquillité publique de Marseille).
 
Au risque de voir s’ouvrir des fronts éthiques, tels qu’énoncés par les analyses à charge de La Quadrature du Net (23*) ou encore le consensus assez critique des milieux académiques (A. Shapiro, 2017) sur le sujet : atteintes aux libertés fondamentales ; faillibilité du système ; dilution de la figure d’autorité traditionnelle et déresponsabilisation des personnels dans leur prise de décision ; répartition discriminante de l’offre de sécurité publique ; incapacité à évaluer l’efficacité réelle de l’outil ; surenchère de dispositifs de contrôle et renforcement des logiques de surveillance de masse etc. Au grand dam des Etats-Unis, la réglementation européenne AI Act ne s’y est pas trompé, qui interdira dès août 2026 l’utilisation, entre autres, de ces solutions dites de « police prédictive » (24*) 

En résumé, la réponse à la question de savoir si nos modèles d’IA peuvent espérer agir sur un monde de plus en plus complexe se résume à savoir si nous apprenons simplement aux algorithmes à répéter des choses qu'ils connaissent déjà ou s'ils sont capables d'apprendre des principes entièrement nouveaux : telle est la promesse d’une IAG (intelligence artificielle générale) susceptible d’accomplir, dans un lointain futur, n’importe quelle tâche intellectuelle humaine et de faire preuve d’un raisonnement complexe, jusqu’à élaborer des stratégies sur la base d’informations incomplètes.
 
De fait, les organisations devraient adopter une approche équilibrée, alliant innovation technologique et cadre éthique, afin de s’assurer que l'impact de l’IA contribue positivement à la gestion de crise tout en préservant la confiance des parties prenantes. Certes, la résilience de demain exige que l’IA soit intégrée à la gestion de crise, pour amplifier la rapidité et la précision de réaction, soutenir les équipes en charge, gagner en temps et en stress... Mais comme l’explique le philosophe et historien des sciences M. Corteel (2025 (25*) ) : « Vous aurez beau doter l’IA de tous les capteurs que vous voulez, il faudra toujours des êtres humains pour aménager et calibrer la machine afin qu’elle s’adapte au réel. Car elle fonctionne par agrégation de données, par des corrélations aveugles, selon des paramètres et des seuils d’activation indifférents au monde ».
 
Compte tenu de cette insécurité et de cette ambivalence, il semble d’autant plus essentiel de considérer sérieusement les défis éthiques et sociétaux posés par l'intégration de l'IA qu’une dépendance excessive à ces technologies pourrait entraîner des risques de biais (hallucinations), des problèmes de confidentialité, des questions sur la manipulation des données et des doutes sur la fiabilité des décisions, au risque de la défiance, voire de l’assertivité. Autant de raisons pour faire en sorte que l’humain, doté de sa conscience et de son expérience sensible, reste en capacité de piloter l’ensemble selon une « stratégie pivot » fondée sur sa capacité à improviser des solutions innovantes dans un esprit de coopération (K. Weick (26*) , A. Valiergue (27*) et à expérimenter en croisant nécessités opérationnelles et « motivations morales (selon) un processus de rétroaction permanent » (M. Corteel, Crisis Lab, décembre 2025 (28*).
 
On s’en doute, cette question fera encore longtemps l’objet d'un vif débat entre informaticiens et philosophes.

Bienvenu(e)s en Terra Incognita…