Quand la confiance dans le système a remplacé la compréhension du système.

Le 24 octobre 1929, la Bourse de New York s'effondre. Ce qui frappe, a posteriori, ce n'est pas l'ampleur de la chute. C'est que personne ne l'avait vraiment vue venir. Pas par ignorance des signaux — ils existaient. Mais parce que la confiance dans le système financier avait progressivement remplacé la compréhension du système. Les mécanismes étaient devenus trop complexes, trop abstraits, trop délégués à des instruments que peu de gens maîtrisaient réellement. Quand la machine a rompu, elle a rompu partout en même temps.

L'IA en santé n'est pas la Bourse de 1929

La comparaison a ses limites. La santé n'est pas un marché spéculatif. Le risque n'est pas le krach. Il est plus discret, plus durable, plus difficile à nommer. Il ressemble à ceci : une organisation qui, progressivement, valide des décisions produites par des outils qu'elle ne comprend plus vraiment. Qui approuve des recommandations algorithmiques sans être en mesure de les challenger. Qui a externalisé assez de jugement pour ne plus savoir, en cas d'erreur, où l'erreur s'est produite.

Les cas documentés

L'algorithme nH Predict de NaviHealth, utilisé par UnitedHealthcare, affichait un taux d'erreur de 90 % dans les refus de soins médicaux qu'il générait automatiquement. Ces refus passaient outre les recommandations des médecins. La plainte collective déposée en 2023 a mis en lumière ce que la vitesse de traitement avait rendu invisible : 0,2 % des patients déposent des recours. Le système misait sur ce chiffre. Chez Cigna, en 2022, plus de 300 000 demandes ont été rejetées en deux mois — soit 1,2 seconde d'examen par demande en moyenne.

Ces exemples sont américains. Ils documentent un mécanisme qui, lui, est universel : quand la vitesse de traitement dépasse la capacité humaine de compréhension, les erreurs s'accumulent sans être détectées.

Ce que le modèle de collapse dit de la santé

Une étude publiée dans Nature en 2024 par des chercheurs d'Oxford et Cambridge a documenté le phénomène de "model collapse" : un modèle d'IA entraîné sur des contenus générés par d'autres IA perd progressivement sa diversité. Les cas rares, les situations atypiques disparaissent du spectre. Le modèle devient très performant dans le cas standard, très fragile dans le cas inhabituel. En médecine, le cas inhabituel existe. C'est précisément là que le jugement clinique humain est irremplaçable.

La supervision humaine s'atrophie si on ne l'entretient pas

Utiliser un outil d'IA en santé de manière sûre requiert une compétence spécifique : la capacité à comprendre ce que l'outil fait, à identifier ses limites, à détecter quand son résultat mérite d'être challengé. Cette compétence s'atrophie si on ne l'entretient pas. Les organisations qui déploient des outils d'IA sans former leurs équipes à cette supervision érodent progressivement la capacité de leurs professionnels à fonctionner quand l'outil tombe en panne ou rencontre un cas hors distribution.

Le glissement est invisible. Jusqu'au moment où il ne l'est plus.

La confiance dans un outil n'est pas un problème en soi. Elle devient un problème quand elle remplace la compréhension. Quand le professionnel qui valide une recommandation algorithmique ne peut plus expliquer pourquoi il la valide, sinon parce que l'outil le dit. Ce glissement est progressif. Il est confortable. Et il est invisible — les décisions continuent d'être prises, les indicateurs continuent d'être verts. Jusqu'au moment où ils ne le sont plus.