Menu principal
Ce rapport – ouvert aux participations jusqu’au 11 avril 2025 – fait suite aux six recommandations émises en 2021 concernant l’utilisation de l’IA dans ce secteur. A cette occasion, il était principalement recommandé d’adopter les mesures visant (i) à désigner des responsables de mission IA pour le déploiement au sein des entreprises, (ii) de tester et de contrôler les systèmes avant leur déploiement, (iii) de s’entourer d’experts, (iv) de contrôler la chaine de responsabilité entre le fournisseur et l’utilisateur, (v) vérifier la protection des données et des informations ainsi que (vi) de contrôler l’utilisation des données et les éventuels biais des IA.
Ces mesures font écho aux principes du GHEN IA[1] et du règlement européen relatif à l’intelligence artificielle[2] (ci-après « RIA »).
A ce titre, le rapport souligne l’importance de bénéficier d’une définition commune et universelle du système l’IA, telle que celle proposée par l’OCDE:
« Un système d’IA est un système basé sur une machine qui, pour des objectifs explicites ou implicites, déduit, à partir des données qu’il reçoit, comment générer des résultats tels que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer des environnements physiques ou virtuels. Les différents systèmes d’IA varient dans leurs niveaux d’autonomie et d’adaptabilité après le déploiement »[3].
Cette définition tend à se rapprocher de celle du RIA qui propose la suivante :
« Un système automatisé qui est conçu pour fonctionner à différents niveaux d’autonomie et peut faire preuve d’une capacité d’adaptation après son déploiement, et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer les environnements physiques ou virtuels ».
Au-delà de la construction sémantique de la définition, les deux définitions sont relativement proches, reprenant les critères principaux, à savoir (i) des données à travailler/exploiter, (ii) différents niveaux d’autonomie et de traitement différents, (iii) des objectifs déterminés, (iv) l’influence d’environnement physiques ou virtuels et (v) l’adaptabilité après son déploiement.
Le lecteur européen peut alors interpréter les résultats du rapport dans un environnement sémantique connu et d’ores et déjà adopté par lui.
Il pourra ainsi partager le constat qu’en 2024 – année de la collecte des informations via les questionnaires formant la matière brute du rapport – les opérationnels ont accéléré leur adoption de système d’IA durant les 3 années qui suivirent les recommandations de 2021.
Cette expérience de l’IA au sein de ces entreprises permet de comprendre l’appétence des entreprises du secteur pour le potentiel de l’IA pour différentes activités du secteur. Tant en interne comme pour la mise en œuvre des procédures de connaissance du client (i.e. et ci-après le « KYC ») et les procédures relatives à la lutte contre le blanchissement et le financement du terrorisme (« LCB-FT »), l’analyse des marchés et l’analyse comportementale des investisseurs, qu’en externe, pour surveiller les marchés, contrôler les investissements et notamment utiliser des robots facilitant la gestion des actifs notamment mettant en œuvre des algorithmes de trading tout en permettant d’identifier les éventuelles fraudes[4].
Ce test grandeur nature a toutefois pu mettre en exergue les risques inhérents à l’utilisation de système IA dans ce secteur, à savoir (I) les risques opérationnels et organisationnels lesquels engendrent nécessairement (II) les réponses juridiques adaptées pour contrôler ces risques.
Les risques opérationnels et organisationnels
Les risques opérationnels et organisationnels sont relatifs à l’exploitation du système IA dans les opérations courantes de gestion d’actifs et d’investissement. Comme d’usage dans ce secteur, la terminologie délictuelle se concentre sur les « mauvais acteur », qui mêlent les fraudeurs et les pirates, et dont l’action consiste à exploiter des systèmes IA afin de tromper le client et/ou la vigilance du régulateur.
Ainsi, le lecteur remarquera que le rapport insiste sur des points connus – et déjà redoutés des RSSI et des juristes – de l’utilisation de nouvelles technologies au sein d’une entreprise et que chaque risque correspond à une menace bien identifiée sur la confiance que le régulateur et le client peuvent accorder à l’opérateur exploitant un système d’IA.
En effet, les plus grands risques identifiés correspondent aux usages détournés du système IA (malicious uses) tels que les attaques informatiques, les fraudes, la désinformation, le détournement des modèles et la corruption des données.
Spécifiquement à l’IA, les risques liés aux manipulations de marchés et aux deepfakes via l’utilisation de système d’IA sont envisagés via le RIA, qui prévoit une documentation de conformité poussée et des sanctions permettant de contrôler toute entreprise se livrant à ce type d’activité.
Cette correspondance du risque au règlement innerve ainsi le rapport. Sans détailler le contenu de chaque risque, il doit être souligné que ceux-ci sont identifiés au sein de la réglementation européenne. Par exemple, le règlement DORA vient encadrer les pratiques de sécurité informatique du secteur (notamment pour répondre aux risques de cybersécurité) notamment pour éviter autant que possible les fraudes et assurer la résilience des systèmes en cas d’attaque informatique, utilisant potentiellement une IA ou profitant des failles de l’IA exploitée pour attaquer ledit système.
Ensuite, le RGPD vient encadrer les risques liés aux utilisations des données des clients finals et donc des personnes concernées.
Sur ce point, on constatera que les risques quant à l’exploitation des données concernent autant les bases de données internes que sur les données d’entrainement multi sources (internet, réseaux sociaux, etc). Si le risque de détournement de la base de données interne apparait clairement, celui qui est lié aux multi sources est quant à lui plus vicieux, dans la mesure où il a trait aux modèles d’entrainement exploités pour l’IA. Si l’entrainement est réalisé en combinant différentes sources sans hiérarchisation, les risques d’hallucinations et de résultats biaisés sont bien trop importants pour assurer la sincérité de l’exploitation de l’IA.
Cette mesure du risque fait alors partie des projets de réponse juridique auxdits risques.
La réaction juridique aux risques
Face aux risques évoqués ci-dessus, le rapport fournit des points de vigilance identifiés par les opérateurs. Une attention particulière est portée à la situation de dépendance à la technologie fournie par un tiers.
Ainsi, le rapport insiste sur la connaissance, le contrôle technique et juridique des rapports avec les fournisseurs, ce qui suppose la mise en œuvre d’une gouvernance de l’IA et une maitrise des relations contractuelles avec les tiers – en sus de la conformité réglementaire.
Concernant la gouvernance, il est utile de préciser que certaines entreprises se dotent d’experts pour encadrer leur pratique, notamment par la création de centres d’excellence chargé d’organisation et de suivre le déploiement de l’IA. Ces groupes sont notamment guidés par les principes généraux de l’IA, à savoir la (i) transparence, (ii) la confiance, la robustesse et la résilience, (iii) l’équité, (iv) la sécurité, la sureté et la confidentialité, (v) la responsabilité, (vi) le contrôle humain et (vii) le management du risque et de la gestion (/gouvernance) des outils. Nous retrouvons ici nos principes d’IA qu’il conviendra alors de convertir en management interne et en obligations contractuelles.
Concernant les relations avec les tiers, le rapport insiste sur la nécessité de limiter ses dépendances aux tiers, notamment dans le cadre de l’externalisation de l’acquisition des sources qui alimentent les projets IA et/ou des systèmes IA eux-mêmes. A ce titre, il est rappelé que le RIA prévoit spécifiquement un contrôle et une responsabilité en chaine entre tous les acteurs de l’IA allant de la vérification des modèles techniques au contrôle des clauses à imposer aux différents intervenants (fournisseur, déployeur, importateur).
Il est alors compris qu’il est nécessaire d’exiger des garanties aux fournisseurs d’IA, notamment sur la sincérité de leurs services, le contrôle du système et du modèle d’entrainement et sur la capacité d’audit et de réactivité (identification, notification, résolution) en cas de corruption du système et/ou de fuites de données.
[1] Lignes directrices d’avril 2019 du Groupe d’expert de haut niveau sur l’intelligence artificielle
[2] Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle
[3] « An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment ».
[4] Page 18 du rapport