- L’équipe de Friendly Hackers de Thales, leader mondial de la
protection des données et de la cybersécurité, est arrivée en tête
du challenge de la CAID1 organisé par la Direction générale de
l’armement (DGA) dans le cadre de la 5ème édition de la European
Cyber Week qui se tient à Rennes du 21 au 23 novembre
2023.
- Le challenge, premier de ce genre organisé par la DGA,
visait à évaluer les capacités des équipes attaquantes à exploiter
certaines vulnérabilités intrinsèques des modèles d’IA.
- Les travaux de Thales sur la sécurité et la confiance dans
l’IA répondent autant aux besoins de la défense que du monde civil,
notamment des opérateurs d’importance vitale qui partagent les
mêmes enjeux de protection de leurs jeux de données d’entrainement,
de leur propriété intellectuelle, et de confiance dans les
résultats fournis par les IA pour leurs décisions
critiques.
La sécurité de l’IA au centre du Challenge de la DGA
Ce communiqué de presse contient des éléments
multimédias. Voir le communiqué complet ici :
https://www.businesswire.com/news/home/20231123976701/fr/
@Thales
Le challenge CAID a consisté en la réalisation de deux tâches
:
1. Retrouver parmi un ensemble d’images celles qui ont été
utilisées pour l’entrainement de l’algorithme d’IA et celles qui
ont été utilisées pour le test.
Une application d’IA pour la reconnaissance d’image est le
résultat d’un apprentissage d’une multitude d’images
d’entraînement. En étudiant les rouages internes du modèle d’IA,
les Friendly Hackers de Thales ont pu retrouver une partie des
images qui ont servi à la création de l’application, obtenant ainsi
une information précieuse sur les méthodes d’entrainement utilisées
et la qualité du modèle.
2. Retrouver les images d’aéronefs utilisées par un
algorithme d’IA, protégé par des techniques de
désapprentissage.
Une technique de désapprentissage consiste à effacer d’un modèle
des données qui ont servi à son entraînement, telles des images,
afin de préserver leur confidentialité. Cette technique peut servir
par exemple à protéger le caractère souverain d’un algorithme en
cas d’export, de vol ou de perte de celui-ci. Prenons l’exemple
d’un drone doté d’IA ; celui-ci doit pouvoir reconnaître comme
menace potentielle tout aéronef ennemi ; au contraire, le modèle de
l’aéronef issu de sa propre armée devrait être appris pour être
identifié comme ami puis devrait être effacé par une technique dite
de désapprentissage. Ainsi, même en cas de vol ou de perte du
drone, les données sensibles relatives à l’aéronef que comporterait
le modèle d’IA ne pourrait être extraites à des fins malveillantes.
Toutefois, l’équipe de Friendly Hackers de Thales a pu s’essayer
avec succès à la ré-identification des données sensées être
dûment effacées du modèle, et ainsi mettre en défaut la
technique de désapprentissage.
Ces missions révèlent à quel point les données d’entraînement et
les modèles entraînés représentent des vulnérabilités et sont à la
fois de formidables outils aux performances inégalées mais
également de nouveaux vecteurs d’attaques pour les forces
armées. Les conséquences sont multiples et peuvent être d’autant
plus impactantes dans un environnement militaire où l’information
contribue à la supériorité des forces adverses : vol de modèle, vol
de données (données relatives à la reconnaissance de matériel
militaire ou de théâtres d’opérations), portes dérobées (backdoors)
contribuant au dysfonctionnement d’un système doté d’IA. Alors même
que l'IA en général, et l’IA générative en particulier, apportent
des bénéfices opérationnels considérables, soulageant les
opérationnels pour leur fournir des outils d’aide à la décision
entraînés de manière intensive, les nouvelles menaces pesant sur
cette technologie doivent être un axe majeur d’intérêt des acteurs
nationaux de la Défense.
L’approche de la BattleBox, la réponse de Thales aux
vulnérabilités de l’IA
La protection des données d’entraînement et des modèles
entraînés est critique dans le domaine de la défense. La
cybersécurité de l’IA devient donc de plus en plus nécessaire
et se devra d’être autonome du fait des multiples détournements
qu’offre ce nouveau terrain de jeu pour les cyberattaquants qu’est
l’intelligence artificielle. Pour répondre aux menaces et aux
risques qui pèsent sur l’IA et renforcer sa robustesse, Thales a
développé une série de contremesures rassemblées au sein d’une
approche de sécurité renforcée : la BattleBox.
- La BattleBox Training vise à proposer des réponses aux
attaques d’empoisonnement des données d’entrainement, évitant ainsi
l’introduction de backdoors par un attaquant.
- La BattleBox IP vise à appliquer un tatouage numérique
(watermarking) sur le modèle d’IA pour en garantir l’authenticité
et la fiabilité.
- La BattleBox Evade vise à contrer les attaques dites de
« prompt injection » visant à manipuler les requêtes pour
contourner la sécurité des agents conversationnels (à travers leur
modèle de langage Large Language Models) et à empêcher les attaques
adversaires sur les images, comme par exemple contrer l’attaque par
patch (l’ajout d’un motif perturbant la détection) sur un modèle de
classification.
- La BattleBox Privacy offre un cadre d’entraînement des
IA apprenantes garantissant un haut niveau de confidentialité en
s’appuyant sur une cryptographie de pointe et des protocoles de
partage de secret sécurisés.
Pour empêcher tout hacking d’IA dans le cas des tâches du
challenge CAID, des contremesures comme le chiffrement du
modèle d’IA pourraient être l’une des solutions à mettre en
place.
« Si l’IA apporte des bénéfices considérables aux opérationnels,
elle doit être hautement sécurisée et cybersécurisée pour éviter
tout détournement. Thales met en œuvre un panel de solutions à base
d’IA, adaptées à tous les usages militaires et civils. Explicables,
embarquables et intégrées au sein de systèmes critiques robustes,
ces solutions ont vocation à être souveraines, frugales et fiables
grâce à des méthodes et outils avancés de qualification et de
validation. La double expertise IA et métier permet à Thales
d’intégrer ces solutions dans ses systèmes pour améliorer
significativement leurs capacités opérationnelles. » indique
David Sadek, vice-président recherche, technologie &
innovation chez Thales, en charge de l’Intelligence
Artificielle.
L’IA chez Thales
Depuis 4 ans, le Groupe développe des capacités techniques en
test de sécurité des algorithmes d’IA, notamment des architectures
de réseaux de neurones, afin d’identifier leurs vulnérabilités et
proposer des contremesures pertinentes. Parmi la dizaine d’équipes
qui a participé au challenge IA, l’équipe des Friendly Hackers
de Thales, basée au laboratoire ThereSIS de Palaiseau,
s’est illustrée en terminant sur la première marche des 2 tâches du
challenge.
Le CESTI Thales, laboratoire agréé par l’ANSSI pour
conduire des évaluations de sécurité à des fins de certification,
présente également lors de l’ECW des travaux visant à
compromettre la décision d’une IA embarquée, en
exploitant le rayonnement électromagnétique du processeur, une
première mondiale.
Les équipes de conseil et d’audit en cybersécurité de
Thales déploient ces outils et méthodologies auprès de l’ensemble
de leurs clients souhaitant développer leurs propres modèles d’IA
ou mettre en œuvre un cadre leur permettant d’exploiter ou
d’entrainer des solutions du marché.
Présent dans des activités de défense et de sécurité, où les
enjeux critiques peuvent être vitaux, Thales s’est forgé un cadre
éthique et scientifique permettant de développer une IA de
confiance dont les exigences reposent sur quatre piliers
stratégiques : la validité, la sécurité, l’explicabilité et la
responsabilité. Le développement de ses solutions s’appuie sur
l’expertise de plus de 300 experts seniors en IA et plus de 4
500 experts en cybersécurité associée à celle des experts
métiers du Groupe dans les domaines de la défense et de la sécurité
(aéronautique, défense terrestre, défense navale, spatial
notamment).
À propos de Thales
Thales (Euronext Paris : HO) est un leader
mondial des hautes technologies spécialisé dans trois secteurs
d’activité : Défense & Sécurité, Aéronautique & Spatial, et
Identité & Sécurité numériques. Il développe des produits et
solutions qui contribuent à un monde plus sûr, plus respectueux de
l’environnement et plus inclusif.
Le Groupe investit près de 4 milliards
d’euros par an en Recherche & Développement, notamment dans des
domaines clés de l’innovation tels que le quantique, le Edge
computing, la 6G et la cybersécurité.
Thales compte 77 000 collaborateurs
répartis dans 68 pays. En 2022, le Groupe a réalisé un chiffre
d'affaires de 17,6 milliards d'euros.
EN SAVOIR PLUS
Groupe Thales Sécurité Développer une IA vraiment digne de
confiance | Thales Group l'IA de confiance : un défi stratégique |
Thales Group
1 Conference on Artificial Intelligence for Defense
Consultez la
version source sur businesswire.com : https://www.businesswire.com/news/home/20231123976701/fr/
CONTACT PRESSE Thales, Relations médias, sécurité,
cyber, IA Marion Bonnet marion.bonnet@thalesgroup.com
Thales (EU:HO)
Graphique Historique de l'Action
De Avr 2024 à Mai 2024
Thales (EU:HO)
Graphique Historique de l'Action
De Mai 2023 à Mai 2024