Le groupe de Mark Zuckerberg a annoncé la sortie de Llama 3.3, une version améliorée de leur modèle de langage multilingue open-source, contenant un grand nombre de paramètres. L’important à noter est que ce modèle est disponible sous une licence communautaire, permettant son utilisation, reproduction, distribution et modification de manière libre et non exclusive.
Depuis février 2023, Meta AI a publié la famille de modèles de langage (LLM) autorégressifs Llama. Initialement, la première version de Llama a été mise à la disposition des chercheurs sous une licence non commerciale avec accès restreint. Avec le temps, les versions suivantes ont été ouvertes à des utilisations commerciales, permettant une accessibilité plus large en dehors du domaine académique. Depuis le lancement de Llama 2, Meta AI propose des versions améliorées spécialement optimisées pour suivre des instructions. Très récemment, Meta a lancé Llama 3.3, un modèle multilingue open-source conçu pour offrir de meilleures performances à un coût réduit, améliorant ainsi l’accessibilité pour la communauté open-source.
Le Llama 3.3 sous tous les angles
Avant tout, le but principal de Llama 3.3 est d’accompagner à la fois les utilisations commerciales et les recherches dans de nombreuses langues. Les versions optimisées pour les instructions sont parfaites pour des conversations de type assistant, tandis que les modèles pré-entraînés peuvent être personnalisés pour une variété de tâches de génération de langage naturel. De plus, Llama 3.3 améliore d’autres modèles en produisant des résultats précieux, notamment en générant et en affinant des données synthétiques.
Llama 3.3 repose sur une architecture de transformateur avancée et utilise des techniques de réglage fin supervisé (SFT) ainsi que l’apprentissage par renforcement avec retour d’information humain (RLHF). Ces innovations ont pour objectif d’aligner le modèle sur les préférences humaines en matière de serviabilité et de sécurité.
La licence communautaire de Llama 3.3 permet une utilisation libre et non exclusive, incluant la reproduction, la distribution et la modification du modèle et de ses résultats. Cependant, certaines restrictions s’appliquent. Il est interdit d’utiliser le modèle d’une manière contraire aux lois applicables, à la politique d’utilisation acceptable, ou dans des langues non prises en charge. Par ailleurs, les frais professionnels associés à l’intégration de Llama 3.3 peuvent être considérés par les organisations pour des utilisations spécifiques.
Llama 3.3, le tout dernier modèle de langage multilingue de Meta AI, est spécialement conçu pour optimiser les dialogues. Ce modèle génératif pré-entraîné, réglé par instructions, est doté de 70 milliards de paramètres, ce qui lui permet de surpasser la plupart des autres modèles de chat, qu’ils soient open source ou fermés, sur les benchmarks standards de l’industrie.
Meta collabore avec des experts pour évaluer les risques de Llama 3.3
Pour Llama 3.3, Meta a dévoilé des initiatives pour évaluer les risques critiques. Des tests approfondis ont donc été effectués pour déterminer si ce modèle pouvait faciliter les capacités des acteurs malveillants à utiliser des armes chimiques et biologiques, dans le cadre de la prolifération d’armes de destruction massive. Pour assurer la sécurité des enfants et des salariés, y compris dans le cadre de frais professionnels, une équipe d’experts a analysé la capacité du modèle à générer des contenus potentiellement dangereux. Ces sessions d’évaluation ont permis de définir des mesures d’atténuation nécessaires et d’élargir les critères d’évaluation dans le cadre du développement de Llama 3.3.
Des méthodologies basées sur des objectifs ont été utilisées par Meta pour évaluer les risques du modèle à travers différents vecteurs d’attaque. Des collaborations avec des spécialistes du contenu ont également permis d’évaluer les violations potentielles, tout en tenant compte des nuances et expériences propres à chaque marché. L’évaluation a d’ailleurs exploré l’utilisation des LLM comme agents autonomes pour des opérations cyber-offensives complexes, notamment dans le contexte des attaques par ransomware.
Llama 3.3 repose sur des valeurs d’ouverture, d’inclusion et de serviabilité, visant à être accessible sans jugement inutile. Toutefois, comme toute nouvelle technologie, il comporte des risques imprévisibles. Meta n’hésite pas à souligner le fait que des tests de sécurité rigoureux seront donc nécessaires avant tout déploiement.
