Compar:IA est un comparateur d'IA conversationnelles (une "chatbot arena") développé au sein du Ministère de la Culture français avec une double mission :

Former et sensibiliser au pluralisme des modèles, aux biais culturels et linguistiques et aux enjeux environnementaux des IA conversationnelles.
Améliorer les IA conversationnelles en français en publiant des jeux de données d'alignement en français et en faisant un classement de modèles d'IA conversationnelle en français (en construction).

Le comparateur compar:IA est développé dans le cadre de la start-up d'Etat compar:IA (incubateur de l'Atelier numérique et AllIAnce) intégrée au programme beta.gouv.fr de la Direction interministérielle du numérique (DINUM) qui aide les administrations publiques à construire des services numériques utiles, simples et faciles à utiliser.

✨ Tester compar:IA 📧 Nous contacter 💻 Dépôt de code

Les données collectées via compar:IA sont publiés dans trois jeux de données :

💬

comparIA-conversations

Jeu de données de l'ensemble des questions posées et réponses reçues sur la plateforme compar:IA.

103k+

conversations

Découvrir

👍

comparIA-votes

Jeu de données regroupant les préférences exprimées par les utilisateurs après une conversation entière. Les votes permettent de comparer deux modèles lorsqu'aucune réaction n'a été donnée sur des messages individuels.

30k+

votes

Découvrir

🫶

comparIA-reactions

Jeu de données regroupant les réactions des utilisateurs de compar:IA à l'échelle d'un message. Il reflète les préférences exprimées au fil des discussions, message par message.

30k+

réactions

Découvrir