Orion | L’IA au service de l’industrie

En juin 2025, dans le cadre de ma PeiP 1 à Polytech, je réalise un stage ouvrier en industrie agro-alimentaire. Lors de cette immersion, une problématique est apparue sur le site de production : la difficulté de communication entre les services de production et de maintenance. Les interfaces numériques classiques (claviers et souris) s’avèrent inefficaces en situation d’urgence, car les opérateurs doivent impérativement garder les mains propres et libres.

C’est alors que j’ai l’idée de concevoir Orion, un agent IA conversationnel. L’objectif est simple : permettre aux opérateurs de signaler instantanément leurs besoins par commande vocale aux équipes de maintenance. Ce projet a été réalisé de septembre à décembre 2025 dans le cadre de ma deuxième année de PeiP.

Fais tourner le prototype et clique surtouche ses composants pour voir à quoi ils servent.

Une solution adaptée au terrain

×

Pour qu’Orion réponde réellement aux contraintes du terrain, il doit s’intégrer aux processus industriels existants. En industrie, lorsqu’un incident survient, il est nécessaire d’alerter la maintenance, de tracer l’événement et de coordonner les équipes afin d’éviter les retards. Ces informations doivent être accessibles aussi bien en production que par les équipes de maintenance, souvent en déplacement sur le site.

Pour répondre à ce double besoin, Orion repose sur deux interfaces.

Côté production, Orion prend la forme d’un terminal utilisable à la voix, installé en atelier. À partir de la demande orale de l’opérateur, Orion identifie les employés concernés via l’annuaire, consulte leurs agendas, planifie l’intervention et envoie automatiquement un e-mail récapitulatif aux services de maintenance pour assurer le suivi.

Côté maintenance, une application mobile permet aux techniciens d’accéder en temps réel aux interventions planifiées par Orion.

Le cerveau d’Orion

Les interfaces hardware et software reposent sur un même système, le cerveau d’Orion. Celui-ci assure un échange vocal fluide tout en gérant l’organisation (mails et calendriers) des équipes grâce à une architecture agentique multimodale. Cette architecture permet à Orion d’analyser la voix et le contexte afin de comprendre une demande et de déclencher, sans intervention humaine, les actions correspondantes.

Pour qu’Orion soit fonctionnel, j’ai dû répondre à 4 problématiques clés.

Garantir une communication instantanée entre l’utilisateur et Orion

Pour construire le cerveau d’Orion, j’ai d’abord travaillé sur la mise en place d’une communication instantanée entre l’utilisateur et l’agent.

Pour cela, l’infrastructure repose sur la plateforme open source LiveKit, qui assure l’échange à faible latence des flux audio entre l’utilisateur et un Agent Worker, processus chargé de l’exécution d’Orion.

Lorsqu’un utilisateur rejoint une room LiveKit, sa session est automatiquement attribuée à un worker disponible. Celui-ci gère l’ensemble de la session utilisateur : réception des flux audio, interprétation de la demande et déclenchement des actions associées.

Cette architecture permet de traiter les requêtes en parallèle et de maintenir une latence faible, y compris en présence de plusieurs utilisateurs simultanés.

Permettre à Orion de raisonner

Une fois la connexion établie, le raisonnement est assuré par le Realtime Model d’OpenAI. Ce choix de modèle m’a permis de minimiser la latence en analysant directement l’intention de l’opérateur à partir du signal vocal, sans passer par une étape intermédiaire de transcription textuelle.

Permettre à Orion d’agir

×

La compréhension de l’intention seule ne suffit pas : Orion doit également être capable d’agir en autonomie. J’ai alors mis en place un mécanisme de function calling via le kit de développement (SDK) LiveKit Agents, permettant à l’agent de piloter l’exécution des tâches.

Lorsque le modèle identifie un besoin nécessitant une action externe, il appelle des fonctions asynchrones. Contrairement à une fonction classique, qui bloque l’exécution en attendant une réponse, une fonction asynchrone permet à Orion de lancer une tâche en arrière-plan (comme l’envoi d’un mail) tout en poursuivant l’échange avec l’utilisateur.

Ces fonctions interagissent avec les API de Google Cloud. J’ai utilisé l’API Gmail pour assurer la communication inter-services, et l’API Calendar pour ajouter des événements, tels qu’une intervention de maintenance, directement dans les agendas des équipes concernées. J’ai également intégré l’API People afin de permettre à Orion d’identifier le destinataire à partir d’un nom, prénom ou même description, sans que l’utilisateur ait à dicter l’adresse e-mail complète.

Sécuriser les échanges

J’ai assuré la sécurité des échanges par le protocole OAuth 2.0, un cadre d’autorisation reposant sur des jetons d’accès à durée limitée. Cette approche permet à Orion d’agir au nom de l’utilisateur avec des permissions définies, sans jamais manipuler directement ses identifiants.

Une fois le cerveau d’Orion développé, j’ai débuté le prototypage de la version matérielle, puis logicielle, de l’agent.

Matérialisation d’Orion

Nous avons développé, avec Vincent Peysselier, la version physique d’Orion. Afin de répondre aux contraintes d’efficacité auxquelles sont confrontés les opérateurs de production, nous avons conçu une interface minimaliste et simple d’utilisation. Pour ce prototype, nous avons également opté pour une solution sans fil, en vue de la réalisation des démonstrations.

Assurer un prototypage sans fil

×

Pour concevoir un prototype sans fil, nous avons décidé de construire Orion sur une carte Raspberry Pi Zero 2, en raison de son encombrement réduit et de ses modules Wi-Fi et Bluetooth intégrés. Celle-ci permet de gérer nativement les flux de communication sans fil.

Pour alimenter Orion (carte, écran, amplificateurs), nous avons opté pour une batterie de 10 000 mAh (50 Wh), garantissant une autonomie énergétique de plusieurs heures.

Une version industrielle nécessiterait toutefois que le terminal soit alimenté sur secteur et que la connexion réseau soit filaire pour assurer la stabilité de la communication.

Concevoir une interface minimaliste

Pour l’interface utilisateur, nous avons choisi d’intégrer un écran de 7 pouces afin de garantir une bonne lisibilité des informations pour l’opérateur, ainsi qu’un système audio mono piloté par un amplificateur MAX98357A via le protocole I2S, associé à des haut-parleurs Adafruit 4 Ohm 5 W. Nous avons retenu ces haut-parleurs pour leur format compact, offrant une qualité audio satisfaisante, avec un niveau sonore pouvant atteindre 95 dB en sortie. Ce niveau sonore reste limité pour un usage en atelier de production, mais s’avère suffisant pour valider ce prototype.

Modélisation et impression 3D

Interface logicielle d’Orion

Sur le plan logiciel, nous avons développé, avec Tom Cohen et Anton Sylvestre, l’application cliente sur le framework Flutter. Ce choix nous a permis de garantir un déploiement homogène du logiciel, à la fois sur le terminal physique en atelier et sur les téléphones mobiles des équipes de maintenance.

Cette application permet ainsi aux agents d’accéder à Orion par la voix, y compris lorsqu’ils sont en déplacement sur le site de production.

Bilan

×

En répondant à une problématique industrielle concrète, ce projet m’a permis de consolider mes compétences en architecture agentique, en programmation et en conception logicielle. Il m’a également permis de mettre en œuvre les connaissances théoriques acquises en classe préparatoire, notamment en électronique, ainsi que les compétences développées en modélisation et en impression 3D.

L’ensemble constitue un prototype fonctionnel, qui pourrait être amélioré dans une perspective d’industrialisation.

Remerciements

Un grand merci à notre tuteur, Pietro Maris Ferreira, pour son aide et ses précieux conseils, ainsi qu’à Polytech Annecy-Chambéry de nous offrir le temps et l’opportunité de réaliser de tels projets au sein de notre prépa. 🙏