Etude sur la compression de modèle de suivi visuel d’objets
Etude sur la compression de modèle de suivi visuel d’objets
Mots-clés : edge AI, vision par ordinateur, Vision Transformer, traitement d’image
Quelle sera votre mission ?
Au sein de la division « Smart munition », vous intégrerez le groupe IGC (Intelligent Guidance and Control), responsable de la conception et du développement d’algorithmes de Visual Object Tracking (VOT) pour le guidage terminal des munitions. Le VOT (cf. Fig. 1) consiste à localiser et suivre automatiquement un objet cible spécifique à travers les images successives d’une séquence vidéo. Selon la littérature récente, les modèles les plus performants reposent principalement sur les Vision Transformers, qui offrent des améliorations significatives par rapport aux réseaux CNN traditionnels. Cependant, ces modèles ne sont pas directement adaptés aux applications embarquées.
Objectifs
L’objectif de ce stage est de concevoir et d’évaluer des techniques de compression de modèles afin de réduire la taille et la complexité des modèles, diminuant ainsi le temps d’inférence tout en maintenant les performances de suivi. Vos missions incluront :
- La réalisation d’une étude bibliographique sur les techniques de compression de modèles
- L’Implémentation et l’évaluation des différentes méthodes de compression
- Valider la solution retenue sur une plateforme embarquée lors d’essais en vol
Profil recherché
Vous êtes actuellement en dernière année de Master ou d’un cursus équivalent, avec une spécialisation dans l’un ou plusieurs des domaines suivants : apprentissage automatique, vision par ordinateur, data science, développement logiciel, mathématiques appliquées ou tout domaine connexe.
Compétences et/ou expériences requises :
- Solides compétences en programmation Python
- Capacité à effectuer une étude bibliographique et à synthétiser des résultats techniques
- Bonne maîtrise des frameworks de machine learning (PyTorch)
- Capacité à implémenter et évaluer des modèles d’apprentissage profond
Atouts supplémentaires :
- Connaissance des plateformes matérielles pour l’IA embarquée (ex : NVIDIA Jetson)
- Compréhension des techniques de compression de modèles (pruning, quantification, distillation de connaissances…)
- Expérience avec les outils de gestion de version (ex : Git)
- Familiarité avec le système d’exploitation Linux
Compte tenu de l’environnement international de l’institut, un bon niveau d’anglais est requis. La maîtrise de l’allemand est un plus.
Quelles ressources aurez-vous ?
Dans le cadre de votre stage, vous bénéficierez d’un ensemble complet de ressources pour soutenir vos activités de recherche, développement et validation, notamment :
- Un cluster IA haute performance équipé de plusieurs GPU (A100, L40S) pour l’entraînement, l’implémentation et l’évaluation de modèles sur des jeux de données personnalisés
- Un jeu de données VOT (Visual Object Tracking) sur mesure, avec des scénarios à forte pertinence militaire
- Des modules Nvidia Jetson pour des tests en laboratoire et l’optimisation logicielle sur matériel embarqué
- Un drone quadricoptère équipé d’un module NVIDIA Jetson, permettant de valider vos algorithmes en conditions réelles, lors de scénarios de vol
Vous serez intégré(e) à une équipe composée d’un chercheur, deux ingénieurs, et un doctorant, tous spécialisés dans les applications de suivi, et collaborerez avec plus de 20 ingénieurs, chercheurs et doctorants au sein du groupe IGC.
Annonce publiée le 07/08/2025
Study on compression of Visual Object Tracking models
Study on compression of Visual Object Tracking models
Keyword: edge AI, computer vision, transformer, image processing
What will be your mission?
As part of the “Smart munition” division, you will join the IGC (Intelligent Guidance and Control) group, which is responsible for designing and developing Visual Object Tracking (VOT) algorithms for the terminal guidance of munitions. VOT (see fig. 1) involves automatically locating and tracking a specific target object across consecutive frames in a video sequence. According to recent literature, top-performing models are primarily based on Vision Transformers, which offer significant performance improvements over traditional CNN-based networks. However, these models are not directly suited for embedded applications.
Objective
The objective of this internship is to design and evaluate model compression techniques to reduce model size and complexity, thereby decreasing inference time while maintaining tracking performance. Your tasks will include:
- Conducting a literature review on model compression techniques
- Implementing and evaluating various model compression methods
- Validating the selected solution on an embedded platform during flight tests
Who are you?
You are currently in your final year of a Master degree or an equivalent program, specializing in one or more of the following areas: Machine learning, Computer vision, Data science, Software development, Applied mathematics or any related field.
Required Competencies and/or Experience on:
- Strong programming skills in Python
- Ability to conduct literature reviews and summarize technical findings
- Solid understanding of machine learning frameworks (PyTorch)
- Ability to implement and evaluate deep learning models
Additional assets:
- Familiarity with hardware platforms for embedded AI (e.g., NVIDIA Jetson)
- Understanding of model compression techniques (such as pruning, quantization, or knowledge distillation)
- Experience with version control tools (e.g., Git)
- Familiarity with the Linux operating system
Given the institute’s international environment, a good level of English is required. Speaking in German or French is a plus.
What resources will you have?
As part of your internship, you will benefit from a comprehensive set of resources designed to support your research, development, and validation activities. These include:
- High-performance AI cluster equipped with multiple GPUs (A100, L40S) for training, implementing, and evaluating models on custom datasets
- Custom Visual Object Tracking (VOT) Dataset with military relevant scenarios
- Nvidia Jetson devices for laboratory-based testing and optimization of your software on embedded hardware
- A quadcopter UAV equipped with a NVIDIA Jetson module, providing the capability to validate your algorithms in real-world, in-flight scenarios
You will be integrated into a team consisting of two engineers, one researcher, and one PhD, all focused on tracking applications, and you will collaborate with more than 20 engineers, scientists, and PhDs within the IGC group.
Published on 07/08/2025