Mes Projets en Détail

Description

Système RAG avancé pour le traitement de données confidentielles ou locales, avec déploiement sur site (Ollama) ou intégration de modèles de langage auprès de plusieurs fournisseurs cloud (Claude, GPT…). Le système permet de comparer les performances en temps réel et d’analyser les coûts en détail.

Données : Entrée flexible et ingestion multiformat, dans le respect du RGPD

Déploiement : Entièrement local pour les données sensibles, ou hybride (local/cloud)

Caractéristiques principales

• Recherche sémantique hybride : Recherche vectorielle dense (PostgreSQL/PGVector et index HNSW), recherche lexicale BM25, fusion RRF et reclassement par encodeur croisé
• Ingestion automatisée : Analyse de fichiers multiformats (PDF, DOCX, TXT, Markdown, py, ipynb, jpg, mp3…), découpage intelligent, filtrage qualité et représentations vectorielles accélérées par GPU (BAAI/bge-m3)
• Déploiement flexible : Ollama sur site pour les données sensibles, ou API cloud (Claude, GPT) pour maximiser les performances
• Interface utilisateur : Interface Streamlit pour des échanges intuitifs

Détails techniques

• Modèles de langage : Modèles locaux (Ollama) et API cloud (Claude, GPT, etc.)
• Base de données vectorielle : PostgreSQL avec l’extension PGVector
• Stratégie de recherche : Recherche hybride combinant similarité vectorielle, BM25 et fusion des rangs réciproques (RRF)
• Reclassement : CrossEncoder pour améliorer la précision des résultats
• Représentations vectorielles : BAAI/bge-m3 avec accélération GPU (PyTorch/CUDA)
• Indexation : HNSW (Hierarchical Navigable Small World) pour une recherche rapide
• Traitement audio : Whisper pour la transcription
• Orchestration : LangChain pour le pipeline RAG
• Conteneurisation : Docker pour simplifier le déploiement

Technologies

Description

Plateforme automatisée de collecte et d’analyse de données massives avec pipeline ETL, collecte web intelligente en plusieurs passes, prédiction du genre par apprentissage automatique et tableau de bord en temps réel avec Elastic et Kibana.

Infrastructure : Conteneurisée et déployable localement ou sur des serveurs cloud (Hetzner/Oracle Cloud)

Données : Tous mes cours, avec entrée flexible et ingestion multiformat

Architecture et fonctionnalités

• Pipeline ETL de données massives : Orchestration avec Airflow (DAG) et planification automatisée
• Collecte web intelligente : Collecte en plusieurs passes avec Selenium pour améliorer la robustesse
• Apprentissage automatique : Prédiction du genre
• Traitement : Spark/PySpark pour le traitement distribué de données massives
• Stockage : Format colonnaire Parquet avec compression Snappy
• Mise en cache : Redis pour améliorer les performances
• Visualisation : Tableau de bord en temps réel avec Elastic et Kibana
• Qualité : Contrôles et validation de la qualité des données

Détails techniques

• Orchestration : Apache Airflow pour la planification et le suivi des DAG
• Moteur de traitement : Apache Spark/PySpark pour le traitement distribué
• Format des données : Parquet colonnaire avec compression Snappy
• Collecte web : Selenium pour la collecte dynamique en plusieurs passes
• Bases de données : PostgreSQL pour les données structurées
• API : Flask pour l’interface REST
• Pipeline d’apprentissage : Prédiction du genre avec Scikit-learn
• Analyse des données : Pandas pour la manipulation et l’analyse
• Développement : Carnets Jupyter pour l’exploration et le prototypage
• Mise en cache : Redis pour le cache distribué
• CI/CD : Pipeline de déploiement automatisé
• SQL : Optimisation avancée des requêtes
• Recherche et visualisation : Elasticsearch et Kibana pour l’analyse en temps réel
• Déploiement cloud : Scripts automatisés pour Hetzner/Oracle Cloud

Technologies

Description

Détection automatisée de changements environnementaux dans les séries temporelles d’images satellites à l’aide de modèles fondamentaux. Comparaison de différents modèles pour la détection non supervisée d’anomalies et leur priorisation.

Données : Images satellites du jeu de données Dynamic Earth Net (Planet Labs)

Partenaire : Collaboration académique avec Airbus Defence and Space

Modèles fondamentaux comparés

• SAM2 (Segment Anything Model 2) : Modèle universel de segmentation de Meta
• DinoV2 : Modèle visuel de type Transformer, entraîné par auto-supervision pour extraire des caractéristiques
• Clay : Modèle fondamental spécialisé dans l’analyse d’images satellites
• Anysat : Modèle multispectral pour l’imagerie satellite

Approche méthodologique

• Prétraitement : Préparation et normalisation des images satellites multispectrales
• Exploration : Analyse exploratoire du jeu de données Dynamic Earth Net
• Implémentation : Implémentation et adaptation des quatre modèles fondamentaux
• Comparaison : Évaluation systématique des performances de chaque modèle
• Détection d’anomalies : Détection non supervisée de changements et regroupement avec LOF (Local Outlier Factor)
• Séries temporelles : Analyse temporelle pour identifier les changements environnementaux

Détails techniques

• Vision par ordinateur : Segmentation sémantique et extraction de représentations vectorielles
• Modèles fondamentaux : SAM2, DinoV2, Clay, Anysat
• Apprentissage automatique : Apprentissage non supervisé, regroupement LOF et détection d’anomalies
• Environnement logiciel : PyTorch pour l’apprentissage profond
• Imagerie : Images satellites multispectrales
• Jeu de données : Dynamic Earth Net (Planet Labs)
• Évaluation : Évaluation des performances à l’aide des courbes ROC

Résultats clés

L’évaluation à l’aide des courbes ROC montre que les modèles spécialisés en imagerie satellite surpassent les modèles généralistes pour la détection de changements, ce qui confirme l’intérêt de la spécialisation des modèles fondamentaux.

Technologies