Déploiement d'IA Auto-hébergée
Je conçois et déploie des infrastructures d’IA privées qui maintiennent vos données sous votre contrôle. Pas de verrouillage fournisseur (vendor lock-in), pas de limites de taux d’API, pas de télémétrie. Tout fonctionne sur du matériel qui vous appartient.
Mon approche privilégie l’infrastructure : piles dockerisées, fichiers compose modulaires, inférence accélérée par GPU et sécurité intégrée dès le premier jour. Chaque déploiement est prêt pour le mode air-gap (isolation physique) par défaut.
Besoin d’une installation d’IA privée ? Envoyez un e-mail à consulting@blob42.xyz et nous pourrons discuter de votre cas d’usage.
Configuration de l’Infrastructure
Je provisionne et configure la pile complète, du bare-metal à la couche applicative. Chaque composant est conteneurisé, versionné et conçu pour être reproductible.
- Provisionnement de serveurs GPU : Instances basées sur Ubuntu avec NVIDIA CUDA/AMD ROCm, configurées sur AWS, Runpod.io ou votre propre matériel. Je gère l’installation bare-metal (OS, Hyperviseur, Hôte Docker/Podman), la configuration du toolkit CUDA et l’allocation des ressources GPU.
- Architecture Docker Compose : Fichiers
.ymlmodulaires et plats avec un service par unité logique (moteur LLM, UI, RAG, agents). Pas de fichiers compose monolithiques — chaque composant peut être démarré et remplacé indépendamment. (Compatible également avec Podman) - Reverse Proxy & Réseautage : Reverse proxy Caddy avec TLS automatique (PKI interne ou Let’s Encrypt), hébergement virtuel basé sur le nom et contrôle d’accès granulaire. Des réseaux Docker internes isolent les services de toute exposition externe.
- Stockage et Mise en Cache des Modèles : Stratégie de volumes persistants pour les modèles GGUF, les caches KV et les caches de téléchargement HuggingFace. Optimisé pour un chargement rapide des modèles et une empreinte disque réduite.
- CI/CD pour les Modèles : Pipelines automatisés pour les mises à jour de modèles, la quantification et le benchmarking. Construits à partir de sources locales avec des architectures CUDA personnalisées (de Turing à Hopper).
ELI5 : Imaginez que nous construisons les fondations physiques et la plomberie. Au lieu de louer un petit appartement dans le cloud, je vous construis une forteresse sécurisée et sur mesure sur votre propre terrain. Vous possédez les clés, les murs et l’énergie.
Sélection de Modèles et Inférence
Je vous aide à choisir le modèle adapté à votre charge de travail et à le déployer avec le moteur d’inférence optimal. J’utilise plusieurs backends d’inférence en production et peux recommander la solution la plus adaptée à vos contraintes.
- Moteurs d’Inférence : llama.cpp (direct, au plus proche du matériel), LocalAI (API complète compatible OpenAI, multi-modèles), vLLM (service à haut débit), Ollama (priorité à la simplicité). Je contribue directement au code source de LocalAI.
- Hot-Swapping de Modèles : Proxy llama-swap pour le chargement et l’échange automatiques entre les modèles sans interruption de service. Piloté par configuration, supporte plusieurs serveurs de modèles simultanés.
- Familles de Modèles : Gemma, Qwen3, Llama, Mistral et autres au format GGUF. Je benchmark les modèles sur votre matériel pour trouver le meilleur compromis entre qualité, vitesse et utilisation de la VRAM.
- Quantification : Quantification des modèles (Q4, Q5, Q6, Q8) pour faire tenir des modèles plus larges sur des GPU plus petits. Pipelines de quantification personnalisés utilisant les outils de llama.cpp.
- Multi-GPU & Multi-Arch : Builds ciblant des architectures GPU spécifiques (CUDA 86 pour les séries RTX 20/30/40, 89 pour Hopper). Binaires statiques pour un déploiement portable.
ELI5 : C’est comme choisir le « cerveau » de votre IA. Certains cerveaux sont immenses et intelligents mais lents ; d’autres sont petits et rapides. Je trouve l’équilibre parfait pour que votre IA soit assez intelligente pour le travail sans être lente.
Pipelines RAG
La génération augmentée par récupération (RAG - Retrieval-Augmented Generation) est le pont entre vos documents privés et le LLM. Je construis des pipelines RAG de bout en bout qui éliminent les hallucinations en ancrant les réponses de l’IA dans vos données réelles.
- Base de Données Vectorielle : ChromaDB pour un stockage vectoriel auto-hébergé et léger. Ingestion de documents, embedding et recherche de similitude prêts à l’emploi.
- Embedding & Reranking : Sélection de modèles pour les embeddings et le reranking. J’adapte le modèle d’embedding à la nature de vos données (docs techniques, contrats juridiques, etc.) pour garantir une haute précision de récupération.
- Stratégie de Chunking : Ajustement spécifique au domaine de la taille des segments (chunks) de documents et du chevauchement (overlap). J’optimise la façon dont les données sont « découpées » pour que l’IA reçoive le contexte exact dont elle a besoin sans gaspiller de tokens.
- Intégration UI : Open-WebUI avec téléchargement de documents RAG intégré. Les utilisateurs peuvent ingérer des PDF, des fichiers texte et des pages web directement via l’interface pour un ancrage immédiat.
ELI5 : C’est comme donner à l’IA une « bibliothèque » des documents de votre entreprise. Au lieu que l’IA devine ou invente des choses, elle cherche d’abord la réponse dans vos livres, puis vous en fait le résumé.
Systèmes Agentiques
Au-delà du simple chat, je déploie des flux de travail d’agents autonomes qui transforment l’IA d’un consultant en un travailleur capable d’exécuter des tâches sur votre infrastructure.
- Frameworks d’Agents : LocalAGI pour l’orchestration locale, N8N pour l’automatisation de flux auto-hébergée avec connecteurs intégrés (e-mails, API, bases de données), et LangChain pour une logique personnalisée complexe.
- Serveurs MCP Personnalisés : Serveurs Model Context Protocol adaptés à vos outils internes, permettant à l’IA de lire vos bases de données ou de déclencher des scripts internes en toute sécurité.
- Développement d’Outils : Pipes et valves personnalisés pour Open-WebUI, actions pour LocalAGI et connecteurs pour N8N. Je construis les « mains » dont l’IA a besoin pour interagir avec votre entreprise.
ELI5 : Cela transforme l’IA d’un « chatbot » en un « employé numérique ». Au lieu de simplement vous dire comment faire quelque chose, l’IA peut réellement le faire, comme envoyer un e-mail ou mettre à jour une base de données.
Modèles de Diffusion (Génération d’Images)
Pour les flux de travail visuels, je déploie et conteneurise des piles de modèles de diffusion qui vous permettent de générer des images et des assets de haute fidélité en toute confidentialité.
- ComfyUI : Interface Stable Diffusion basée sur des nœuds avec accélération GPU dans Docker. Je fournis des Dockerfiles optimisés avec support NVIDIA CUDA pour une génération d’images de qualité professionnelle.
- Stable Diffusion WebUI : UI alternative avec plusieurs variantes de build adaptées à vos contraintes matérielles spécifiques.
- Gestion des Modèles : Organisation des LoRA, checkpoints et embeddings via des volumes persistants pour un contrôle cohérent de la marque et du style.
ELI5 : C’est votre propre artiste IA privé. Vous pouvez créer des images, des logos ou des concepts artistiques sans envoyer vos prompts ou vos résultats à une entreprise tierce.
Sécurité et Confidentialité
La sécurité est le cœur de ma méthodologie. Chaque déploiement est conçu avec une approche « privacy-first » et prête pour l’air-gap afin de garantir que votre propriété intellectuelle ne quitte jamais votre périmètre.
- Isolation Réseau : Les réseaux Docker segmentent le trafic par fonction. Les services internes communiquent via des réseaux privés, garantissant qu’une compromission d’une couche n’expose pas l’ensemble de la pile.
- Authentification : Intégration SSO via LDAP (LLDAP), passerelle d’authentification Anubis et gestion robuste des clés API pour l’accès programmatique.
- mTLS & PKI Interne : TLS mutuel entre les services utilisant des autorités de certification auto-signées. Cela garantit que seuls les services autorisés peuvent communiquer entre eux.
- Gestion des Secrets : Secrets Docker pour les données sensibles et configuration chiffrée via git-secret, garantissant que les mots de passe et les clés ne sont jamais stockés en texte clair.
- Déploiement Air-Gap : Piles complètes conçues pour fonctionner sur des intranets isolés sans aucune connectivité externe.
- Durcissement (Hardening) : Accès SSH uniquement par clé, règles de pare-feu strictes et exposition minimale des ports.
ELI5 : C’est le coffre-fort. Je m’assure que vos données sont verrouillées si étroitement qu’aucun octet ne puisse s’échapper de votre bâtiment.
Intégration et Outillage
Je m’assure que votre pile d’IA s’intègre parfaitement à votre écosystème logiciel existant et à vos flux de travail de développement.
- API Compatible OpenAI : Tous les backends (LocalAI, llama.cpp, vLLM) exposent des points de terminaison compatibles OpenAI. Cela vous permet de remplacer des API cloud coûteuses par votre pile locale sans aucun changement de code.
- Proxy de Débogage LLM : Proxy MITM léger et sans fournisseur pour inspecter les appels LLM, les fenêtres de contexte et les invocations d’outils. Essentiel pour auditer le comportement de l’IA et optimiser les prompts.
ELI5 : C’est la colle. Je m’assure que l’IA peut « parler » à vos logiciels et outils existants, pour que vous n’ayez pas à changer votre façon de travailler pour utiliser l’IA.
Modèles d’Engagement
Je propose des modèles d’engagement flexibles selon vos besoins :
- POC / Preuve de Concept : Déploiement rapide d’une pile d’IA privée fonctionnelle en 2 à 4 jours. Validé par une démo en direct avant engagement complet.
- Déploiement Complet : Conception de bout en bout, provisionnement et transfert d’une infrastructure prête pour la production avec documentation complète.
- Retainer (Accompagnement) : Support continu, mises à jour de modèles et optimisation. Des forfaits de 30 jours et plus sont disponibles pour une collaboration continue.
- Développement Personnalisé : Outils sur mesure, intégrations et flux de travail d’agents spécifiques à votre cas d’usage.
Le Côté Légal
Tous les services sont fournis par moi-même en tant qu’autónomo enregistré en Espagne, avec enregistrement ROI pour la TVA intra-communautaire.
Les factures sont généralement émises en EURO. Je suis disponible pour des missions allant jusqu’à 4 jours par semaine.
TVA : ES9065609N