# À la découverte de l'extension Otoroshi LLM by Cloud APIM ## 🔍 **Qu’est-ce que l’extension Otoroshi LLM ?** L’extension [**Otoroshi LLM**](https://github.com/cloud-apim/otoroshi-llm-extension/) développée par **Cloud APIM** est un module innovant qui transforme la passerelle API open source **Otoroshi** en une **puissante passerelle d’IA (AI Gateway)**. Cette extension permet une intégration native avec les principaux fournisseurs de **modèles de langage (LLM)** tels que **OpenAI**, **Mistral**, **Anthropic**, **Azure**, **Hugging Face**, et bien d'autres [(voir la documentation)](https://cloud-apim.github.io/otoroshi-llm-extension/docs/llm-gateway/providers). Grâce à cette technologie, les entreprises peuvent intégrer des modèles conversationnels, des fonctionnalités génératives ou des services intelligents directement dans leur infrastructure API. --- ## **Fonctionnalités clés de l’extension Otoroshi LLM** ### Compatibilité multi-fournisseurs IA Basculez facilement entre plusieurs modèles comme **GPT (OpenAI)**, **Claude**, **Mistral**, vos propres modèles internes ou des modèles open source. Réduisez la dépendance à un seul fournisseur (vendor lock-in) et améliorez la flexibilité de vos flux IA. --- ### Ingénierie de prompt avancée * Créez des **prompts dynamiques avec des modèles** personnalisés * Injectez du **contexte en temps réel** * Appliquez des **barrières de sécurité (guardrails)** pour contrôler les entrées et sorties Idéal pour les cas d’usage où la **conformité, la confidentialité des données et la fiabilité des réponses** sont critiques. --- ### Gouvernance et sécurité de l’IA * **Quotas LLM par utilisateur ou par service** * **Contrôle d’accès basé sur les rôles (RBAC)** * **Modération des requêtes** et **audit complet** * Intégration native avec les **règles Otoroshi** pour une gouvernance fine au niveau API --- ### 📊 Optimisation des coûts et des performances * Suivi du **nombre de tokens** et des **coûts par requête** * **Cache sémantique** pour éviter les appels redondants * Stratégies de **retry**, **équilibrage de charge**, et gestion des délais --- ## Déploiement facile avec Cloud APIM et Clever Cloud L’extension Otoroshi LLM est **disponible dès maintenant** sur la plateforme [**Cloud APIM**](https://www.cloud-apim.com) via les [**instances managées Otoroshi**](http://www.cloud-apim.com/fr/otoroshi-managed) ou sous forme de [**passerelle IA serverless**](https://www.cloud-apim.com/fr/serverless). Depuis **décembre 2024**, elle est également **déployable en quelques minutes** via **Clever Cloud**, grâce à l’add-on “[Otoroshi LLM extension](https://www.clever-cloud.com/fr/blog/fonctionnalites/2024/12/17/otoroshi-with-llm-simplifiez-la-gestion-de-vos-api-et-services-ia-sur-clever-cloud/)”. --- ## Cas d’usage typiques ### Workflows d’API pilotés par l’IA Centralisez les prompts, gérez les réponses, et optimisez l’usage des modèles LLM dans vos APIs. ### Chatbots sécurisés et agents conversationnels Déployez des agents audités, modérés et adaptés à des environnements professionnels. ### Routage intelligent Confiez les tâches courantes à des modèles légers comme **Mistral** ou **Ollama**, et réservez **GPT-4** pour les opérations critiques. ### APIs prêtes pour l’audit et la conformité Construisez des fonctionnalités IA conformes pour les secteurs réglementés : **finance, santé, administration**, etc. --- ## Pourquoi c’est important À l’heure où l’intelligence artificielle et les APIs convergent, l’extension Otoroshi LLM offre une **infrastructure fiable, sécurisée et évolutive** pour les applications de nouvelle génération. 👉 Créez des microservices intelligents 👉 Proposez des expériences interactives 👉 Automatisez vos opérations backend avec transparence et contrôle --- 🔗 [**Consultez la documentation officielle de l’extension Otoroshi LLM**](https://cloud-apim.github.io/otoroshi-llm-extension/docs/overview) 📬 **Restez informé** Abonnez-vous à notre blog pour suivre les nouveautés, astuces, et bonnes pratiques autour de nos solutions. --- ## 🏢 À propos de Cloud APIM **Cloud APIM** est un fournisseur de solutions de gestion d’API de nouvelle génération. Nous aidons les entreprises à exploiter tout le potentiel de leurs APIs grâce à des offres **managées, performantes et prêtes à l’emploi**. Nos produits innovants incluent : * **Otoroshi Managed Instances** : Instances Otoroshi gérées, configurées et prêtes en quelques secondes * **Serverless avec GitOps** : Déploiements scalables sans gestion d'infrastructure * **Authify** : Authentification rapide et sécurisée pour vos APIs ![](https://cdn.hashnode.com/res/hashnode/image/upload/v1717164622893/4c55fd90-812f-4369-9d80-03faeeb5158f.png align="center")