LiteLLM sur des modèles d'IA exécutés en Europe

Configuration

import os
import litellm

response = litellm.completion(
    model="openai/gemma-4-26b",
    api_base="https://evanesca.app/api/v1",
    api_key=os.environ["EVANESCA_API_KEY"],
    messages=[{"role": "user", "content": "Bonjour"}],
)
print(response.choices[0].message.content)

model_list:
  - model_name: gemma-4-26b
    litellm_params:
      model: openai/gemma-4-26b
      api_base: https://evanesca.app/api/v1
      api_key: os.environ/EVANESCA_API_KEY
    model_info:
      # prix Evanesca, € par token, marge et TVA comprises
      input_cost_per_token: 0.000000168
      output_cost_per_token: 0.00000084
  - model_name: bge-multilingual-gemma2
    litellm_params:
      model: openai/bge-multilingual-gemma2
      api_base: https://evanesca.app/api/v1
      api_key: os.environ/EVANESCA_API_KEY
    model_info:
      mode: embedding
      input_cost_per_token: 0.000000168

litellm_settings:
  drop_params: true

export EVANESCA_API_KEY="<votre clé Evanesca>"
export LITELLM_MASTER_KEY="sk-$(openssl rand -hex 24)"
litellm --config config.yaml --port 4000

stream = litellm.completion(
    model="openai/gemma-4-26b",
    api_base="https://evanesca.app/api/v1",
    api_key=os.environ["EVANESCA_API_KEY"],
    messages=[{"role": "user", "content": "Bonjour"}],
    stream=True,
    stream_options={"include_usage": True},
)

Quel modèle choisir

Les modèles d'Evanesca dont un vrai appel d'outil est revenu chez leur opérateur. Ce guide prend DeepSeek V4.1 Flash et Gemma 4 26B, choisis dans le catalogue pour leurs propriétés. Prix par million de tokens, entrée / sortie, marge et TVA comprises.

Les tokens de raisonnement sont facturés comme de la sortie. Où tourne chaque modèle et ce que garde son opérateur : Modèles et Europe.

À savoir

• Les clients qui appellent /v1/responses (le format récent d'OpenAI) échouent en 404 derrière le préfixe openai/, car Evanesca sert Chat Completions. LiteLLM documente un préfixe custom_openai/ qui traduit cette route en Chat Completions ; gardez openai/ pour les modèles d'embedding.
• LiteLLM ne convertit pas les devises : il multiplie les tokens par le coût saisi. Avec les prix d'Evanesca, les dépenses qu'il suit sont en euros — à garder en tête si le même budget couvre aussi des modèles facturés en dollars.
• Si le même proxy route aussi vers des fournisseurs hors d'Europe, les replis de LiteLLM peuvent faire passer une requête de l'un à l'autre. Gardez les chaînes de repli des usages réglementés à l'intérieur des modèles d'Evanesca.

Où vont vos prompts

LiteLLM tourne là où vous le déployez : le SDK dans votre processus, le proxy sur votre serveur. Il voit chaque prompt avant Evanesca, et ses journaux comme sa base de données sont à placer par vous.

Côté Evanesca, le modèle tourne chez un opérateur européen, que nomment les en-têtes x-evanesca-operator et x-evanesca-location de chaque réponse, et Evanesca ne garde aucune trace des prompts ni des réponses — seulement les données de facturation de chaque appel. Ce que garde chaque opérateur est détaillé dans Modèles et Europe ; l'hébergeur des serveurs d'Evanesca est nommé dans les mentions légales.

Dépannage

Sources

Documentation officielle, lue le 12 oct. 2026 :

• LiteLLM — OpenAI-compatible endpoints
• LiteLLM — Proxy config.yaml
• LiteLLM — Custom pricing
• LiteLLM — Usage in streams
• LiteLLM — drop_params
• LiteLLM — /v1/responses and /v1/messages passthrough

Questions fréquentes