Portkey AI Gateway - единый маршрут к нескольким LLM-провайдерам

Вердикт AI-ReadyНаблюдать и проверять в локальной lab как provider-routing layer; secrets, budgets и logs должны иметь отдельные governance rules.

Что это

open-source AI Gateway для routing, guardrails, observability и cost tracking поверх множества LLM-провайдеров.

Бизнес-проблема

AI-приложения быстро обрастают разными SDK, ключами, fallback-логикой, cost tracking, retries и guardrails, после чего никто не понимает, где именно сгорели деньги и качество.

Практическая польза

для AI-Ready это кандидат на LLM Gateway / Model Routing Layer для support agents, RAG apps, client demos, content pipelines и internal tools.

Почему интересно сейчас

README и текущая структура Gateway показывают активную работу с routing, provider integrations и observability. Для AI-Ready это полезный исследовательский сигнал, но не доказательство одинакового поведения всех провайдеров. Нужно отдельно проверять retries, fallback, стоимость, latency, data residency и правила redaction на собственном synthetic workload.

Проверка выполнена повторно 2026-07-18; показатели относятся к исходному наблюдению и не заменяют собственный тест.

Технические особенности

TypeScript, Docker/K8s/deploy configs, OpenAI-compatible style gateway, cost tracking через Portkey Models, providers: OpenAI, Azure OpenAI, Gemini, Anthropic, Cohere, Together AI, Perplexity, Mistral и др.

Значение для AI-Ready

infrastructure / Watch + Test. Риски: gateway видит prompts/metadata; нужен self-hosting, logging policy, key isolation и проверка latency/cost. Вердикт: Watch / Test in lab.

Риски

Gateway концентрирует prompts, responses, keys, usage и provider metadata.
Routing и fallback могут незаметно изменить стоимость, latency или data residency запроса.

Граница вывода

Первый тест - только synthetic prompts и тестовые ключи с лимитами; не направлять клиентский трафик и не включать automatic fallback без approval gate.

Ключевые риски

Gateway концентрирует prompts, responses, keys, usage и provider metadata.
Routing и fallback могут незаметно изменить стоимость, latency или data residency запроса.

Разберите эту страницу со своей LLM

Скопируйте контекст страницы в ChatGPT, Claude, Gemini или другую LLM и попросите применить эту схему к вашему бизнесу.

Можно спросить:

Какую ограниченную задачу AI-Ready разумно проверить с помощью Portkey AI Gateway?
Какие риски и условия нужно закрыть перед пилотом Portkey AI Gateway?

{
  "проект": "Portkey AI Gateway",
  "репозиторий": "https://github.com/Portkey-AI/gateway",
  "лицензия": "MIT",
  "проверено": "2026-07-18",
  "кратко": "open-source AI Gateway для routing, guardrails, observability и cost tracking поверх множества LLM-провайдеров.",
  "бизнес_проблема": "AI-приложения быстро обрастают разными SDK, ключами, fallback-логикой, cost tracking, retries и guardrails, после чего никто не понимает, где именно сгорели деньги и качество.",
  "практическая_польза": "для AI-Ready это кандидат на LLM Gateway / Model Routing Layer для support agents, RAG apps, client demos, content pipelines и internal tools.",
  "роль_для_ai_ready": "infrastructure / Watch + Test.\nРиски: gateway видит prompts/metadata; нужен self-hosting, logging policy, key isolation и проверка latency/cost.\nВердикт: Watch / Test in lab.",
  "вердикт": "Наблюдать и проверять в локальной lab как provider-routing layer; secrets, budgets и logs должны иметь отдельные governance rules.",
  "риски": [
    "Gateway концентрирует prompts, responses, keys, usage и provider metadata.",
    "Routing и fallback могут незаметно изменить стоимость, latency или data residency запроса."
  ],
  "зависимости": [
    "provider API keys с узкими scopes",
    "лимиты расходов и rate limits",
    "политика хранения prompts, responses и routing logs"
  ],
  "адрес_страницы": "https://ai-ready.pro/ai-radar/open-source/portkey-gateway",
  "инструкция": "Разбери Portkey AI Gateway как кандидата для AI-Ready. Отделяй подтвержденные свойства репозитория от нашей оценки, учитывай лицензию MIT и не предлагай внешние действия без approval gate."
}

Открыть каталог