litellm - 100+ LLM API를 OpenAI 형식으로 호출하는 Python SDK
BerriAI/litellm (Python)
요약
litellm은 100개 이상의 LLM API를 통일된 OpenAI 형식으로 호출할 수 있는 Python SDK 및 AI Gateway로, 비용 추적, 가드레일, 로드 밸런싱, 로깅 기능을 제공합니다.
핵심 포인트
- Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic 등 다양한 LLM 제공자를 단일 인터페이스로 통합
- 비용 추적, 로드 밸런싱, 로깅 등 프로덕션 환경에 필요한 기능 내장
왜 중요한가
개발자가 여러 LLM 제공자를 쉽게 전환하거나 비교할 수 있으며, 비용 관리와 신뢰성을 높일 수 있습니다.