LiteLLMとは?複数のAIのAPIをまとめて使うツール

公式資料をもとにした紹介です。 導入・動作確認:未実施/製品の版:未確認
この記事では、LiteLLMでできることと、利用する方法、使い始める前に確かめたい条件を紹介します。
LiteLLMとは
LiteLLMは、複数のAIのAPIを、共通の方法で呼び出すためのソフトウェアです。自分のプログラムへ組み込んだり、アプリとAIの間に共通の接続先を用意したりできます。Berrie AI Incorporated(BerriAI)を中心に、オープンソースの開発者が共同で開発するソフトウェアです。
APIはソフトウェアどうしが機能を使い合う窓口です。LiteLLMを使うと、接続するAIごとに違う呼び出し方や応答の形式を、アプリ側で扱いやすい形にそろえられます。
どんなことができるか
たとえば、同じアプリから用途に応じて別のAIモデルを呼び出したいときに使えます。共通の接続先を用意する方式は「AIゲートウェイ」と呼ばれ、次の図では、登録したAIの中から1つを選んで処理を頼む関係を示しました。
AIゲートウェイでは、アプリや利用者へ渡す専用のキーを発行できます。このキーに利用できるモデルや予算の条件を付け、利用量や費用を管理する仕組みです。接続先のAIサービスが発行したAPIキーを、利用者へ直接配る必要もありません。
また、接続に失敗したときに再試行したり、設定した別の接続先へ切り替えたりできます。対応する機能や設定項目はモデルによって異なるため、使いたい機能が接続先でも利用できるか確認が必要です。
利用する方法を選ぶ
主な使い方は、Pythonのプログラムへ組み込む方法と、共通の接続先を用意する方法の2つです。どこからAIを使いたいかで、必要な準備が変わります。
| 使い方 | 何を用意するか | 向いている場面 |
|---|---|---|
| Python SDK | Pythonから呼び出すためのライブラリー | 自分のPythonプログラムで複数のAIを使う |
| AIゲートウェイ | アプリから接続するサーバー | 複数のアプリや利用者の接続設定と利用状況をまとめる |
SDKは、プログラムから機能を呼び出すための開発用ツールです。AIゲートウェイを使う場合は、サーバーの起動や更新、接続先の認証情報も管理します。
使い始める前に確かめること
利用したいAIのモデルと、必要な機能がLiteLLMに対応しているかを最初に確かめてください。AIサービスの利用料や、サーバーを動かす費用も見積もる必要があります。
APIキーの保存場所や、誰が管理画面へ入れるかも、導入前に決める項目です。ログの設定によって記録する内容が変わるため、入力文や回答を保存する範囲も確認しましょう。
このカテゴリーではLiteLLMの導入、AIへの接続、キーや利用状況の管理を扱います。
参考にした一次情報
以下は開発元が公開している機能と導入方法の資料です。設定する際は、利用する版に合う内容を確認してください。
- LiteLLM公式資料「Getting Started」:Python SDKとAIゲートウェイの概要
- LiteLLM公式資料「Quickstart」:AIゲートウェイの導入と管理画面
- LiteLLM公式資料「Virtual Keys」:利用者やアプリへ渡すキーの管理
- LiteLLM「About」:開発元と開発チーム