最近、OpenAIのChatGPT4oやSoraなど、新しいAIサービスが次々と発表され、その中核の技術でもある大規模言語モデル（LLM）が注目を集めています。LLMは、膨大な量のテキストデータを学習し、様々なタスクをこなす強力なツールです。しかし、これらを効果的に使うためには、プロンプト（モデルに与える指示文）の設計やモデルのチューニングが重要です。プロンプトエンジニアリングなどの新しい役職が出来るくらい、プロンプトの設計やモデルチューニングは難しくもあります。RAGなどのLLMを活用しようとする開発では、こういった難しい分野の開発を手助けしてくれるフレームワークは重要です。今回は日本ではまだあまり知られていない「DSPy」というPythonフレームワークを紹介します。
DSPyとは？
DSPyとは、Stanford Universityの研究チームによって開発された、LLMを簡単かつ効果的に扱うためのフレームワークです。プロンプトの設計やモデルのチューニングを自動化し、モジュール化されたアプローチを提供し、複雑なタスクを簡単に実装できるように設計されています。また、DSPyは様々な最適化機能を持っており、開発者の作業負担を軽減します。DSPyを使えば、手作業でのプロンプト設計の手間を大幅に減らし、高度なAIアプリケーションを開発できます。
最適化の重要性
LLMを利用する際、プロンプトの設計やモデルのチューニングは非常に重要な工程です。適切なプロンプトを設計することで、モデルの性能を最大限に引き出すことができます。しかし、このプロセスは手動で行うと時間と労力がかかり、さらに専門知識を要します。DSPyは、この最適化プロセスを自動化し、開発者がより効率的に高性能なモデルを構築できるように支援します。
例えば、感情分析タスクを考えてみましょう。感情分析は、入力されたテキストの感情（ポジティブ、ネガティブなど）を分類するタスクです。手動でプロンプトを設計する場合、多くの試行錯誤が必要となりますが、DSPyを使えば、このプロセスを自動化し、最適なプロンプトを見つけることができます。
DSPyの最適化機能
DSPyの最も強力な特徴の一つは、その最適化機能です。DSPyは、以下のような方法でモデルの性能を高めます
シグネチャとモジュール:
- シグネチャは、入力と出力の関係を定義するもので、モジュールはそのシグネチャに基づいて動作します。
例えば、dspy.Predictというモジュールは、入力テキストを受け取り、その感情（ポジティブ、ネガティブなど）を予測します。これにより、プロンプトの設計が簡素化され、再利用性が高まります。
内蔵オプティマイザ:
- 内蔵オプティマイザは、プロンプトやモデルの重みを自動で調整し、精度を向上させます。
例えば、dspy.SignatureOptimizerは、簡単なドキュメント文字列を基により効果的なプロンプトのバリエーションを生成し、モデルの精度を向上させます。このオプティマイザは、指定されたメトリクス（精度など）を向上させるためにプロンプトとLLMの両方を調整します。
自動化されたパイプライン最適化:
- DSPyは、複雑なLLMパイプラインの最適化を自動化します。
例えば、dspy.ChainOfThoughtモジュールを使用すると、モデルが段階的に情報を処理し、最終的な応答を生成する前に推論プロセスを行います。これにより、応答の品質が向上し、より高度なタスクにも対応可能となります。
リトリーバルと強化学習の統合:
- DSPyは、リトリーバルモデル（Chroma、Qdrant、Pineconeなど）と統合して動作し、外部データソースから情報を取得しながらモデルを最適化します。これにより、より包括的で高精度な情報検索と生成が実現します。また、強化学習を用いた最適化もサポートしており、モデルがフィードバックを基に学習し続けることが可能です。
実際の使用例：感情分析タスクの実装
では、実際にDSPyを使って感情分析タスクを実装する方法を紹介します。
感情分析は、入力されたテキストの感情を分類するタスクです。
まず、必要なモジュールをインポートします。
import dspy
＃LLMの設定
turbo = dspy.OpenAI(model='gpt-3.5-turbo-instruct', max_tokens=250)
dspy.settings.configure(lm=turbo)
# シグネチャを定義
signature = 'sentence -> sentiment'
# 感情分析モジュールを初期化
predict_emotion = dspy.Predict(signature)次に、入力文を定義し、感情分析モジュールを実行して結果を取得します。
# 入力文を定義
sentence = "この映画は非常に感動的でした。"
# モジュールを実行して感情を予測
response = predict_emotion(sentence=sentence)
# 感情を表示
print(response.sentiment)出力は以下になります。
'Positive'このコードでは、まず入力文（sentence）を定義し、それを使って感情分析モジュールを実行します。
dspy.Predictモジュールは定義されたsignatureに従い、入力文の感情を予測し、その結果を返します。
DSPyの感情分析モジュールは以下のように動作します：
入力の解析:
- 入力された文章を解析し、感情を分類するための特徴を抽出します。
感情の予測:
- 特徴を基に、モデルが感情（ポジティブ、ネガティブなど）を予測します。このステップでは、モデルが学習した知識を利用して、最も適切な感情を判断します。
最適化:
- 内蔵オプティマイザが、予測プロセスを調整し、最も高品質な結果を提供します。これにより、モデルの性能が最大限に引き出されます。
このプロセスにより、DSPyは複雑な感情分析タスクをシームレスに実行し、高精度な結果を提供します。
LangchainやLlamaIndexとの違い
DSPyは、同様の機能を提供するLangchainやLlamaIndexとどう違うか？が気になると思います。これらのフレームワークも感情分析のようなタスクを実行できますが、DSPyにしか無い特徴がいくつかあります。
統合された最適化機能:
- DSPyの内蔵オプティマイザは、プロンプトとモデルの両方を自動的に最適化します。
これにより、ユーザーはプロンプトやモデルの設定を手動で調整する手間を省き、精度を向上させることができます。LangchainやLlamaIndexでは、ユーザーがプロンプトやモデルの設定を手動で調整する（ソースコードに直にコメントとして埋め込むなど）必要がある場合が多く、DSPyのような統合された最適化機能は提供されていません。
モジュール化されたアプローチ:
- DSPyは、シグネチャとモジュールを使用して、再利用可能なコンポーネントを作成します。
これにより、開発者は複雑なタスクを簡単に組み合わせて実装できます。例えば、DSPyのdspy.Predictモジュールは、入力テキストの感情を予測するために使用され、他のタスクにも簡単に応用できます。LangchainやLlamaIndexもモジュール化されていますが、DSPyのシグネチャベースのアプローチは、より直感的で柔軟です。
リトリーバルモデルとの高度な統合:
- DSPyは、Chroma、Qdrant、Pineconeなどのリトリーバルモデルとシームレスに統合できます。
これにより、外部データベースから情報を取得し、その情報を基に高精度な応答を生成することが可能です。例えば、DSPyのRAGモジュールは、リトリーバルと生成プロセスを緊密に連携させることで、質問に対する適切な回答を提供します。LangchainやLlamaIndexもリトリーバルをサポートしていますが、適切な質問や回答を得るためのプロセスは煩雑で、DSPyの方が簡潔に実装できます。
今回は、日本では紹介の少ないDSPyの概要を紹介しました。このフレームワークは国内で流行っている他のフレームワークには無い特徴がある事を中心に紹介出来たかと思います。
まだ英語の情報しか無いフレームワークですが、意欲的な実装が含まれており、ローカルLLMとの連携も出来る為、有効的な活用方法を日夜研究しています。
反響があれば、RAGの実装方法やAutogenなどのLLMエージェント作成ライブラリとは違った形でのエージェント実装方法などをご紹介したいと思います。
