deepeval Claude Code プラグイン
Claude Code プラグイン Claude Code 開発 AI エージェント・AI アプリ開発コード品質・レビュー・テスト監視・オブザーバビリティ以下の解説は生成 AI によるものです。出典と照らし合わせてご確認ください。
このプラグインは、DeepEval が提供する LLM 評価機能を Claude のスキルとして組み込み、コーディングアシスタント上で評価の作成と実行を行うためのものです。deepeval の GitHub リポジトリによると、DeepEval は G-Eval、タスク完了度、回答関連性などの指標を使って LLM アプリケーションをテストするオープンソースのフレームワークで、LLM 向けの Pytest に近い位置づけと説明されています。スキルにはエージェントや RAG パイプラインの挙動を記録するトレーシング、評価用データセットの生成、Confident AI と連携したレポート共有も含まれます。README では、コーディングエージェントがデータセットを生成し、deepeval のテストスイートを実行し、失敗した指標を繰り返し改善する流れを想定していると述べられています。ソースにはフレームワーク連携先として OpenAI、LangChain、LangGraph、CrewAI、Anthropic、AWS AgentCore、LlamaIndex、Google ADK、Strands が挙げられています。
連携サービスについて
deepeval の README によると、Confident AI は評価用データセットの保管、LLM アプリケーションのトレース収集、本番環境での評価実行や監視を担う連携プラットフォームです。MCP サーバーを備えており、Claude Code や Cursor などのツールからエディタを離れずにデータセットの取得やトレースの確認ができるとされています。
deepeval でできること
- LLM アプリケーションやエージェント、RAG パイプライン向けの評価データセットとテストケースを生成する
- G-Eval、タスク完了度、回答関連性、忠実性、幻覚、バイアス、毒性などの指標で評価を実行する
- エージェントやパイプラインのコードにトレーシングを追加し、処理全体の評価スパンを記録する
- deepeval のテストスイートを実行し、失敗した指標を繰り返し改善する
- テスト結果やデータセットを Confident AI と同期し、MCP サーバー経由で共有レポートや本番監視に利用する
出典
deepeval の変更履歴
- Claude Code プラグイン deepeval を追加