plugin-eval Codex プラグイン
プラグイン Codex 開発者ツール Claude Code 拡張・ワークフローコード品質・レビュー・テスト以下の解説は生成 AI によるものです。出典と照らし合わせてご確認ください。
plugin-eval は、チャットから Codex のスキルやプラグインを評価できる Codex プラグインであり、ローカル Node.js CLI(Node 20 以上が必要)も兼ねています。README によると、初心者向けの start コマンドが「このスキルを評価して」のような自然な要望を受け取り、実行すべきローカルコマンドへ案内します。主要コマンドには analyze、explain-budget、measurement-plan、init-benchmark、benchmark、report、compare があります。README では、analyze・explain-budget・measurement-plan はローカル��ァイルを読んでレポートを書き出すだけの決定的な処理であり、benchmark は分離された一時ワークスペースで実際の codex exec セッションを実行し、成果物を .plugin-eval/ 配下に保存すると説明されています。plugin.json によれば、ライセンスは MIT で、作者は OpenAI Codex です。
概要
plugin.json と README によると、plugin-eval はホスト型 SaaS ではなく、Codex プラグインバンドル(.codex-plugin/plugin.json のマニフェストと skills/ 配下のチャット向けスキルを含む)であり、同時にローカル Node.js CLI(scripts/plugin-eval.js)として配布されています。パッケージメタデータでは private とされているため、README では公開 npm レジストリからではなく、ローカルのチェックアウトから node ./scripts/plugin-eval.js や npm link を使って導入し、Codex プラグインとしてはローカルの marketplace.json エントリ経由でインストールする手順が示されています。
plugin-eval でできること
- plugin.json の defaultPrompt 例にあるように、チャットで指定したスキルやプラグインの評価、スコアの理由説明、優先修正点の一覧をリクエストする
- plugin-eval start --request "" --format markdown で、実行すべきローカルコマンド列を案内するチャット起点のルーターを使う
- analyze で静的なローカルレポートを取得し、explain-budget でトークン予算の説明を受け、measurement-plan で計測方針の提案を得る
- init-benchmark でベンチマーク用の初期設定を作成し、benchmark で分離された一時ワークスペース内の実際の codex exec セッションを実行する
- report と compare で結果を整形し、実行前後のベンチマーク結果を比較する
- 互換用エイリアスの plugin-eval guide(start 相当)や plugin-eval recommend-measures(measurement-plan 相当)を利用する
- README の手順に従い、marketplace.json とシンボリックリンクを使ってユーザー単位またはワークスペース単位でプラグインを導入する
出典
原文の説明(英語)
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
plugin-eval の変更履歴
- Codex プラグイン plugin-eval を追加