data プラグイン
プラグイン Claude Code 開発 データエンジニアリング・分析データベース・ストレージ移行・モダナイゼーション以下の解説は生成 AI によるものです。出典と照らし合わせてご確認ください。
本項目は Astronomer が提供する「agents」で、Apache Airflow を対象としたデータエンジニアリング向けの AI エージェントツール群です。ライセンスは Apache 2.0 で、Airflow REST API と連携する MCP サーバー(astro-airflow-mcp)、ターミナルから操作できる CLI ツール af、そして Claude Code や Cursor などのエージェント型コーディングツールを拡張する複数の skill が同梱されています。README によると、DAG の作成・テスト・デバッグ・デプロイ、データリネージの追跡、ウェアハウステーブルのプロファイリング、Astronomer Cosmos 経由の dbt 連携、Airflow 2.x から 3.x への移行といった作業を支援します。オープンソースの Apache Airflow でも、Astronomer のマネージドプラットフォーム Astro でも利用できます。
概要
「agents」は Astronomer が保守するオープンソース(Apache 2.0)のリポジトリで、データエンジニアリング向けの AI エージェントツールを提供します。内容は Airflow REST API 用の MCP サーバー、CLI ツール af、Claude Code や Cursor などのエージェント型コーディングツールに組み込む skill 群です。ホスト型の SaaS ではなく、ローカルまたは Claude Code のプラグインとしてインストールし、自前運用の Apache Airflow または Astronomer のマネージド Astro プラットフォームに接続する形態です。
data でできること
- MCP サーバー(astro-airflow-mcp)を導入し、Airflow REST API 経由で DAG 管理・実行トリガー・タスクログ確認・システムヘルスチェックを行う
- CLI af で af health、af dags list、af runs trigger などのコマンドをターミナルから実行する
- warehouse-init でウェアハウスのスキーマ探索を初期化し、analyzing-data で Snowflake・PostgreSQL・BigQuery・DuckDB・Redshift など SQLAlchemy 対応データベースに対して SQL ベースの分析を行う
- checking-freshness でデータの鮮度を確認し、profiling-tables でテーブルの統計・品質評価を行う
- 上流・下流のデータリネージを追跡し、inlets/outlets によるタスクリネージの手動付与や OpenLineage エクストラクタのカスタム作成を行う
- Astro プロジェクトの初期設定、DAG の作成・テスト・デバッグを行い、blueprint で YAML から DAG を構成、Astronomer Cosmos で dbt Core/Fusion プロジェクトを DAG として実行する
- Astro、Docker Compose、Kubernetes への DAG・プロジェクトのデプロイ、Airflow 3.1 以降向けの Human-in-the-loop ワークフロー(airflow-hitl)を利用する
- migrating-airflow-2-to-3 skill を使い、DAG を Airflow 2.x から 3.x へ移行する
出典
原文の説明(英語)
Data engineering for Apache Airflow and Astronomer. Author DAGs with best practices, debug pipeline failures, trace data lineage, profile tables, migrate Airflow 2 to 3, and manage local and cloud deployments.
data の変更履歴
- プラグイン data を追加