zyte-web-data プラグイン
プラグイン Claude Code 自動化 Web 検索・リサーチ・学習Claude Code 拡張・ワークフローAI エージェント・AI アプリ開発以下の解説は生成 AI によるものです。出典と照らし合わせてご確認ください。
zyte-web-data は、Zyte が公開している Claude Code 用プラグインで、平易な英語のプロンプトから動作する Scrapy スパイダーを生成します。README によると、URL と抽出したい内容を伝えると、サイト探索、スキーマの発見、web-poet のページオブジェクトによるコード生成、スモークテストまでを一連で処理します。コード生成前に抽出スキーマを提示し、ユーザーの承認を求める仕組みになっています。対象は商品カタログや求人情報、レシピなど、繰り返し構造を持つサイトです。生成されるプロジェクトは通常の Scrapy プロジェクトで uv によりローカル実行でき、任意で Zyte の Scrapy Cloud にデプロイしてスケジュール実行や監視を行うこともできます。Zyte アカウントが必要になるのは、Scrapy Cloud へのデプロイ、またはブロック対策として Zyte API を利用する場合のみです。
概要
Zyte は、標準的なスクレイパーをブロックするサイトへのアクセスやヘッドレスブラウザレンダリングに使う Zyte API と、Scrapy スパイダーのデプロイ・スケジュール実行・監視を行うホスティングサービス Scrapy Cloud を提供しています。README によると Scrapy Cloud には無料プランがあります。本プラグインは生成したスパイダーをこれらのサービスと任意で連携できますが、ローカル実行だけであればどちらも必須ではありません。
zyte-web-data でできること
- 平易な英語のプロンプトと対象 URL から、web-poet のページオブジェクトを備えた Scrapy スパイダーを生成する
- コード生成前に、発見された抽出スキーマを確認し承認する
- scrape-define、scrape-spec、scrape-ensure-project、scrape-codegen、scrape-create-spider という5段階のパイプラインを自動実行させる
- スモークテストと生成された pytest フィクスチャで抽出結果を検証する
- /scrape-scrapy-cloud を使い、Scrapy Cloud へのデプロイ、スパイダーのスケジュール設定、ジョブ・アイテム・ログの確認を行う
- /scrape-zyte-login で Zyte アカウントの認証情報を設定する
- uv run scrapy crawl により、Claude Code を使わずに生成済みスパイダーをローカルで実行する
出典
原文の説明（英語）
Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.
zyte-web-data の変更履歴
- プラグイン zyte-web-data を追加