業界標準に従い、Anthropicは業界標準に従い、モデル開発、ウェブ検索、ユーザーの指示に基づくウェブコンテンツの取得のため、公開ウェブからデータを収集するさまざまなロボットを使用しています。Anthropicは、ウェブサイト所有者の透明性と選択肢を提供するため、異なるロボットを使用しています。以下は、Anthropicが使用する3つのロボットに関する情報と、アクセスを許可するロボットと制限するロボットを設定する方法です。
ボット | 用途 | 無効にした場合の動作 |
ClaudeBot | ClaudeBotは、生成AIモデルのトレーニングに貢献する可能性のあるウェブコンテンツを収集することで、生成AIモデルの有用性と安全性を向上させるのに役立ちます。 | サイトがClaudeBotへのアクセスを制限すると、そのサイトの将来のコンテンツをAIモデルトレーニングデータセットから除外すべきであることを示します。 |
Claude-User | Claude-Userは、Claude AIユーザーをサポートします。ユーザーがClaudeに質問すると、Claude-Userエージェントを使用してウェブサイトにアクセスする場合があります。 | Claude-Userにより、サイト所有者はユーザーが開始したリクエストを通じてアクセスできるサイトを制御できます。サイトでClaude-Userを無効にすると、ユーザークエリに応じてコンテンツを取得するのを防ぎ、ユーザーが指示したウェブ検索でのサイトの表示が減少する可能性があります。 |
Claude-SearchBot | Claude-SearchBotはウェブを検索して、ユーザーの検索結果の品質を向上させます。検索応答の関連性と精度を向上させるために、オンラインコンテンツを具体的に分析します。 | サイトでClaude-SearchBotを無効にすると、検索最適化のためのコンテンツのインデックス作成が防止され、ユーザー検索結果での表示と精度が低下する可能性があります。 |
安全で信頼性の高いフロンティアシステムを構築し、責任あるAI開発の分野を進めるという私たちのミッションの一環として、データ収集の原則と今後のクローリングをオプトアウトする方法に関する指示を共有しています。
データ収集は透明である必要があります。Anthropicは、上記のボットを使用してウェブコンテンツにアクセスします。
クローリングは邪魔にならず、破壊的でないべきです。同じドメインをクロールする速度について慎重に考慮し、必要に応じてクロール遅延を尊重することで、最小限の中断を目指しています。
Anthropicのボットは、robots.txtの業界標準ディレクティブを尊重することで、「クロールしない」シグナルを尊重します。
Anthropicのボットは、アンチサーキュムベンション技術を尊重します（例えば、クロールするサイトのCAPTCHAをバイパスしようとはしません）。
クローリング活動を制限するために、robots.txtへの非標準のクロール遅延拡張をサポートしています。例えば、以下のようなものです。
User-agent: ClaudeBot
Crawl-delay: 1
ボットをウェブサイト全体からブロックするには、トップレベルディレクトリのrobots.txtファイルに以下を追加します。オプトアウトしたいすべてのサブドメインについてこれを実行してください。例えば、以下のようなものです。
User-agent: ClaudeBot
Disallow: /
Anthropicボットによるクローリングをオプトアウトするには、上記の方法でrobots.txtファイルを変更する必要があります。Anthropicボットが動作するIPアドレスをブロックするなどの代替方法は、robots.txtファイルを読み取る能力を妨げるため、正しく機能しない可能性があり、オプトアウトを永続的に保証しない可能性があります。クローラーのソースIPアドレスがこのリストにある場合、クローラーはAnthropicから来ていることを示します。
データ処理慣行とコミットメントの詳細については、ヘルプセンターをご覧ください。ご質問がある場合、またはボットが誤動作している可能性があると思われる場合は、[email protected]までお問い合わせください。報告を確認するのが難しいため、お問い合わせしているドメインを含むメールアドレスからお問い合わせください。
この記事の重大な変更について通知を受けるには、ここをクリックしてフォームを完成させてください。