robots.txt

robots.txt 作成・チェック

検索エンジンなどのクローラーに、サイトのどこを巡回してよいかを伝える robots.txt を作ります。できたファイルはサイトのいちばん上の階層に置き、https://(ドメイン)/robots.txt で開けるようにしてください。サイト全体を拒否していないかなど、よくある間違いもチェックします。

基本の設定
クローラーごとのルール

パスは / から書きます。* は任意の文字、$ は URL の終わりを表します(例: /*.pdf$)。

AI クローラー

AI クローラーを拒否すると、サイトの文章が今後の AI の学習に使われにくくなります。一方で、AI 検索や AI の回答でサイトが紹介・引用されにくくなる可能性もあります。下のほうにある検索用のクローラーを拒否すると、その影響はより大きくなります。

Sitemap

robots.txt

チェック

    robots.txt の注意

    robots.txt はクローラーへの「お願い」で、アクセスを禁止するものではありません。Disallow にしたページも、ほかのサイトからリンクされていると検索結果に出ることがあります。検索結果に出したくないページは noindex、見せたくないページはパスワードで守ってください。

    robots.txt は誰でも見られるので、知られたくない URL を書かないでください。

    • 同じ User-agent のルールは 1 つのグループにまとめます。1 つの URL に複数のルールが当てはまるときは、Google はいちばん具体的な(長い)ルールを使います。
    • 変更はクローラーが次に robots.txt を読んだときに反映されます(多くは 1 日以内)。作成はすべてブラウザの中で行い、入力した内容は送信しません。

    このツールについて

    検索エンジンなどのクローラーに、サイトのどこを巡回してよいかを伝える robots.txt を、フォームから作れる無料ツールです。すべて許可・すべて拒否の基本の設定、User-agent ごとの Allow / Disallow、WordPress の管理画面の除外、GPTBot・ClaudeBot・Google-Extended など主な AI クローラーの拒否、Sitemap の行に対応しています。サイト全体を拒否していないか、パスの書き方が正しいかなども自動でチェックします。

    使い方

    1. 「基本の設定」で、すべてのクローラーを許可するか、拒否するかを選びます。
    2. 必要なら「クローラーごとのルール」で User-agent とパスを入力します。「WordPress の管理画面を除外」で、よく使う設定をすぐに追加できます。
    3. AI の学習に使われたくないときは、「主な AI クローラーを拒否する」にチェックを入れ、拒否するクローラーを選びます。
    4. 「サイトマップの URL」を入力すると、Sitemap の行が加わります。
    5. 「チェック」の結果を確かめてから、「コピー」か「ダウンロード」で保存し、https://(ドメイン)/robots.txt で開ける場所に置きます。

    こんなときに

    • 新しいホームページを公開するときに、robots.txt を用意したいとき
    • 公開前のサイトや検証用のサイトに、クローラーが来ないようにしたいとき
    • 自社サイトの文章を、AI の学習に使われにくくしたいとき
    • 管理画面など、巡回してもらう必要のないページを除外したいとき

    よくある質問

    robots.txt はどこに置けばいいですか?

    サイトのいちばん上の階層に置き、https://(ドメイン)/robots.txt で開けるようにします。下の階層に置いても読まれません。

    Disallow にすれば、検索結果に表示されなくなりますか?

    必ずしもそうではありません。robots.txt は巡回しないようにという「お願い」で、ほかのサイトからリンクされていると検索結果に出ることがあります。検索結果に出したくないページは noindex を使ってください。

    AI クローラーを拒否するデメリットは?

    AI の学習に使われにくくなる一方で、AI 検索や AI の回答でサイトが紹介・引用されにくくなる可能性があります。このツールでは学習用のクローラーを最初から選び、検索用のクローラーは選んだときだけ拒否します。

    Google-Extended を拒否すると、Google 検索に影響しますか?

    Google-Extended は Gemini などの学習・回答への利用を管理するためのもので、Google 検索には影響しないとされています。

    今使っている robots.txt をチェックできますか?

    このツールのチェックは、フォームで作った内容が対象です。今のファイルを貼り付けて調べる機能はないため、同じ内容をフォームで作って確かめてください。

    検索や AI から見つけてもらえるサイトに

    クロールの設定・サイトマップ・構造化データ・ページの内容まで見直し、検索エンジンにも AI にも事業の内容が正しく伝わるようにお手伝いします。

    SEO・AI 検索対策を相談する(無料)

    このツールの更新情報

    すべての更新情報
    1. update #13公開

      新しいツールを 19 種類公開しました(文字列の一括置換、日付・営業日の計算、坪・平米の単位変換、画像のトリミング・透過 PNG 作成、.htaccess リダイレクト・robots.txt 作成、タイマーなど)。無料ツールは全部で 44 種類になりました

    ほかの無料ツール

    無料ツール 183 種類の一覧
    お問い合わせ