robots.txt
robots.txt 作成・チェック
検索エンジンなどのクローラーに、サイトのどこを巡回してよいかを伝える robots.txt を作ります。できたファイルはサイトのいちばん上の階層に置き、https://(ドメイン)/robots.txt で開けるようにしてください。サイト全体を拒否していないかなど、よくある間違いもチェックします。
robots.txt
チェック
robots.txt の注意
robots.txt はクローラーへの「お願い」で、アクセスを禁止するものではありません。Disallow にしたページも、ほかのサイトからリンクされていると検索結果に出ることがあります。検索結果に出したくないページは noindex、見せたくないページはパスワードで守ってください。
robots.txt は誰でも見られるので、知られたくない URL を書かないでください。
- 同じ User-agent のルールは 1 つのグループにまとめます。1 つの URL に複数のルールが当てはまるときは、Google はいちばん具体的な(長い)ルールを使います。
- 変更はクローラーが次に robots.txt を読んだときに反映されます(多くは 1 日以内)。作成はすべてブラウザの中で行い、入力した内容は送信しません。
このツールについて
検索エンジンなどのクローラーに、サイトのどこを巡回してよいかを伝える robots.txt を、フォームから作れる無料ツールです。すべて許可・すべて拒否の基本の設定、User-agent ごとの Allow / Disallow、WordPress の管理画面の除外、GPTBot・ClaudeBot・Google-Extended など主な AI クローラーの拒否、Sitemap の行に対応しています。サイト全体を拒否していないか、パスの書き方が正しいかなども自動でチェックします。
使い方
- 「基本の設定」で、すべてのクローラーを許可するか、拒否するかを選びます。
- 必要なら「クローラーごとのルール」で User-agent とパスを入力します。「WordPress の管理画面を除外」で、よく使う設定をすぐに追加できます。
- AI の学習に使われたくないときは、「主な AI クローラーを拒否する」にチェックを入れ、拒否するクローラーを選びます。
- 「サイトマップの URL」を入力すると、Sitemap の行が加わります。
- 「チェック」の結果を確かめてから、「コピー」か「ダウンロード」で保存し、https://(ドメイン)/robots.txt で開ける場所に置きます。
こんなときに
- 新しいホームページを公開するときに、robots.txt を用意したいとき
- 公開前のサイトや検証用のサイトに、クローラーが来ないようにしたいとき
- 自社サイトの文章を、AI の学習に使われにくくしたいとき
- 管理画面など、巡回してもらう必要のないページを除外したいとき
よくある質問
robots.txt はどこに置けばいいですか?
サイトのいちばん上の階層に置き、https://(ドメイン)/robots.txt で開けるようにします。下の階層に置いても読まれません。
Disallow にすれば、検索結果に表示されなくなりますか?
必ずしもそうではありません。robots.txt は巡回しないようにという「お願い」で、ほかのサイトからリンクされていると検索結果に出ることがあります。検索結果に出したくないページは noindex を使ってください。
AI クローラーを拒否するデメリットは?
AI の学習に使われにくくなる一方で、AI 検索や AI の回答でサイトが紹介・引用されにくくなる可能性があります。このツールでは学習用のクローラーを最初から選び、検索用のクローラーは選んだときだけ拒否します。
Google-Extended を拒否すると、Google 検索に影響しますか?
Google-Extended は Gemini などの学習・回答への利用を管理するためのもので、Google 検索には影響しないとされています。
今使っている robots.txt をチェックできますか?
このツールのチェックは、フォームで作った内容が対象です。今のファイルを貼り付けて調べる機能はないため、同じ内容をフォームで作って確かめてください。
検索や AI から見つけてもらえるサイトに
クロールの設定・サイトマップ・構造化データ・ページの内容まで見直し、検索エンジンにも AI にも事業の内容が正しく伝わるようにお手伝いします。
SEO・AI 検索対策を相談する(無料)このツールの更新情報
すべての更新情報新しいツールを 19 種類公開しました(文字列の一括置換、日付・営業日の計算、坪・平米の単位変換、画像のトリミング・透過 PNG 作成、.htaccess リダイレクト・robots.txt 作成、タイマーなど)。無料ツールは全部で 44 種類になりました
ほかの無料ツール
無料ツール 183 種類の一覧- OGP 確認(SNS シェアの見え方)X・Facebook・LINE でシェアしたときのタイトル・説明・画像の見え方と設定漏れを確認します。
- TITLE・META・見出し抽出ページのタイトル・説明文・canonical・見出し(h1〜h6)の構成をまとめて確認します。
- 構造化データ(JSON-LD)作成会社・店舗の情報やよくある質問から、検索エンジン向けの構造化データを作成します。
- llms.txt 作成AI 向けにサイトの概要と主なページをまとめる llms.txt を、フォームから作成します。
- .htaccess リダイレクト作成(301 転送)引っ越し・リニューアル用の 301 リダイレクトを作成。https・www の統一、旧 URL→新 URL の対応表に対応します。
- キーワード出現率チェック文章の単語・キーワードの出現回数と出現率を集計。位置のハイライトや 2〜3 語の組み合わせも表示します。
- 検索結果プレビュー(タイトル・説明文の文字数チェック)タイトル・説明文・URL から、検索結果での見え方をパソコン・スマートフォンでプレビュー。省略される位置も推定します。
- UTM パラメータ付き URL 作成GA4 で流入元を計測する UTM 付き URL を作成。Instagram・LINE・メルマガ・チラシの QR のプリセット付き。