robots.txtを設置する方法【サーチコンソール robots.txtテスター】

robots.txt はサイトのディレクトリの中にありますが、仮想ファイルですのでファイルを探しても見つかるものではありません。URLの後ろに /robots.txt を付けると見ることができます。

https://ドメイン/robots.txt

robots.txt ファイルはサイトのルートに配置されています。したがって、www.example.com のサイトでは、robots.txt ファイルは www.example.com/robots.txt にあります。robots.txt は、Robots Exclusion Standard に準拠するプレーン テキスト ファイルです。robots.txt ファイルは、1 つまたは複数のルールで構成されます。各ルールは、特定のクローラに対して、対象ウェブサイト内の特定のファイルパスへのアクセスをブロック(または許可)します。

設置する場所

WordPress+エックスサーバーの場合はここに設置します。サブドメインへの設置は不要。

http://ドメイン/public_html/robots.txt

このファイルはウェブサイトの最上位のディレクトリに配置する必要があります。

robots.txt の基本形

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ドメイン/sitemap.xml

「検索エンジンは許可するけど wp-admin の中は拒否。でも wp-admin の admin-ajax.php は許可」「サイトマップはこちら」という意味になります。

サーチコンソールのrobots.txtテスターを利用する

robots.txt テスター

サーチコンソールで確認済のプロパティ(サイト)を選択します。

「送信」をクリック。

「ダウンロード」をクリック。

robots.txt がダウンロードされました。

コードを追記して上書き保存します。今回は「megalodon.jp の魚拓を robots.txt で拒否」しました。

FTPソフトを使って、ドメイン/public_html/にアップロード。

【FTPソフト】FileZillaのインストール&接続方法

サーチコンソールに戻って「アップロードされたバージョンを確認」をクリックしてファイルを確認したら、「送信」をクリックしてGoogleに更新をリクエストします。

「送信しました」とメッセージが表示されました。

robots.txt テスターをリロードします。もし、エラーが表示された場合は修正します。

念のため、下の方にある項目に「robots.txt」と入力→「テスト」をクリックして Googlebot などが拒否されていないことを確認します。

「許可済み」となっていれば完了!

他の記述例

検索エンジンを拒否「robots.txtによりURLが制限されています」。

User-agent: *
Disallow: /

プラグイン情報を拒否。

Disallow: /wp-content/plugins

テーマ情報を拒否。

Disallow: /wp-content/themes

コメント情報を拒否。

Disallow: /comments
Disallow: */comments

トラックバック情報を拒否。

Disallow: /trackback
Disallow: */trackback

特定のファイルを拒否(例 PDF)

Disallow: /*.pdf$

特定のページを拒否。

Disallow: /スラッグ

robots.txt ファイルを作成する  |   Google Developers

タイトルとURLをコピーしました