megalodon.jpのウェブ魚拓をrobots.txtで拒否する

robots.txt ファイルに次のように追記すれば拒否できます。

# Megalodonblock
User-agent: Megalodon
Disallow: /

◆robots.txtを設置する方法
◆robots.txt ファイルを作成する Google Developers

ただし、すぐには反映されません。

なお、robots.txtはキャッシュしておりますので、変更が反映されるまで長くて3日かかります。
Q&A – ウェブ魚拓

megalodon.jp にURLを入力したら「検索と確認」をクリック。

「取得」をクリック。

robots.txt ファイルで拒否している場合は「ブロックされました」と表示されます。

タイトルとURLをコピーしました