.htaccessでbotクローラーのアクセスを拒否

リファラースパムがめっちゃ来たので「msnbot」と「bingbot」は拒否しました(後日開放するかも)。

SetEnvIf User-Agent "msnbot" denybot
<RequireAll>
Require all Granted
Require not env denybot
</RequireAll>

Apache2.4の場合

迷惑なbotをアクセス拒否・除外する設定方法まとめ(Nginx・Apache)」さんの情報を元にこのように .htaccess に記述してユーザーエージェント(User-Agent)で拒否してしました。

# botblock
SetEnvIf User-Agent "msnbot" denybot
SetEnvIf User-Agent "bingbot" denybot
SetEnvIf User-Agent "SemrushBot" denybot
SetEnvIf User-Agent "AhrefsBot" denybot
SetEnvIf User-Agent "Linguee" denybot
SetEnvIf User-Agent "proximic" denybot
SetEnvIf User-Agent "BLEXBot" denybot
SetEnvIf User-Agent "GrapeshotCrawler" denybot
SetEnvIf User-Agent "Mappy" denybot
SetEnvIf User-Agent "MJ12bot" denybot
SetEnvIf User-Agent "MegaIndex" denybot
SetEnvIf User-Agent "bidswitchbot" denybot
SetEnvIf User-Agent "SMTBot" denybot
SetEnvIf User-Agent "ltx71" denybot
SetEnvIf User-Agent "integralads" denybot
SetEnvIf User-Agent "jet-bot" denybot
SetEnvIf User-Agent "trendictionbot" denybot
<RequireAll>
Require all Granted
Require not env denybot
</RequireAll>

Apache2.2の場合

上記の <RequireAll>~</RequireAll> の部分を、このように書いて設定しますが現在は使われていないようです。

order Allow,Deny
Allow from all
Deny from env=denybot
タイトルとURLをコピーしました