特定のボットを .htaccess で止めても、robots.txt だけは見せる

セキュリティ対策
広告WordPress・PHP を学べる本

Amazonのアソシエイトとして、WordPress functions.phpは適格販売により収入を得ています。

アクセスログを見ると、同じクローラー(サイトを自動で巡回して読み取るプログラム)が短い間に大量のページを開き、サーバーが重くなっていました。Bytespider や PetalBot のように、大量に巡回することで知られるクローラーを、.htaccess で User-Agent(アクセスしてきたソフトの名前)を見て 403 で止めることにしました。ただ、そのまま止めると robots.txt まで 403 になり、クローラーは「このサイトには来ないでほしい」という指示を読めません。そこで、robots.txt だけは返す形にしました。

robots.txt を止めないほうがよい理由

robots.txt は、クローラーに「どこを巡回してよいか」を伝えるファイルです。行儀のよいクローラーは、巡回する前に robots.txt を読み、Disallow(巡回しないでほしい場所)に従います。robots.txt を 403 にすると、クローラーによっては「読めなかった」として何度も読みに来たり、指示がないものとして巡回を続けたりします。止めるのは .htaccess で行い、あわせて robots.txt にも Disallow を書いておくと、指示を読んで巡回をやめてくれるクローラーもあります。

ポイント

  • 止めたいクローラーは、User-Agent で 403 を返す
  • ただし robots.txt だけは返して、Disallow の指示を読めるようにする
  • robots.txt を外す条件は、REQUEST_URI ではなく THE_REQUEST で書く

.htaccess の書き方

サイトのいちばん上のフォルダにある .htaccess に、次のように書きます。WordPress の書き換えのルール(# BEGIN WordPress から # END WordPress まで)より上に置きます。下に置くと、WordPress のルールが先に動いて index.php に回され、止める条件にたどり着かないことがあるためです。

.htaccess
# 行儀の悪いクローラーを止める(robots.txt だけは返す)
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot) [NC]
RewriteCond %{THE_REQUEST} !\s/robots\.txt[\s?]
RewriteRule ^ - [F,L]
</IfModule>

# BEGIN WordPress
(WordPress が書いた書き換えのルール。ここから下は触らない)
# END WordPress
行 していること
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot) [NC] User-Agent に Bytespider か PetalBot が含まれる。[NC] は大文字と小文字を区別しない
RewriteCond %{THE_REQUEST} !\s/robots\.txt[\s?] 開こうとしているのが /robots.txt ではない(! は「でない」)
RewriteRule ^ - [F,L] 上の 2 つに当てはまれば、ページを返さずに 403(F)にして、ここで終える(L)

止めるクローラーを足すときは、(Bytespider|PetalBot|ほかの名前) のように | でつなぎます。robots.txt には、同じクローラーの名前で Disallow を書きます。

robots.txt
User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: *
Disallow:

最後の User-agent: * と空の Disallow: は、ほかのクローラーには「どこを巡回してもよい」という意味です。WordPress が出している仮想の robots.txt(ファイルがないときに WordPress が返すもの)を使っている場合は、サイトのいちばん上のフォルダに robots.txt のファイルを置くと、そちらが優先されます。サイトマップの行など、今の robots.txt にある行も忘れずに書いてください。

THE_REQUEST を使う理由

robots.txt を外す条件は、%{REQUEST_URI}(開こうとしている URL の場所)でも書けそうに見えます。ただ、REQUEST_URI は、書き換えのルールが動いたあとに、書き換えた先の場所に変わります。.htaccess の書き換えは、1 回書き換えると、新しい URL でもう一度はじめからルールを通るので、2 回目には REQUEST_URI が /index.php になり、「robots.txt ではない」と見なされて 403 になります。

# うまくいかない形:REQUEST_URI で robots.txt を外す
RewriteCond %{HTTP_USER_AGENT} (Bytespider|PetalBot) [NC]
RewriteCond %{REQUEST_URI} !^/robots\.txt$
RewriteRule ^ - [F,L]

%{THE_REQUEST} は、ブラウザーやクローラーが送ってきた最初の 1 行(「GET /robots.txt HTTP/1.1」のような形)で、書き換えのあとも変わりません。条件の \s/robots\.txt[\s?] は、「空白のあとに /robots.txt があり、そのあとが空白か ?」という意味で、/robots.txt?x=1 のような URL も robots.txt として外し、/foo/robots.txt のような別の場所は外しません。

作業環境で試した結果

作業環境(Apache 2.4・PHP 8.3)のサイトの下に、検証用のフォルダを作って .htaccess・robots.txt・index.html を置き、curl で User-Agent を替えて開きました。

# User-Agent を替えて、状態の番号(200・403 など)だけを出す
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; Bytespider)" http://example.local/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (compatible; Bytespider)" http://example.local/robots.txt
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/141.0" http://example.local/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/141.0" http://example.local/robots.txt

まず、robots.txt のファイルを置いた形(上の書き方)の結果です。

開き方 状態の番号
Bytespider でふつうのページ 403
Bytespider で robots.txt 200(Disallow の内容が返った)
PetalBot でふつうのページ 403
PetalBot で robots.txt 200
Bytespider で robots.txt?x=1 200
Bytespider で /x/robots.txt(別の場所) 403
名前が小文字の bytespider 403([NC] で区別しない)
ふつうのブラウザーでふつうのページ 200
ふつうのブラウザーで robots.txt 200

次に、WordPress の仮想の robots.txt と同じように、robots.txt のファイルを置かず、WordPress と同じ形の書き換えで index.php に返させたときの結果です。robots.txt を外す条件だけを替えて比べました。

止めるボットで robots.txt を開いたとき 状態の番号
REQUEST_URI で外した形 403(index.php に書き換えたあと、2 回目に止められた)
THE_REQUEST で外した形 200(index.php が robots.txt の内容を返した)

どちらの形でも、ふつうのブラウザーでは 200 でした。REQUEST_URI の形は、robots.txt のファイルを置いているあいだは 200 になるので、気づきにくいのが困るところです。試し終えたあと、作った検証用のフォルダは消しました。

気をつけること

  • User-Agent は、送る側が自由に名前を付けられます。名前を替えてくるクローラーは、この方法では止められません。止めたいのが特定の IP アドレスからの大量のアクセスなら、サーバーの管理画面のアクセス制限も検討してください。
  • Googlebot や Bingbot のような検索エンジンのクローラーの名前を、うっかり条件に含めないようにしてください。検索結果に出なくなります。
  • .htaccess を書き換える前に、今の .htaccess をダウンロードしてバックアップを取っておくと、書き間違えて 500 のエラーになったときにすぐ戻せます。
  • キャッシュのプラグインやサーバーのキャッシュが robots.txt を覚えていることがあります。robots.txt を替えたあとは、キャッシュを消してから確認してください。

まとめ

行儀の悪いクローラーを .htaccess で 403 にするときは、robots.txt だけは返して、Disallow の指示を読めるようにしておきます。robots.txt を外す条件は、書き換えのあとも変わらない THE_REQUEST で書き、WordPress の書き換えのルールより上に置きます。REQUEST_URI で書くと、WordPress の仮想の robots.txt のときに 403 になってしまうので、試すときはファイルを置かない形でも確認しておくと安心です。

SiteBeacon(サイトビーコン)

サイトが止まったら、すぐに気づける。

ホームページを 5 分ごとにチェックして、止まったとき・エラーが出たとき・SSL やドメインの期限が近いときに、メールでお知らせします。2 サイトまでは、ずっと無料で使えます。

SiteBeacon を見る サイトを直す相談をする

監視で気づいたあとの直す作業も、同じ担当がお受けします。