静的 HTML の書き出しで 429 を取りこぼさない:待って取り直し、同時に取る本数を上げ下げする

プラグイン関連
広告WordPress・PHP を学べる本

Amazonのアソシエイトとして、WordPress functions.phpは適格販売により収入を得ています。

WordPress のサイトを、プラグイン Simply Static で静的な HTML に書き出したら、短い時間にサーバーへたくさんのページを取りに行くため、途中から 429 Too Many Requests が返るようになり、取れなかったページの HTML が抜けていました。抜けたページへのリンクは、書き出した HTML の中でリンク切れになります。

前の記事では、時間を置いて書き出すか、作業環境で書き出す方法を紹介しました。今回は、自作の書き出しの仕組みで 429 が返っても取りこぼさない形にしたので、その考え方と、確認した結果をまとめます。

429 で取りこぼすしくみ

静的な HTML への書き出しは、サイトのページを 1 つずつ開いて、返ってきた HTML をファイルに保存していく作業です。速く終わらせるために同時にいくつものページを開くと、サーバーや WAF が「短い時間にアクセスが多すぎる」と判断して 429 を返したり、混んでいるときに 503 を返したり、応答が遅れてタイムアウトになったりします。

このときに、返ってきたエラーをそのまま「取れなかった」として次のページへ進むと、そのページの HTML はできません。しかも 404(本当にないページ)と同じ扱いになるため、あとから見ても「消えたページ」なのか「たまたま断られたページ」なのかが分かりませんでした。

組み込んだ 3 つのこと

すること 内容
1. 待ってから取り直す 429・503・タイムアウトは捨てずに、待ってから取り直す。Retry-After があればその秒数、なければ 1→2→4 秒…と延ばす(上限 60 秒・回数の上限つき)
2. 同時に取る本数を上げ下げする 429 が出たら同時に取る本数を半分にする(1 秒に 1 回まで)。続けて取れたら本数を戻す
3. 作業環境で書き出す 本番から複製した作業環境で書き出し、できた HTML をサーバーに上げる

1 と 2 は、断られても最後には取れるようにするためのもので、3 はそもそも断られないようにするためのものです。下で、1 と 2 の考え方を小さな PHP の関数にして紹介します。

1. 待ってから取り直す

429 や 503 を返すサーバーは、応答のヘッダーに Retry-After を付けて「何秒たったらまた来てください」と伝えてくることがあります。秒数(Retry-After: 30)で来ることも、日時(Retry-After: Fri, 23 Oct 2026 10:00:00 GMT)で来ることもあるので、どちらも読めるようにしました。Retry-After がないときやタイムアウトのときは、1 秒、2 秒、4 秒…と待ち時間を倍にしていき、60 秒より長くは待ちません。

取り直すかどうかと、待ち時間を決める関数(例)
<?php

// 取り直すかどうか:タイムアウトなどの通信のエラー・429・503 は取り直す
function my_should_retry( $res ) {
    if ( is_wp_error( $res ) ) {
        return true;
    }
    $code = (int) wp_remote_retrieve_response_code( $res );
    return 429 === $code || 503 === $code;
}

// 何秒待ってから取り直すか($attempt は 1 から数える)
function my_retry_wait( $res, $attempt, $max_wait = 60 ) {
    if ( ! is_wp_error( $res ) ) {
        $after = trim( (string) wp_remote_retrieve_header( $res, 'retry-after' ) );
        if ( '' !== $after ) {
            if ( ctype_digit( $after ) ) {
                // 「Retry-After: 30」のように秒で来たとき
                return min( $max_wait, max( 1, (int) $after ) );
            }
            $at = strtotime( $after );
            if ( false !== $at ) {
                // 「Retry-After: Fri, 23 Oct 2026 10:00:00 GMT」のように日時で来たとき
                return min( $max_wait, max( 1, $at - time() ) );
            }
        }
    }
    // Retry-After がないときは 1→2→4→8 秒…と延ばす
    return min( $max_wait, 2 ** ( $attempt - 1 ) );
}
書き方 役目
is_wp_error( $res ) タイムアウトなど、通信そのものが失敗したとき。取り直す
wp_remote_retrieve_response_code() 応答の状態の番号(200・404・429 など)を読む。429 と 503 だけ取り直す
wp_remote_retrieve_header( $res, 'retry-after' ) Retry-After のヘッダーを読む。ないときは空の文字
ctype_digit() 秒数で来たか(数字だけか)を見る
strtotime() 日時で来たときは、今からの秒数に直す
2 ** ( $attempt - 1 ) Retry-After がないときの待ち時間。1 回目 1 秒、2 回目 2 秒、3 回目 4 秒…
min( $max_wait, … ) どの場合も 60 秒より長く待たない

この 2 つの関数を使って、1 つの URL を決まった回数まで取り直しながら取る関数が次のものです。取り直しても取れなかったときは false を返し、404 とは別の「取り直しても取れなかった URL」の一覧に加えます。一覧が分かれていれば、404 は「リンク元を直す」、取れなかった URL は「時間を置いてもう一度書き出す」と、することを分けられます。

取り直しながら取る関数(例)
<?php
// 1 つの URL を、決まった回数まで取り直しながら取る
// 返すもの:取れたら wp_remote_get の結果、取り直しても取れなかったら false
function my_fetch_with_retry( $url, $max_tries = 5 ) {
    for ( $attempt = 1; $attempt <= $max_tries; $attempt++ ) {
        $res = wp_remote_get( $url, array( 'timeout' => 30 ) );
        if ( ! my_should_retry( $res ) ) {
            return $res; // 200 も 404 もここで返す(404 はリンク切れとして別に数える)
        }
        if ( $attempt < $max_tries ) {
            sleep( my_retry_wait( $res, $attempt ) );
        }
    }
    return false; // 「取り直しても取れなかった URL」の一覧に加える
}
書き方 役目
wp_remote_get() WordPress の関数で URL を開く。timeout は 30 秒
$max_tries 取り直す回数の上限。ずっと断られても、どこかで次へ進む
return $res 200 も 404 もここで返す。404 は取り直しても変わらないので、すぐリンク切れとして数える
sleep( my_retry_wait( … ) ) 決めた秒数だけ待ってから、もう一度開く
return false 上限まで取り直しても取れなかった。リンク切れとは別の一覧に加える

2. 同時に取る本数を上げ下げする

取り直すだけでは、同時に取る本数が多いままなので、取り直した先でもまた 429 が返ります。そこで、429 が出たら同時に取る本数を半分にし、続けて取れるようになったら少しずつ戻すことにしました。

気をつけたのは、半分にするのを 1 秒に 1 回までにしたことです。12 本同時に取っているときに断られると、12 本ぶんの 429 がほぼ同時に返ってきます。1 つの 429 ごとに半分にすると、12→6→3→1 とすぐに 1 本まで落ちてしまうので、同じ回にまとめて返ってきた 429 では 1 回だけ下げるようにしました。

戻すほうは、今の本数ぶん続けて取れたら 1.5 倍にします(小数は切り上げ)。1 本のときは 1 回、2 本のときは 2 回続けて取れたら上がるので、1→2→3→5→8→12 と、少ないときほど早く戻ります。

同時に取る本数を上げ下げする関数(例)
<?php
// 429 が出たとき:本数を半分にする(ただし 1 秒に 1 回まで)
function my_concurrency_down( array $state, $now ) {
    $state['ok_streak'] = 0;
    if ( $now - $state['last_down'] < 1 ) {
        return $state; // 同じ回にまとめて返ってきた 429 では、続けて下げない
    }
    $state['current']   = max( 1, intdiv( $state['current'], 2 ) );
    $state['last_down'] = $now;
    return $state;
}

// 取れたとき:今の本数ぶん続けて取れたら 1.5 倍にする(上限まで)
function my_concurrency_up( array $state ) {
    $state['ok_streak']++;
    if ( $state['ok_streak'] >= $state['current'] && $state['current'] < $state['max'] ) {
        $state['current']   = min( $state['max'], (int) ceil( $state['current'] * 1.5 ) );
        $state['ok_streak'] = 0;
    }
    return $state;
}
書き方 役目
$state['current'] 今の同時に取る本数
$state['max'] 本数の上限(例では 12)
$state['ok_streak'] 続けて取れた数。429 が出たら 0 に戻す
$state['last_down'] 前に本数を下げた時刻(秒)。1 秒たっていなければ下げない
intdiv( $state['current'], 2 ) 半分にする(小数は切り捨て)。1 本より下にはしない
ceil( $state['current'] * 1.5 ) 1.5 倍にする(小数は切り上げ)。上限は超えない

関数を動かして確認した

WordPress を読み込まずに、使う関数(wp_remote_retrieve_response_code など)だけを簡単に用意した検証用スクリプトで、上の関数を作業環境の PHP 8.3 で動かしました。構文のチェック(php -l)も、どのファイルも通っています。

まず、本数を上げる関数です。1 本から始めて、ずっと取れ続けたときの本数の変わり方です。

続けて取れた数(合計) 同時に取る本数
0 1
1 2
3 3
6 5
11 8
19 12(上限)

次に、本数を下げる関数です。12 本から始めて、表の時刻に 429 が出たときの本数です。

429 が出た時刻 同時に取る本数 下げたか
100.0 秒 6 下げた
100.1 秒 6 1 秒たっていないので下げない
100.5 秒 6 1 秒たっていないので下げない
101.2 秒 3 下げた
102.3 秒 1 下げた(3 の半分は切り捨てて 1)
103.4 秒 1 1 本より下にはしない

12 本とも 429 が 0.11 秒のあいだに返ってきた場合も試し、本数は 6 本でした(一気に 1 本まで落ちない)。

待ち時間を決める関数は、次のとおりでした。

応答 待ち時間(秒)
429・Retry-After なし 1 回目 1、2 回目 2、3 回目 4、4 回目 8、5 回目 16、6 回目 32、7 回目から 60
429・Retry-After: 5 5
503・Retry-After: 120 60(上限)
503・Retry-After が 30 秒後の日時 30
タイムアウト 1 回目 1、2 回目 2、3 回目 4

最後に、取り直しながら取る関数に、決まった順の応答を返すまねの wp_remote_get をつないで動かしました(ここは本当に sleep で待っています)。

返ってきた応答の順 結果 開いた回数 待った時間
429 → 429 → 200 200 3 3 秒(1 + 2)
タイムアウト → 200 200 2 1 秒
404 404(取り直さない) 1 0 秒
429 → 429 → 429(上限 3 回) false(取れなかった一覧へ) 3 3 秒

3. いちばんの解決は作業環境で書き出すこと

1 と 2 は「断られても取りこぼさない」ための工夫で、断られる回数そのものは減りません。429 を返しているのは自分のサーバー(またはその前の WAF)なので、本番のサーバーに向けて書き出しているかぎり、サーバーが許す回数より速くは終わりません。

いちばん確かなのは、本番から複製した作業環境で書き出すことです。作業環境のサーバーは自分で用意したものなので、回数で止められることがなく、本番のサーバーに負荷もかかりません。できた HTML をサーバーに上げるときは、作業環境の URL のまま書き出さないよう、本番のドメインに置き換えて書き出します。

確認した結果

自作の書き出しの仕組みに上の 1 と 2 を組み込み、作業環境で 114 ページのサイトを、同時 12 本で始めて書き出しました。本数の戻し方を、前の形(5 回続けて取れたら 1 本ずつ増やす)と今の形(本数ぶん続けて取れたら 1.5 倍)の 2 つで比べています。429 は試しのためにわざと返したもので、返し方は表のとおりです。

試し 戻し方:5 回続けて取れたら 1 本ずつ 戻し方:本数ぶん取れたら 1.5 倍
ふつう(429 なし) 29.6 秒 28.7 秒
1 秒に 8 回を超えたら 429(サーバーの回数制限のまね) 49.9 秒 49.9 秒
最初の 5 秒だけ半分に 429(一時的に混んだまね) 41.6 秒 36.8 秒
ずっと 3 割に 429 205.8 秒 220.3 秒

どの試しも、取りこぼしは 0、書き出した HTML の中のリンク切れも 0 でした。別の 514 ページのサイトでも、105 秒で書き出せて、取りこぼしは 0 でした。

戻し方の差は小さく、早くなったのは一時的に混んだときの約 1 割だけでした。ずっと 3 割に 429 が返る形では、1.5 倍の戻し方のほうが少し遅くなっていますが、断られ続けているあいだは本数が下がったままなのが正しい動きで、無理に増やすとまた断られます。1 秒に 8 回を超えると断る形では、どちらも 49.9 秒で、時間はサーバーが許す回数で決まりました。

気をつけること

  • 取り直す回数と待ち時間には、必ず上限を決めておく。上限がないと、ずっと断られるサーバーでは書き出しが終わらない
  • 取り直しても取れなかった URL は、404 と分けて一覧に出す。404 はリンク元を直し、取れなかった URL は時間を置いてもう一度書き出す
  • 本番のサーバーに向けて書き出すときは、ほかの人の表示が遅くならないよう、同時に取る本数の上限を小さめにする
  • サーバーの回数制限で止められている間は、本数の工夫では速くならない。作業環境で書き出す

WordPress のサイトの HTML への変換を承っています

WordPress のサイトを、見た目はそのままで静的な HTML に変換する作業を承っています。更新の予定がないサイトを HTML にして、WordPress の更新や保守の手間を減らしたいときに、ご相談ください。

まとめ

いちばん確かなのは、本番から複製した作業環境で書き出すことです。本番から取るしかないときは、429 のあとに待って取り直す処理を必ず入れておきます。

参考

SiteBeacon(サイトビーコン)

サイトが止まったら、すぐに気づける。

ホームページを 5 分ごとにチェックして、止まったとき・エラーが出たとき・SSL やドメインの期限が近いときに、メールでお知らせします。2 サイトまでは、ずっと無料で使えます。

SiteBeacon を見る サイトを直す相談をする

監視で気づいたあとの直す作業も、同じ担当がお受けします。