Search Console の「インデックスに登録されない新しい要因」のメール:重複と 404 の見方

サービス連携
広告WordPress・PHP を学べる本

Amazonのアソシエイトとして、WordPress functions.phpは適格販売により収入を得ています。

Search Console から「インデックスに登録されない新しい要因が検出されました」というメールが届きました。メールの書き方だけを見ると、何かが壊れたように思えますが、中を見ていくと直すものがないことも少なくありません。

届いたのは「重複」と「見つかりませんでした(404)」の 2 つで、どちらも直すものはありませんでした。見分けた順に書いていきます。あわせて、サイトマップの URL を全部開いて状態を数える PHP の例も紹介します。

メールが来たら、まず見るところ

メールには、要因の名前と、どのサイト(Search Console のプロパティ)のことかが書かれています。メールのリンクから Search Console の「ページ」のレポート(ページのインデックス登録)を開くと、要因ごとに、あてはまる URL の例が並びます。

はじめに見るのは、あてはまる URL がいくつあるかと、どんな URL か、です。1 つだけなのか、たくさんあるのか、どれも同じ種類の URL なのかで、次に見る画面が変わります。

例 1:重複(Google が別のページを正規ページに選んだ)

1 つめのメールの要因は「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」でした。レポートを開くと、あてはまるのは 1 ページだけでした。

URL 検査で 2 つの正規 URL を見比べる

その URL を「URL 検査」で開くと、「ユーザーが指定した正規 URL」と「Google が選択した正規 URL」が並んで出ます。見比べると、ページは自分自身を正規 URL にしていたのに対し、Google は同じ内容のもう 1 本の記事を選んでいました。

そこで 2 本の記事を見てみると、この 2 本はすでに 1 本にまとめてあり、もう一方の URL は 301 で転送していました。URL 検査の「前回のクロール」の日時を見ると、まとめて転送する前の日時だったので、Google は転送する前のページの様子をもとに、今になって知らせてきたものだと分かりました。

この場合、直すものはありません。次に Google がこの URL を見に来たときに 301 に気づき、要因は「ページにリダイレクトがあります」に移るはずです。URL 検査の「公開 URL をテスト」を使うと、今の状態(301)を Google がどう見るかをその場で確認できます。

まだまとめていなかったときは

見つかったこと すること
同じ内容のページが 2 つ残っている 1 つにまとめ、もう一方を 301 で転送する
内容は違うのに、Google が同じと見ている 2 つのページの違いが分かるよう、タイトルや本文を見直す
正規 URL の指定(canonical)が、意図と違う URL になっている テーマやプラグインの canonical の出し方を見直す

例 2:見つかりませんでした(404)

2 つめのメールの要因は「見つかりませんでした(404)」で、サイトマップに載っているページとして知らせてきたものでした。サイトマップに載せたページが本当に 404 なら、サイトマップか、ページのどちらかを直さなければいけません。

そこで、今のサイトマップに載っている URL を全部開いてみると、すべて 200 でした。レポートに並んでいた 404 の URL は、消したページ・使わなくなったタグのページ・古い動画のファイルなど、前にサイトマップに載っていて、わざと消したものでした(消したページのうち、410 を返すようにしているものもあります)。

消したページが 404 や 410 を返すのは正しい状態なので、ここも直すものはありません。Google は前のサイトマップで知った URL もしばらく見に来るため、消したあとに、こうしたメールが届くことがあります。

サイトマップの URL を全部開いて数える PHP

サイトマップの URL が多いと、ブラウザで 1 つずつ開くのは大変なので、PHP で数える検証用スクリプトを作りました。サイトマップのインデックスから各サイトマップを読み、載っている URL を 1 つずつ HEAD で開いて、状態の番号ごとに数え、200 以外を一覧にします。WordPress は読み込まず、コマンドで動かす形です。

sitemap-check.php
<?php
// サイトマップの URL を全部開いて、状態(200・301・404 など)ごとに数える
// 使い方:php sitemap-check.php https://(サイトのドメイン)/wp-sitemap.xml

// URL を開いて、状態の番号・転送先・中身を返す($head が true なら中身は取らない)
function my_open( $url, $head ) {
    $ch = curl_init( $url );
    curl_setopt_array( $ch, array(
        CURLOPT_NOBODY         => $head,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_FOLLOWLOCATION => false, // 転送は追わずに 301 として数える
        CURLOPT_TIMEOUT        => 30,
        CURLOPT_USERAGENT      => 'sitemap-check',
    ) );
    $body = curl_exec( $ch );
    $code = (int) curl_getinfo( $ch, CURLINFO_RESPONSE_CODE );
    $to   = (string) curl_getinfo( $ch, CURLINFO_REDIRECT_URL );
    curl_close( $ch );
    return array( $code, $to, (string) $body );
}

// サイトマップを読んで、<loc> の一覧と、インデックスかどうかを返す
function my_read_sitemap( $url ) {
    for ( $i = 0; $i < 5; $i++ ) {
        list( $code, $to, $body ) = my_open( $url, false );
        if ( $code >= 300 && $code < 400 && '' !== $to ) {
            $url = $to; // サイトマップそのものが転送されているときは追う
            continue;
        }
        break;
    }
    if ( 200 !== $code ) {
        fwrite( STDERR, "読めません:{$url}({$code})\n" );
        return array( array(), false );
    }
    $xml = simplexml_load_string( $body );
    if ( false === $xml ) {
        return array( array(), false );
    }
    $locs = array();
    foreach ( $xml->children() as $item ) {
        $locs[] = trim( (string) $item->loc );
    }
    return array( $locs, 'sitemapindex' === $xml->getName() );
}

$start = $argv[1] ?? '';
if ( '' === $start ) {
    exit( "サイトマップの URL を指定してください\n" );
}

list( $locs, $is_index ) = my_read_sitemap( $start );
$maps = $is_index ? $locs : array( $start );
$urls = $is_index ? array() : $locs;
if ( $is_index ) {
    foreach ( $maps as $map ) {
        list( $list ) = my_read_sitemap( $map );
        $urls = array_merge( $urls, $list );
    }
}
$urls = array_values( array_unique( $urls ) );

$count = array();
$bad   = array();
foreach ( $urls as $url ) {
    list( $code, $to ) = my_open( $url, true );
    if ( 405 === $code ) {
        list( $code, $to ) = my_open( $url, false ); // HEAD を受け付けないサーバーは GET で
    }
    $count[ $code ] = ( $count[ $code ] ?? 0 ) + 1;
    if ( 200 !== $code ) {
        $bad[] = "$code\t$url" . ( '' !== $to ? "\t→ $to" : '' );
    }
    usleep( 200000 ); // サーバーに負担をかけないよう、0.2 秒ずつあける
}

ksort( $count );
echo 'サイトマップ:' . count( $maps ) . "\n";
echo 'URL:' . count( $urls ) . "\n";
foreach ( $count as $code => $n ) {
    echo "{$code}:{$n}\n";
}
echo $bad ? "\n200 以外:\n" . implode( "\n", $bad ) . "\n" : "\n200 以外はありません\n";
書き方 役目
CURLOPT_NOBODY true のときは HEAD で開く(本文を取らないので軽い)。サイトマップを読むときは false で本文を取る
CURLOPT_FOLLOWLOCATION => false 転送は追わずに、301 などとして数える。転送先は一覧に出す
CURLINFO_REDIRECT_URL 転送のときの移り先の URL
my_read_sitemap() サイトマップを読み、<loc> の一覧と、インデックスかどうかを返す。サイトマップそのものが転送されているときは追う
'sitemapindex' === $xml->getName() いちばん外のタグが sitemapindex ならインデックス、urlset ならふつうのサイトマップ
405 === $code HEAD を受け付けないサーバーのときは、GET で開き直す
usleep( 200000 ) 1 つ開くごとに 0.2 秒あけて、サーバーに負担をかけないようにする
"{$code}:{$n}" 全角の文字を変数のすぐ後ろに書くときは { } で囲む(下の「気をつけること」)

動かした結果

本番のサイトではなく、作業環境のサイト(本番から複製した WordPress・Apache 2.4・PHP 8.3)に向けて動かしました。このサイトは SEO のプラグインでサイトマップを出しているので、/wp-sitemap.xml を指定すると 302 でプラグインのサイトマップ(/sitemap.xml)に移り、スクリプトはその転送を追って読んでいます。

動かしたコマンド
php sitemap-check.php http://(作業環境のサイト)/wp-sitemap.xml
項目 結果
インデックスに並んだサイトマップ 4
URL(重なりを除く) 60
200 60
200 以外 0
かかった時間 約 55 秒(0.2 秒ずつあけたため)

今回は 200 以外がなかったので、一覧の部分には「200 以外はありません」と出ました。本番のサイトに向けて動かすときは、アクセスの少ない時間に、間をあけて動かしてください。

気をつけること

  • PHP の "" の中で、"$code:$n" のように全角の文字を変数のすぐ後ろに書くと、全角の文字まで変数の名前として読まれ、「Undefined variable」の警告になる。検証用スクリプトを最初に動かしたときにこの警告が出たので、{$code} のように { } で囲む形に直した
  • HEAD と GET で違う番号を返すサーバーもある。気になる URL は、ブラウザや GET でも開いて確認する
  • サーバーや WAF が回数で止める設定になっていると、途中から 403 や 429 が返ることがある。そのときは、間を長くする

ドメインのプロパティは、サブドメインもまとめて数える

Search Console のプロパティには、URL で登録する「URL プレフィックス」と、ドメインで登録する「ドメイン」(sc-domain:)の 2 つの種類があります。ドメインのプロパティは、www のあるなし・http と https・サブドメインもまとめて 1 つとして数えるので、メールの「サイト」がドメインのプロパティのときは、あてはまるページがサブドメインのサイトのものかもしれません。レポートの URL の例を見て、どのサイトのページなのかを先に確認すると、見当違いのサイトを調べずに済みます。

見る順番のまとめ

メールの要因 見る画面 直すか
(どの要因でも) メールの「サイト」と、レポートの URL の例。ドメインのプロパティなら、どのサブドメインかも見る どのサイトのことかが分かってから決める
重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました URL 検査の「ユーザーが指定した正規 URL」「Google が選択した正規 URL」「前回のクロール」 すでにまとめて 301 で転送していれば、直さない。同じ内容が 2 つ残っていれば、1 つにまとめて 301
見つかりませんでした(404) レポートの URL の例と、今のサイトマップの URL を全部開いた結果 今のサイトマップが全部 200 で、404 がわざと消したページなら、直さない。消したつもりのないページなら、戻すか 301
ページにリダイレクトがあります URL 検査で転送先 自分で転送したものなら、直さない

まとめ

  • 「インデックスに登録されない新しい要因」のメールが来ても、直すものがないことは多い。あてはまる URL の数と種類を先に見る
  • 重複は、URL 検査で 2 つの正規 URL と「前回のクロール」を見比べる。転送する前のクロールなら、次のクロールを待つ
  • サイトマップのページの 404 は、今のサイトマップの URL を全部開いて確認する。全部 200 で、404 がわざと消したページなら正しい状態
  • サイトマップの URL を全部開くときは、PHP で作成した検証用スクリプトを使い、1 件ごとに少し間をあけて開くと、手間がかからず、サーバーにも負担をかけにくい
  • ドメインのプロパティは、サブドメインもまとめて数える。どのサイトのページかを先に確認する

参考

SiteBeacon(サイトビーコン)

サイトが止まったら、すぐに気づける。

ホームページを 5 分ごとにチェックして、止まったとき・エラーが出たとき・SSL やドメインの期限が近いときに、メールでお知らせします。2 サイトまでは、ずっと無料で使えます。

SiteBeacon を見る サイトを直す相談をする

監視で気づいたあとの直す作業も、同じ担当がお受けします。