Search Console から「インデックスに登録されない新しい要因が検出されました」というメールが届きました。メールの書き方だけを見ると、何かが壊れたように思えますが、中を見ていくと直すものがないことも少なくありません。
届いたのは「重複」と「見つかりませんでした(404)」の 2 つで、どちらも直すものはありませんでした。見分けた順に書いていきます。あわせて、サイトマップの URL を全部開いて状態を数える PHP の例も紹介します。
メールが来たら、まず見るところ
メールには、要因の名前と、どのサイト(Search Console のプロパティ)のことかが書かれています。メールのリンクから Search Console の「ページ」のレポート(ページのインデックス登録)を開くと、要因ごとに、あてはまる URL の例が並びます。
はじめに見るのは、あてはまる URL がいくつあるかと、どんな URL か、です。1 つだけなのか、たくさんあるのか、どれも同じ種類の URL なのかで、次に見る画面が変わります。
例 1:重複(Google が別のページを正規ページに選んだ)
1 つめのメールの要因は「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」でした。レポートを開くと、あてはまるのは 1 ページだけでした。
URL 検査で 2 つの正規 URL を見比べる
その URL を「URL 検査」で開くと、「ユーザーが指定した正規 URL」と「Google が選択した正規 URL」が並んで出ます。見比べると、ページは自分自身を正規 URL にしていたのに対し、Google は同じ内容のもう 1 本の記事を選んでいました。
そこで 2 本の記事を見てみると、この 2 本はすでに 1 本にまとめてあり、もう一方の URL は 301 で転送していました。URL 検査の「前回のクロール」の日時を見ると、まとめて転送する前の日時だったので、Google は転送する前のページの様子をもとに、今になって知らせてきたものだと分かりました。
この場合、直すものはありません。次に Google がこの URL を見に来たときに 301 に気づき、要因は「ページにリダイレクトがあります」に移るはずです。URL 検査の「公開 URL をテスト」を使うと、今の状態(301)を Google がどう見るかをその場で確認できます。
まだまとめていなかったときは
| 見つかったこと | すること |
|---|---|
| 同じ内容のページが 2 つ残っている | 1 つにまとめ、もう一方を 301 で転送する |
| 内容は違うのに、Google が同じと見ている | 2 つのページの違いが分かるよう、タイトルや本文を見直す |
| 正規 URL の指定(canonical)が、意図と違う URL になっている | テーマやプラグインの canonical の出し方を見直す |
例 2:見つかりませんでした(404)
2 つめのメールの要因は「見つかりませんでした(404)」で、サイトマップに載っているページとして知らせてきたものでした。サイトマップに載せたページが本当に 404 なら、サイトマップか、ページのどちらかを直さなければいけません。
そこで、今のサイトマップに載っている URL を全部開いてみると、すべて 200 でした。レポートに並んでいた 404 の URL は、消したページ・使わなくなったタグのページ・古い動画のファイルなど、前にサイトマップに載っていて、わざと消したものでした(消したページのうち、410 を返すようにしているものもあります)。
消したページが 404 や 410 を返すのは正しい状態なので、ここも直すものはありません。Google は前のサイトマップで知った URL もしばらく見に来るため、消したあとに、こうしたメールが届くことがあります。
サイトマップの URL を全部開いて数える PHP
サイトマップの URL が多いと、ブラウザで 1 つずつ開くのは大変なので、PHP で数える検証用スクリプトを作りました。サイトマップのインデックスから各サイトマップを読み、載っている URL を 1 つずつ HEAD で開いて、状態の番号ごとに数え、200 以外を一覧にします。WordPress は読み込まず、コマンドで動かす形です。
<?php
// サイトマップの URL を全部開いて、状態(200・301・404 など)ごとに数える
// 使い方:php sitemap-check.php https://(サイトのドメイン)/wp-sitemap.xml
// URL を開いて、状態の番号・転送先・中身を返す($head が true なら中身は取らない)
function my_open( $url, $head ) {
$ch = curl_init( $url );
curl_setopt_array( $ch, array(
CURLOPT_NOBODY => $head,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => false, // 転送は追わずに 301 として数える
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => 'sitemap-check',
) );
$body = curl_exec( $ch );
$code = (int) curl_getinfo( $ch, CURLINFO_RESPONSE_CODE );
$to = (string) curl_getinfo( $ch, CURLINFO_REDIRECT_URL );
curl_close( $ch );
return array( $code, $to, (string) $body );
}
// サイトマップを読んで、<loc> の一覧と、インデックスかどうかを返す
function my_read_sitemap( $url ) {
for ( $i = 0; $i < 5; $i++ ) {
list( $code, $to, $body ) = my_open( $url, false );
if ( $code >= 300 && $code < 400 && '' !== $to ) {
$url = $to; // サイトマップそのものが転送されているときは追う
continue;
}
break;
}
if ( 200 !== $code ) {
fwrite( STDERR, "読めません:{$url}({$code})\n" );
return array( array(), false );
}
$xml = simplexml_load_string( $body );
if ( false === $xml ) {
return array( array(), false );
}
$locs = array();
foreach ( $xml->children() as $item ) {
$locs[] = trim( (string) $item->loc );
}
return array( $locs, 'sitemapindex' === $xml->getName() );
}
$start = $argv[1] ?? '';
if ( '' === $start ) {
exit( "サイトマップの URL を指定してください\n" );
}
list( $locs, $is_index ) = my_read_sitemap( $start );
$maps = $is_index ? $locs : array( $start );
$urls = $is_index ? array() : $locs;
if ( $is_index ) {
foreach ( $maps as $map ) {
list( $list ) = my_read_sitemap( $map );
$urls = array_merge( $urls, $list );
}
}
$urls = array_values( array_unique( $urls ) );
$count = array();
$bad = array();
foreach ( $urls as $url ) {
list( $code, $to ) = my_open( $url, true );
if ( 405 === $code ) {
list( $code, $to ) = my_open( $url, false ); // HEAD を受け付けないサーバーは GET で
}
$count[ $code ] = ( $count[ $code ] ?? 0 ) + 1;
if ( 200 !== $code ) {
$bad[] = "$code\t$url" . ( '' !== $to ? "\t→ $to" : '' );
}
usleep( 200000 ); // サーバーに負担をかけないよう、0.2 秒ずつあける
}
ksort( $count );
echo 'サイトマップ:' . count( $maps ) . "\n";
echo 'URL:' . count( $urls ) . "\n";
foreach ( $count as $code => $n ) {
echo "{$code}:{$n}\n";
}
echo $bad ? "\n200 以外:\n" . implode( "\n", $bad ) . "\n" : "\n200 以外はありません\n";
| 書き方 | 役目 |
|---|---|
CURLOPT_NOBODY |
true のときは HEAD で開く(本文を取らないので軽い)。サイトマップを読むときは false で本文を取る |
CURLOPT_FOLLOWLOCATION => false |
転送は追わずに、301 などとして数える。転送先は一覧に出す |
CURLINFO_REDIRECT_URL |
転送のときの移り先の URL |
my_read_sitemap() |
サイトマップを読み、<loc> の一覧と、インデックスかどうかを返す。サイトマップそのものが転送されているときは追う |
'sitemapindex' === $xml->getName() |
いちばん外のタグが sitemapindex ならインデックス、urlset ならふつうのサイトマップ |
405 === $code |
HEAD を受け付けないサーバーのときは、GET で開き直す |
usleep( 200000 ) |
1 つ開くごとに 0.2 秒あけて、サーバーに負担をかけないようにする |
"{$code}:{$n}" |
全角の文字を変数のすぐ後ろに書くときは { } で囲む(下の「気をつけること」) |
動かした結果
本番のサイトではなく、作業環境のサイト(本番から複製した WordPress・Apache 2.4・PHP 8.3)に向けて動かしました。このサイトは SEO のプラグインでサイトマップを出しているので、/wp-sitemap.xml を指定すると 302 でプラグインのサイトマップ(/sitemap.xml)に移り、スクリプトはその転送を追って読んでいます。
php sitemap-check.php http://(作業環境のサイト)/wp-sitemap.xml
| 項目 | 結果 |
|---|---|
| インデックスに並んだサイトマップ | 4 |
| URL(重なりを除く) | 60 |
| 200 | 60 |
| 200 以外 | 0 |
| かかった時間 | 約 55 秒(0.2 秒ずつあけたため) |
今回は 200 以外がなかったので、一覧の部分には「200 以外はありません」と出ました。本番のサイトに向けて動かすときは、アクセスの少ない時間に、間をあけて動かしてください。
気をつけること
- PHP の
""の中で、"$code:$n"のように全角の文字を変数のすぐ後ろに書くと、全角の文字まで変数の名前として読まれ、「Undefined variable」の警告になる。検証用スクリプトを最初に動かしたときにこの警告が出たので、{$code}のように { } で囲む形に直した - HEAD と GET で違う番号を返すサーバーもある。気になる URL は、ブラウザや GET でも開いて確認する
- サーバーや WAF が回数で止める設定になっていると、途中から 403 や 429 が返ることがある。そのときは、間を長くする
ドメインのプロパティは、サブドメインもまとめて数える
Search Console のプロパティには、URL で登録する「URL プレフィックス」と、ドメインで登録する「ドメイン」(sc-domain:)の 2 つの種類があります。ドメインのプロパティは、www のあるなし・http と https・サブドメインもまとめて 1 つとして数えるので、メールの「サイト」がドメインのプロパティのときは、あてはまるページがサブドメインのサイトのものかもしれません。レポートの URL の例を見て、どのサイトのページなのかを先に確認すると、見当違いのサイトを調べずに済みます。
見る順番のまとめ
| メールの要因 | 見る画面 | 直すか |
|---|---|---|
| (どの要因でも) | メールの「サイト」と、レポートの URL の例。ドメインのプロパティなら、どのサブドメインかも見る | どのサイトのことかが分かってから決める |
| 重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました | URL 検査の「ユーザーが指定した正規 URL」「Google が選択した正規 URL」「前回のクロール」 | すでにまとめて 301 で転送していれば、直さない。同じ内容が 2 つ残っていれば、1 つにまとめて 301 |
| 見つかりませんでした(404) | レポートの URL の例と、今のサイトマップの URL を全部開いた結果 | 今のサイトマップが全部 200 で、404 がわざと消したページなら、直さない。消したつもりのないページなら、戻すか 301 |
| ページにリダイレクトがあります | URL 検査で転送先 | 自分で転送したものなら、直さない |
まとめ
- 「インデックスに登録されない新しい要因」のメールが来ても、直すものがないことは多い。あてはまる URL の数と種類を先に見る
- 重複は、URL 検査で 2 つの正規 URL と「前回のクロール」を見比べる。転送する前のクロールなら、次のクロールを待つ
- サイトマップのページの 404 は、今のサイトマップの URL を全部開いて確認する。全部 200 で、404 がわざと消したページなら正しい状態
- サイトマップの URL を全部開くときは、PHP で作成した検証用スクリプトを使い、1 件ごとに少し間をあけて開くと、手間がかからず、サーバーにも負担をかけにくい
- ドメインのプロパティは、サブドメインもまとめて数える。どのサイトのページかを先に確認する

