sitemapはURL一覧、robots.txtはクロール指示、canonicalは優先版の識別を担います。 キャンペーン付きURLから、パラメーターなしのURLを優先版として示せます。 クロール禁止で検索結果から必ず消えるわけではありません。
三つの仕組みに別の質問を与える
sitemapはどの公開URLを一覧にするか、robots.txtはロボットへどの巡回指示を出すか、canonicalは似たURLのどれを優先するかを扱います。公開確認では一緒に登場しますが、互いの代わりにはなりません。
sitemapにないページも秘密ではありません。canonicalはパスワードでも転送でもなく、robotsの禁止だけで検索結果から全情報が消える保証もありません。私的領域には本当のアクセス制御が必要です。
サービスページが通常URLとキャンペーンパラメーター付きURLで開く例を考えます。両方を利用者が開ける状態で、canonicalがパラメーターなしの版を優先と示すことができます。
指示を矛盾させない
sitemapは正しく公開された検索対象の優先URLを含めます。絶対URLを使い、管理、API、下書き、不要な確認画面、並行するテキスト版などを除きます。
canonicalはトップだけでなく詳細でも確認してください。テンプレートの間違いで複数記事が同じ無関係なURLを向く場合があります。言語版は有用な別の説明であり、言語間の関係を一つの版へ消す指示と混同しません。
robots.txtは公開時に実際に返る内容を見ます。ローカルのファイルが正しくても、ホスティング側の設定が出力へ影響する場合があります。確認できたものと、アカウントアクセスが必要な設定を分けて記録します。
少数の実例で動きを確かめる
通常ページ、パラメーター付き、翻訳、存在しないURLを開きます。内容、状態コード、canonical、リンク、sitemap掲載が目的どおりか比べます。
廃止したページは、関連する代替への転送か適切な削除応答を選びます。canonicalを、存在すべきでないURLの万能な修理方法として使わないでください。転送と優先版の表明には違う役割があります。
構造を変える場合は同じルート一覧からファイルを生成し、古いリンクや矛盾した一覧を減らします。変更日は本当の内容変更を反映し、毎回のビルド日時にしません。
三つの仕組みはサイトの説明を助けますが、即時巡回、全ページの登録、順位を約束しません。技術用語を置いたことより、実際に存在する公開内容と意図が一貫していることを評価しましょう。
実務の確認項目
- 絶対URLを使う
- 規則を見直す
- canonicalをそろえる
具体例: キャンペーン付きURLから、パラメーターなしのURLを優先版として示せます。
守りたい範囲: クロール禁止で検索結果から必ず消えるわけではありません。
