# Sitemap, robots.txt, dan canonical

Sitemap mencantumkan URL, robots.txt mengarahkan perayapan, dan canonical menunjukkan versi pilihan. Sitemap merupakan daftar URL yang ingin diperkenalkan kepada mesin pencari. Robots.txt menyampaikan aturan akses bagi crawler yang mematuhinya. URL kampanye dapat menetapkan alamat bersih sebagai canonical. Melarang perayapan tidak menjamin URL hilang dari hasil pencarian.

## Beri tugas yang tepat pada setiap file

Sitemap merupakan daftar URL yang ingin diperkenalkan kepada mesin pencari. Robots.txt menyampaikan aturan akses bagi crawler yang mematuhinya. Canonical menunjukkan alamat yang dipilih sebagai versi utama dari halaman serupa. Ketiganya membantu koordinasi, tetapi tidak saling menggantikan.

Misalnya halaman layanan dapat dibuka melalui parameter kampanye. Canonical dapat menunjuk ke URL bersih yang sama, sementara sitemap hanya memasukkan URL bersih tersebut. Jangan mencantumkan setiap variasi parameter. Jika halaman lama sudah benar-benar pindah, pengalihan yang sesuai biasanya diperlukan; canonical saja tidak memindahkan pengguna ke alamat baru.

## Hindari aturan yang saling bertentangan

Halaman yang diblokir melalui robots mungkin tidak dapat dirayapi untuk membaca noindex. Karena itu, jangan mengandalkan kombinasi sembarang untuk menghapus informasi sensitif dari pencarian. Lindungi halaman privat dengan autentikasi. File robots bersifat publik dan dapat mengungkap nama jalur; isinya bukan tempat menyimpan rahasia.

Sitemap sebaiknya hanya mencakup URL yang dapat diakses, canonical, dan layak diindeks. Tanggal pembaruan perlu mencerminkan perubahan sebenarnya, bukan selalu diganti saat build tanpa perubahan isi. Untuk situs multibahasa, peta situs per bahasa dapat mempermudah pemeriksaan, tetapi seluruhnya perlu tersambung melalui indeks sitemap yang valid.

## Uji respons di domain yang digunakan

Periksa MIME, status HTTP, format XML, serta tautan yang ada dalam sitemap. Buka beberapa URL secara langsung dan bandingkan canonical yang diterima. Jangan hanya memeriksa berkas sumber; aturan hosting, pengalihan, atau plugin dapat mengubah hasil publik. Lingkungan preview perlu dicegah indeksasinya dan tidak boleh menjadi canonical produksi.

Jika beberapa URL benar-benar berbeda dalam isi serta tujuan, jangan memaksa semuanya canonical ke halaman utama. Untuk terjemahan, masing-masing versi biasanya mempunyai canonical sendiri dan dihubungkan lewat hreflang. Dokumentasikan pilihan tersebut agar perubahan struktur berikutnya tidak menciptakan kontradiksi antara navigasi, sitemap, canonical, dan bahasa.

## Daftar periksa praktis

- Gunakan URL absolut
- Tinjau aturan
- Selaraskan canonical

**Contoh konkret:** URL kampanye dapat menetapkan alamat bersih sebagai canonical.

**Batas yang perlu jelas:** Melarang perayapan tidak menjamin URL hilang dari hasil pencarian.

## Langkah berikutnya

[Ceritakan proyek Anda kepada Orvunweb](/id/mulai-proyek/)

## Bacaan terkait

- [Daftar periksa SEO teknis situs baru](/id/blog/daftar-periksa-seo-teknis-situs-baru/)
- [Bagaimana Google menemukan situs baru?](/id/blog/bagaimana-google-menemukan-situs-baru/)
- [Mengapa hreflang penting?](/id/blog/mengapa-hreflang-penting/)
- [Layanan situs bisnis](/id/layanan/situs-profil-usaha/)
- [Bandingkan paket](/id/paket/)


## Layanan terkait

- [Situs profil usaha](/id/layanan/situs-profil-usaha/)

---

Locale: id
Canonical: https://orvunweb.com/id/blog/sitemap-robots-txt-dan-canonical/
Updated: 2026-09-16


- [Google Search Central — Canonical URLs](https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls)