Custom File Robots TXT Blogger Untuk Meningkatkan Seo

Setiap bot perayapan pertama kali berinteraksi dengan file robots.txt dan menemukan aturan untuk dirayapi. File Robots.txt mengontrol perayapan mesin telusur untuk situs web. Itu berarti memainkan peran penting dalam optimasi mesin pencari blog Blogger. Artikel ini akan menjelaskan cara custom file robots.txt Blogger untuk meningkatkan SEO yang sempurna.

Apa Fungsi Dari File Robots.txt?

File robots.txt menginformasikan mesin pencari tentang halaman yang harus dan tidak boleh dirayapi. Oleh karena itu memungkinkan kita untuk mengontrol fungsi bot mesin pencari.

Dalam file robots.txt, kami mendeklarasikan fungsi agen pengguna, izinkan, larang, peta situs untuk mesin pencari seperti Google, Bing, Yandex, dll. Mari kita pahami arti dari semua istilah ini.

Biasanya, kami menggunakan tag meta robot untuk semua mesin pencari yang merayapi bot untuk mengindeks posting blog dan halaman di seluruh web. Tetapi jika Anda ingin menghemat anggaran perayapan, memblokir bot mesin pencari di beberapa bagian situs web, Anda harus memahami file robots.txt untuk blog Blogger.

Analisis File Robots.txt Default Dari Blogger

Untuk membuat file robots.txt khusus yang sempurna untuk Blogger. Pertama, kita harus memahami struktur Blogger dan menganalisis file robots.txt default.

Secara default, file ini terlihat seperti:

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.example.com/sitemap.xml

• Baris pertama dari file ini mendeklarasikan tipe bot. Ini dia Google AdSense, yang tidak diperbolehkan sama sekali. Itu berarti iklan AdSense dapat muncul di seluruh situs web.
• Agen pengguna berikutnya adalah * , yang berarti semua bot mesin pencari tidak diizinkan ke / halaman pencarian . Itu berarti tidak diizinkan untuk semua halaman pencarian dan label (struktur URL yang sama).
• Dan izinkan tag menentukan bahwa semua halaman selain bagian yang melarang akan diizinkan untuk dirayapi.
• Baris berikutnya berisi peta situs posting untuk Blogger.

Ini adalah file yang hampir sempurna untuk mengontrol bot mesin pencari dan memberikan instruksi agar halaman dapat dirayapi atau tidak dirayapi. Harap dicatat, di sini, apa yang diizinkan untuk dirayapi tidak akan memastikan bahwa halaman akan diindeks.

Tetapi file ini memungkinkan untuk mengindeks halaman arsip, yang dapat menyebabkan masalah duplikat konten. Artinya akan membuat sampah bagi Blogger.

File Robots.txt Kustom Sempurna Untuk Blogger.

Kami mengerti bagaimana file robots.txt default menjalankan fungsinya untuk blog Blogger. Mari kita optimalkan untuk SEO terbaik.

Robots.txt default memungkinkan arsip untuk mengindeks yang menyebabkan masalah konten duplikat. Kami dapat mencegah masalah duplikat konten dengan menghentikan bot agar tidak merayapi bagian arsip. Untuk ini,

• /search* akan menonaktifkan penjelajahan semua halaman pencarian dan label.
• Terapkan aturan Disallow /20* ke dalam file robots.txt untuk menghentikan crawling bagian arsip.
• Aturan /20* akan memblokir perayapan semua posting, Jadi untuk menghindarinya, kami menerapkan aturan Izinkan baru untuk bagian /*.html yang memungkinkan bot merayapi posting dan halaman.

Peta situs default menyertakan posting, bukan halaman. Jadi Anda harus menambahkan peta situs untuk halaman yang terletak di bawah https://example.blogspot.com/sitemap-pages.xml atau https://www.example.com/sitemap-pages.xml untuk domain khusus.

Jadi file robots.txt kustom baru yang sempurna untuk Blogger akan terlihat seperti ini.

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search*

Disallow: /20*

Allow: /*.html

Sitemap: https://www.example.com/sitemap.xml

Sitemap: https://www.example.com/sitemap-pages.xml

Anda harus mengganti www.example.com dengan domain Blogger atau nama domain khusus Anda. Misalnya, nama domain kustom Anda adalah www.maimunah.com, maka peta situs akan berada di https://www.maimunah.com/sitemap.xml. Selain itu, Anda dapat memeriksa robots.txt saat ini di https://www.example.com/robots.txt.

File di atas, pengaturannya adalah praktik robots.txt terbaik serta untuk SEO. Ini akan menghemat anggaran perayapan situs web dan membantu Blogger muncul di hasil pencarian. Seiring dengan Anda sudah menulis artikel SEO friendly untuk muncul di hasil pencarian.

Untuk pengaturan terbaik untuk robots.txt dan meta tag robot, coba robot.txt dan meta tag tingkat lanjut. Kombinasi tersebut adalah salah satu praktik terbaik untuk meningkatkan SEO Blogger.

Cara Mengedit File Robots.txt Dari Blogger

File Robots.txt ini terletak di tingkat akar situs web. Tapi di Blogger tidak ada akses root, lalu 

bagaimana cara mengedit file robots.txt ini?

Blogger menyediakan semua pengaturan file root dalam pengaturannya seperti file robots.txt dan ads.txt. Anda harus masuk ke akun Blogger dan mengedit file robots.txt.

1. Buka Dashboard Blogger dan klik opsi pengaturan,
2. Gulir ke bawah ke bagian perayap dan pengindeksan,
3. Aktifkan robots.txt khusus dengan tombol sakelar.
4. Klik pada robots.txt khusus , sebuah jendela akan terbuka, tempel file robots.txt, dan perbarui.

Setelah memperbarui file robots.txt khusus untuk Blogger, periksa dengan mengunjungi https://www.example.com/robots.txt, di mana www.example.com harus diganti dengan alamat domain Anda.

Kesimpulan.

Kami memahami fungsi file robots.txt dan membuat file robots.txt khusus yang sempurna untuk Blogger. Pengguna Blogger dapat mengatur file robots.txt di atas untuk hasil terbaik.

Di file robots.txt default, bagian arsip juga diizinkan untuk dirayapi, yang menyebabkan masalah konten duplikat untuk mesin telusur. Dan karenanya mesin pencari menjadi bingung tentang apa yang akan ditampilkan dalam hasil pencarian, dan tidak mempertimbangkan halaman Anda untuk hasil pencarian.

Ini berarti tag Robot sangat penting untuk SEO situs web. Anda dapat mempertimbangkan untuk menggabungkan robots.txt dan meta tag robots di Blogger untuk hasil terbaik.

Saya harap Anda menyukai artikel custom file robots txt Blogger untuk meningkatkan SEO. Jika ada keraguan atau pertanyaan tentang SEO Blogger atau WordPress, Anda dapat berkomentar di bawah.

Berbagi :