Google menjelaskan file Robots.txt sebagai praktik SEO yang baik.

Topik ini dijelaskan oleh Advokat Penelusuran Google John Mለርller di Hangout SEO-Jam Pusat Google Penelusuran pada 14 Januari.

David Zigger, manajer SEO di penerbit berita terbesar di Jerman, bergabung dengan streaming langsung dengan keprihatinan tentang file robots.txt “raksasa” dan “kompleks”.

Seberapa besar yang kita bicarakan di sini?

Zieger memiliki lebih dari 1.500 baris yang diblokir dari “banyak” dan telah berkembang selama bertahun-tahun.

Pembatasan mencegah Google menunjukkan fragmen HTML dan URL yang digunakan oleh panggilan AJAX.

Zieger mengatakan NoDex tidak dapat dikonfigurasi, yang merupakan cara lain untuk mengecualikan fragmen dan URL dari indeks Google, jadi dia mengatakan dia telah mulai mengisi halaman robots.txt dengan pembatasan.

Apakah ada efek SEO negatif dari file robots.txt yang besar?

Inilah yang dikatakan Muller.

Estimasi SEO untuk file Robots.txt besar

Ini bukan file robots.txt yang besar Secara langsung Ini memiliki dampak negatif pada SEO situs.

Tetapi sulit untuk menyimpan file besar, yang dapat menyebabkan masalah yang tidak disengaja di sepanjang jalan.

Muller menjelaskan bahwa

“Tidak ada masalah SEO negatif langsung di atasnya, tetapi membuatnya sangat sulit untuk dipertahankan.

Jadi hanya karena itu adalah file besar tidak berarti itu memiliki masalah tetapi itu membuat lebih mudah untuk membuat masalah.

Zieger memantau peta situs dengan menanyakan apakah ada masalah dengan tidak menyertakan file Robots.txt.

Mለርller mengatakan ini bukan masalah.

“Tidak. Metode pemetaan saluran yang berbeda itu sama saja bagi kita.

Zieger kemudian memulai dengan serangkaian pertanyaan yang akan kita bahas di bagian selanjutnya.

Terkait Google SEO 101 blokir file khusus dengan Robots.txt

Apakah Google Tahu Potongan HTML?

Zieger secara drastis memperpendek file robots.txt menanyakan Muller apa dampak SEO yang mungkin terjadi. Misalnya, menghapus semua barang terlarang.

Pertanyaan-pertanyaan berikut akan diajukan.

• Apakah Google mengetahui fragmen HTML yang tidak berguna bagi pengunjung situs?
• Akankah potongan HTML di Robots.txt berakhir di indeks pencarian Google?
• Bagaimana cara Google menangani halaman yang digunakan oleh panggilan AJAX? (Sebagai tajuk atau anggota bawah)

Meringkas kueri dalam file Robots.txt dengan menentukan topik dan subtitel yang paling tidak menarik bagi pengguna.

Mለርller mengatakan akan sulit untuk mengetahui secara pasti apa yang akan terjadi jika potongan-potongan itu tiba-tiba diperiksa.

Pendekatan coba-coba mungkin merupakan cara terbaik untuk menentukan ini, Muller menjelaskan.

“Sulit untuk mengatakan apa yang Anda maksud dengan potongan-potongan itu.

Ide saya adalah mencoba mencari cara menggunakan URL yang terfragmentasi itu. Dan jika Anda tidak yakin, mungkin ambil salah satu URL bagian ini dan izinkan menyeret dan melihat konten URL bagian itu dan kemudian memeriksa apa yang terjadi dalam pencarian.

Apakah itu memengaruhi apa pun yang terkait dengan konten indeks di situs Anda?
Bisakah beberapa konten tiba-tiba muncul di situs Anda?
Apakah itu masalah atau tidak?

Dan coba kerjakan itu, karena sangat mudah untuk memblokir sesuatu dengan robots.txt, mereka tidak benar-benar menggunakan indeks, dan kemudian Anda menghabiskan banyak waktu untuk melindungi file robots.txt besar ini, tetapi sebenarnya tidak bekerja. Ubah sebanyak itu untuk situs web Anda.

Terkait Praktik terbaik untuk menyiapkan tag meta robots dan Robots.txt

Pertimbangan lain untuk membuat file Robots.txt

Zieger melihat file robots.txt untuk terakhir kalinya, dan menanyakan apakah ada instruksi khusus yang harus diikuti saat membuatnya.

Mለርller mengatakan tidak ada format khusus untuk hal berikut:

“Tidak, itu benar-benar urusanmu. Sama seperti beberapa halaman web adalah file besar, beberapa situs memiliki file kecil, yang semuanya harus berfungsi.

Kami memiliki kode sumber terbuka untuk penganalisis robots.txt yang kami gunakan. Jadi yang dapat Anda lakukan adalah membiarkan pengembang menjalankan penganalisis itu untuk Anda atau mengonfigurasinya untuk mencobanya dan kemudian memeriksa URL di situs web itu dengan penganalisis itu untuk melihat blok mana yang diblokir. Apa yang akan berubah. Dan dengan cara ini Anda dapat mencoba berbagai hal bahkan sebelum Anda ada.

Analis Robots.txt Muller menunjukkan di atas. Github.

Simak pembahasan selengkapnya dalam video di bawah ini.

Tangkapan Layar Gambar Unggulan dari YouTube.com/GoogleSearchCentral, Januari 2022.