Google Berbagi Wawasan tentang Pengindeksan & Anggaran Perayapan

Google Berbagi Wawasan tentang Pengindeksan & Anggaran Perayapan

Google baru-baru ini menerbitkan podcast yang membahas apa yang dikenal sebagai anggaran perayapan dan apa yang memengaruhi Google untuk mengindeks konten.

Baik Gary Illyes dan Martin Splitt berbagi wawasan tentang pengindeksan web, seperti yang dipahami dari sudut pandang Google.

Asal Usul Konsep Anggaran Perayapan

Gary Illyes mengatakan bahwa konsep anggaran perayapan adalah sesuatu yang dibuat di luar Google oleh komunitas pencarian.

Dia menjelaskan tidak ada satu hal pun di internal Google yang sesuai dengan ide anggaran perayapan.

Ketika orang berbicara tentang anggaran perayapan, apa yang terjadi di dalam Google melibatkan banyak metrik, bukan satu hal yang disebut anggaran perayapan.

Jadi di dalam Google mereka berbicara tentang apa yang bisa mewakili anggaran perayapan dan menemukan cara untuk membicarakannya.

Dia berkata:

“…untuk waktu yang lama kami mengatakan bahwa kami tidak memiliki konsep anggaran perayapan. Dan itu benar.

Kami tidak memiliki sesuatu yang dapat berarti merangkak anggaran sendiri- cara yang sama kami tidak memiliki nomor untuk EAT, misalnya.

Dan kemudian, karena orang-orang membicarakannya, kami mencoba menemukan sesuatu… setidaknya, entah bagaimana didefinisikan.

Dan kemudian kami bekerja dengan dua atau tiga atau empat tim– saya tidak ingat– di mana kami mencoba menghasilkan setidaknya beberapa metrik internal yang dapat dipetakan bersama menjadi sesuatu yang secara eksternal didefinisikan sebagai anggaran perayapan.”

Apa Arti Anggaran Perayapan Dalam Google

Menurut Gary, bagian dari perhitungan anggaran perayapan didasarkan pada pertimbangan praktis seperti berapa banyak URL yang diizinkan server untuk dirayapi Googlebot tanpa membebani server secara berlebihan.

Gary Illyes dan Martin Splitt:

“Gary Illyes: …kami mendefinisikannya sebagai jumlah URL yang dapat dan ingin atau diperintahkan untuk dirayapi oleh Googlebot.”

Martin Splitt: Untuk situs tertentu.

Gary Illyes: Untuk situs tertentu, ya.

Dan bagi kami, kira-kira itulah arti anggaran perayapan karena jika Anda memikirkannya, kami tidak ingin merusak situs web karena Googlebot memiliki kapasitas Chrome yang cukup untuk menghapus situs…”

Menyeimbangkan Berbagai Pertimbangan

Hal menarik lainnya yang dibuat adalah bagaimana, dalam kaitannya dengan perayapan, ada berbagai pertimbangan yang terlibat. Ada batasan untuk apa yang bisa disimpan, jadi menurut Google, itu berarti memanfaatkan sumber daya Google “di mana itu penting.

Martin Splitt: Rupanya, jelas, semua orang ingin semuanya diindeks secepat mungkin, baik itu situs web baru yang baru saja online atau situs web yang memiliki banyak halaman, dan mereka ingin sering mengubahnya, dan mereka khawatir tentang hal-hal yang tidak dirayapi dengan cepat.

Saya biasanya menggambarkannya sebagai tantangan dengan keseimbangan antara tidak membebani situs web dan juga menghabiskan sumber daya kami di tempat yang penting.”

John Mueller baru-baru ini men-tweet bahwa Google tidak mengindeks semuanya dan menyebutkan bahwa tidak semuanya berguna.

milik mueller menciak:

“…penting untuk diingat bahwa Google tidak mengindeks setiap halaman di web, meskipun dikirimkan secara langsung. Jika tidak ada kesalahan, itu mungkin dipilih untuk pengindeksan dari waktu ke waktu — atau Google mungkin hanya fokus pada beberapa halaman lain di situs Anda.”

Dia menindaklanjuti dengan tweet lain:

“Yah, banyak SEO & situs (mungkin bukan milik Anda/Anda!) menghasilkan konten buruk yang tidak layak untuk diindeks. Hanya karena itu ada tidak berarti itu berguna bagi pengguna.”

  • Martin Splitt menyebut proses perayapan sebagai masalah “menghabiskan sumber daya kami di tempat yang penting.”
  • John Mueller menyebutkan jika isinya adalah “berguna bagi pengguna.”

Kegunaan adalah sudut pandang yang menarik untuk menilai konten dan menurut saya itu bisa lebih membantu untuk mendiagnosis konten daripada saran steril untuk memastikan konten “menargetkan niat pengguna” dan bahwa itu “dioptimalkan kata kunci.”

Misalnya, saya baru-baru ini meninjau situs YMYL di mana seluruh situs tampak seperti dibuat dari daftar periksa yang harus dilakukan SEO.

  • Buat profil Penulis
  • Profil penulis harus memiliki Halaman LinkedIn
  • Kata kunci mengoptimalkan lalu lintas
  • Tautkan ke situs “otoritas”

Penerbit menggunakan gambar yang dihasilkan AI untuk bio penulis, yang juga digunakan pada profil LinkedIn palsu.

Banyak halaman web situs yang ditautkan ke halaman .gov tipis yang memiliki kata kunci di judulnya tetapi tidak berguna sama sekali. Sepertinya mereka bahkan tidak melihat halaman pemerintah untuk menilai apakah itu layak untuk ditautkan.

Secara lahiriah, mereka mencentang kotak daftar periksa yang harus dilakukan SEO, menyelesaikan aktivitas SEO hafalan seperti menautkan ke situs .gov, membuat profil penulis, dll.

Mereka menciptakan penampilan luar yang berkualitas tetapi tidak benar-benar mencapainya karena pada setiap langkah mereka tidak mempertimbangkan apakah yang mereka lakukan bermanfaat.

Anggaran Perayapan Bukanlah Sesuatu Yang Perlu Dikhawatirkan

Gary dan Martin mulai berbicara tentang bagaimana sebagian besar situs tidak perlu khawatir tentang anggaran perayapan.

Gary menunjuk blog di industri pencarian yang di masa lalu mempromosikan gagasan bahwa anggaran perayapan adalah sesuatu yang perlu dikhawatirkan padahal menurutnya itu bukan sesuatu yang perlu dikhawatirkan.

Dia berkata:

“Saya pikir itu sebagian karena ketakutan akan sesuatu yang tidak dapat mereka kendalikan, yang tidak dapat dikendalikan orang, dan hal lainnya hanyalah informasi yang salah.

…Dan ada beberapa blog di masa lalu di mana orang-orang berbicara tentang anggaran perayapan, dan itu sangat penting, dan kemudian orang-orang menemukan itu, dan mereka menjadi bingung tentang “Apakah saya harus khawatir tentang anggaran perayapan atau tidak?”

Martin Splitt bertanya:

“Tapi katakanlah Anda adalah blog yang menarik… Apakah Anda perlu khawatir tentang anggaran perayapan?”

Dan Gary menjawab:

“Saya pikir kebanyakan orang tidak perlu khawatir tentang hal itu, dan ketika saya mengatakan sebagian besar, mungkin lebih dari 90% situs di internet tidak perlu khawatir tentang hal itu.”

Beberapa menit kemudian di podcast Martin mengamati:

“Tetapi orang-orang mengkhawatirkannya, dan saya tidak yakin dari mana asalnya.

Saya pikir itu berasal dari fakta bahwa beberapa situs web berskala besar memang memiliki artikel dan posting blog di mana mereka berbicara tentang anggaran perayapan.

Ini sedang dibahas dalam kursus pelatihan SEO. Sejauh yang saya lihat, itu sedang dibahas di konferensi.

Tapi itu masalah yang jarang terjadi. Sepertinya itu bukan hal yang diderita setiap situs web, namun, orang-orang sangat gugup karenanya.”

Bagaimana Google Menentukan Apa yang Akan Diindeks

Berikutnya adalah diskusi tentang faktor-faktor yang menyebabkan Google mengindeks konten.

Yang menarik adalah ketika Gary berbicara tentang keinginan untuk mengindeks konten yang mungkin dicari.

Gary Illy:

“…Karena seperti yang kami katakan, kami tidak memiliki ruang tak terbatas, jadi kami ingin mengindeks hal-hal yang kami pikir– yah, bukan kami– tetapi algoritme kami menentukan bahwa itu mungkin dicari di beberapa titik, dan jika tidak memiliki sinyal, misalnya, tentang situs tertentu atau URL tertentu atau apa pun, lalu bagaimana kita tahu bahwa kita perlu merayapi itu untuk pengindeksan?”

Gary penulis teknologi Pusat Pencarian Google, Lizzi Sassman (@okaylizzi), selanjutnya berbicara tentang menyimpulkan dari sisa situs apakah layak atau tidak untuk mengindeks konten baru.

“Dan beberapa hal yang dapat Anda simpulkan– misalnya, jika Anda meluncurkan blog baru di situs utama Anda, misalnya, dan Anda memiliki subdirektori blog baru, misalnya, maka kami dapat menyimpulkan, berdasarkan keseluruhan situs, apakah kita ingin banyak crawl dari blog itu atau tidak.

Lizzi Sassman: Tapi blog adalah jenis konten baru yang mungkin lebih sering diperbarui, jadi bagaimana kita bisa tahu kalau itu…? Ini baru. Kami tidak yakin apakah itu akan menjadi berita, seperti bagaimana
sering itu masih harus ditentukan.

Gary Illyes: Tapi kami butuh sinyal starter.

Lizzi Sassman: Dan sinyal starternya adalah…

Gary Illyes: Simpulkan dari situs utama.”

Gary kemudian berputar untuk berbicara tentang sinyal kualitas. Sinyal kualitas yang mereka bicarakan adalah apakah sinyal yang terkait dengan minat pengguna, seperti, apakah orang tertarik dengan produk ini? Apakah orang tertarik dengan situs ini?

Dia menjelaskan:

“Tapi itu bukan hanya frekuensi pembaruan. Ini juga merupakan sinyal kualitas yang dimiliki situs utama.

Jadi, misalnya, jika kita melihat bahwa pola tertentu sangat populer di Internet, seperti produk slash sangat populer di Internet, dan orang-orang di Reddit membicarakannya, situs lain menautkan ke URL dalam pola itu, lalu itu adalah sinyal bagi kami bahwa orang-orang menyukai situs ini secara umum.”

Gary terus berbicara tentang sinyal popularitas dan minat tetapi dalam konteks percakapan, yang merupakan bagian baru dari sebuah situs yang telah diluncurkan.

Dalam diskusi dia menyebut bagian baru sebagai Direktori.

Illy:

“Sementara jika Anda memiliki sesuatu yang tidak ditautkan orang, dan kemudian Anda mencoba meluncurkan direktori baru, itu seperti, yah, orang tidak menyukai situs tersebut, lalu mengapa kami merayapi direktori baru yang baru saja Anda luncurkan ini?

Dan akhirnya, jika orang mulai menautkannya–“

Anggaran Perayapan dan Situs yang Diindeks

Untuk rekap beberapa dari apa yang telah dibahas:

  • Google tidak memiliki kapasitas tak terbatas dan tidak dapat mengindeks semua yang ada di web.
  • Karena Google tidak dapat mengindeks semuanya, penting untuk selektif dengan mengindeks hanya konten yang penting.
  • Topik konten yang penting cenderung dibahas
  • Situs-situs yang penting, yang cenderung bermanfaat, cenderung didiskusikan dan dikaitkan dengan

Jelas, itu bukan daftar lengkap dari segala sesuatu yang memengaruhi apa yang diindeks. Juga tidak dimaksudkan untuk menjadi daftar periksa SEO.

Itu hanya gagasan tentang hal-hal yang begitu penting sehingga Gary Illyes dan Martin Splitt membahasnya.


Gambar unggulan oleh Shutterstock/Trismegist san

Kutipan

Dengarkan podcastnya di sini:

Share

Leave a Reply

Your email address will not be published. Required fields are marked *