Berapa Lama Sebelum Google Mengindeks Halaman Baru Saya (dan Mengapa Itu Tergantung)

Berapa Lama Sebelum Google Mengindeks Halaman Baru Saya (dan Mengapa Itu Tergantung)

Tidak sabar menunggu konten baru Anda diindeks?

Pelajari mengapa sangat sulit untuk memperkirakan berapa lama waktu yang diperlukan untuk pengindeksan dan apa yang dapat Anda lakukan untuk mempercepatnya.

Pengindeksan adalah proses mengunduh informasi dari situs web Anda, mengkategorikannya, dan menyimpannya dalam database. Basis data ini – indeks Google – adalah sumber dari semua informasi yang dapat Anda temukan melalui Google Penelusuran.

Halaman yang tidak disertakan dalam indeks tidak dapat muncul di hasil penelusuran, tidak peduli seberapa cocoknya dengan kueri tertentu.

Mari kita asumsikan Anda baru saja menambahkan halaman baru ke blog Anda. Dalam posting baru Anda, Anda membahas topik yang sedang tren, berharap itu akan memberi Anda banyak lalu lintas baru.

Tetapi sebelum Anda dapat melihat bagaimana kinerja halaman tersebut di Google Penelusuran, Anda harus menunggu hingga halaman tersebut diindeks.

Jadi, berapa lama sebenarnya proses ini berlangsung? Dan kapan Anda harus mulai khawatir bahwa kurangnya pengindeksan mungkin menandakan masalah teknis di situs Anda?

Mari kita selidiki!

Berapa Lama Waktu Pengindeksan? Tebakan Terbaik Para Ahli

Indeks Google berisi: ratusan miliar halaman web dan memakan lebih dari 100 juta gigabyte memori.

Selain itu, Google tidak membatasi berapa banyak halaman di situs web yang dapat diindeks. Sementara beberapa halaman mungkin memiliki prioritas dalam antrian pengindeksan, halaman umumnya tidak harus bersaing untuk pengindeksan.

Seharusnya masih ada ruang untuk satu halaman kecil lagi di database kolosal ini, bukan? Tidak perlu khawatir tentang entri blog Anda? Sayangnya, Anda mungkin harus melakukannya.

Google mengakui bahwa tidak setiap halaman yang diproses oleh perayapnya akan diindeks.

Pada Januari 2021, Pengacara Penelusuran Google, John Mueller, menguraikan topik tersebut, mengungkapkan bahwa cukup normal bahwa Google tidak mengindeks semua halaman situs web besar.

Ia menjelaskan bahwa tantangan bagi Google adalah mencoba menyeimbangkan keinginan untuk mengindeks konten sebanyak mungkin dengan memperkirakan apakah akan bermanfaat bagi pengguna mesin pencari.

Oleh karena itu, dalam banyak kasus, tidak mengindeks suatu konten tertentu adalah pilihan strategis Google.

Google tidak ingin indeksnya menyertakan halaman berkualitas rendah, konten duplikat, atau halaman yang tidak mungkin dicari oleh pengguna. Cara terbaik untuk menjauhkan spam dari hasil pencarian adalah dengan tidak mengindeksnya.

Tapi selama Anda menjaga posting blog Anda berharga dan berguna, mereka tetap diindeks, bukan?

Jawabannya rumit.

Tomek Rudzki, pakar pengindeksan di Onely – perusahaan tempat saya bekerja – menghitung rata-rata, 16% halaman berharga dan dapat diindeks di situs web populer tidak pernah diindeks.

Apakah Ada Jaminan Bahwa Halaman Anda Akan Diindeks?

Seperti yang mungkin sudah Anda tebak dari judul artikel ini, tidak ada jawaban pasti untuk pertanyaan pengindeksan ini.

Anda tidak akan dapat mengatur sendiri pengingat kalender pada hari posting blog Anda akan diindeks.

Tetapi banyak orang telah menanyakan pertanyaan yang sama sebelumnya, mendesak Googler dan ahli SEO berpengalaman untuk memberikan beberapa petunjuk.

John Mueller mengatakan itu bisa memakan waktu mulai dari beberapa jam hingga beberapa minggu untuk halaman yang akan diindeks. Dia menduga bahwa sebagian besar konten bagus diambil dan diindeks dalam waktu sekitar satu minggu.

Penelitian yang dilakukan oleh Rudzki menunjukkan bahwa rata-rata 83% halaman diindeks dalam minggu pertama publikasi.

Beberapa halaman harus menunggu hingga delapan minggu untuk diindeks. Tentu saja, ini hanya berlaku untuk halaman yang akhirnya diindeks.

Permintaan Perayapan Dan Anggaran Perayapan

Agar halaman baru di blog Anda dapat ditemukan dan diindeks, Googlebot harus merayapi ulang blog tersebut.

Seberapa sering Googlebot merayapi ulang situs web Anda tentu berdampak pada seberapa cepat halaman baru Anda akan diindeks, dan itu tergantung pada sifat konten dan frekuensi pembaruannya.

Situs web berita yang menerbitkan konten baru sangat sering harus sering dirayapi ulang. Kami dapat mengatakan bahwa mereka adalah situs dengan permintaan perayapan tinggi.

Contoh situs permintaan perayapan rendah adalah situs tentang sejarah pandai besi, karena kontennya tidak mungkin sering diperbarui.

Google secara otomatis menentukan apakah situs memiliki permintaan perayapan rendah atau tinggi. Selama perayapan awal, ia memeriksa tentang apa situs web itu dan kapan terakhir diperbarui.

Keputusan untuk merayapi situs kurang lebih sering tidak ada hubungannya dengan kualitas konten – faktor penentunya adalah perkiraan frekuensi pembaruan.

Faktor penting kedua adalah tingkat perayapan. Ini adalah jumlah permintaan yang dapat dibuat Googlebot tanpa membebani server Anda.

Jika Anda meng-host blog Anda di server bandwidth rendah dan Googlebot memperhatikan bahwa server melambat, itu akan menyesuaikan dan mengurangi tingkat perayapan.

Di sisi lain, jika situs merespons dengan cepat, batasnya naik, dan Googlebot dapat merayapi lebih banyak URL.

Apa yang Perlu Terjadi Sebelum Halaman Anda Diindeks?

Karena pengindeksan membutuhkan waktu, orang juga dapat bertanya-tanya – bagaimana tepatnya waktu itu dihabiskan?

Bagaimana informasi dari situs web Anda dikategorikan dan dimasukkan dalam indeks Google?

Mari kita bahas peristiwa yang harus terjadi sebelum pengindeksan.

Penemuan Konten

Mari kembali ke contoh di mana Anda memposting entri blog baru. Googlebot perlu menemukan URL laman ini pada langkah pertama jalur pengindeksan.

Itu bisa terjadi dengan:

  • Mengikuti tautan internal Anda berikan di halaman lain blog Anda.
  • Mengikuti tautan eksternal dibuat oleh orang-orang yang menganggap konten baru Anda bermanfaat.
  • Melalui peta situs XML yang Anda unggah ke Google Search Console.

Fakta bahwa halaman telah ditemukan berarti bahwa Google tahu tentang keberadaan dan URL-nya.

Merangkak

Perayapan adalah proses mengunjungi URL dan mengambil konten halaman.

Saat merangkak, Googlebot mengumpulkan informasi tentang topik utama halaman tertentu, file apa yang ada di halaman ini, kata kunci apa yang muncul di dalamnya, dll.

Setelah menemukan tautan di halaman, perayap mengikutinya ke halaman berikutnya, dan siklus berlanjut.

Penting untuk diingat bahwa Googlebot mengikuti aturan yang dibuat oleh robots.txt sehingga tidak akan merayapi laman yang diblokir oleh arahan yang Anda berikan dalam file tersebut.

Rendering

rendering di GSCTangkapan layar dari Google Search Console, September 2022

Render harus terjadi agar Googlebot memahami konten JavaScript dan file gambar, audio, dan video.

Jenis file ini selalu merupakan perjuangan yang lebih besar bagi Google daripada HTML.

Advokat pengembang Google, Martin Splitt, membandingkan rendering dengan memasak hidangan.

Dalam metafora ini, file HTML awal situs web dengan tautan ke konten lain adalah resep. Anda dapat menekan F12 pada keyboard Anda untuk melihatnya di browser Anda.

Semua sumber daya situs web, seperti CSS, file JavaScript, gambar, dan video, adalah bahan yang diperlukan untuk memberikan tampilan akhir situs web.

Saat situs web mencapai status ini, Anda berurusan dengan HTML yang dirender, lebih sering disebut Model Objek Dokumen.

Martin juga mengatakan bahwa mengeksekusi JavaScript adalah tahap rendering pertama karena JavaScript bekerja seperti resep di dalam resep.

Di masa lalu yang tidak terlalu lama, Googlebot digunakan untuk mengindeks versi HTML awal halaman dan membiarkan rendering JavaScript terlambat karena biaya dan sifat proses yang memakan waktu.

Industri SEO menyebut fenomena itu sebagai “dua gelombang pengindeksan.”

Namun, kini tampaknya kedua gelombang itu sudah tidak diperlukan lagi.

Mueller dan Splitt mengakui bahwa, saat ini, hampir setiap situs web baru melewati tahap rendering secara default.

Salah satu tujuan Google adalah membuat crawling, rendering, dan pengindeksan terjadi lebih dekat.

Bisakah Halaman Anda Diindeks Lebih Cepat?

Anda tidak dapat memaksa Google untuk mengindeks halaman baru Anda.

Seberapa cepat ini terjadi juga di luar kendali Anda. Namun, Anda dapat mengoptimalkan halaman Anda sehingga pencarian dan perayapan berjalan semulus mungkin.

Inilah yang perlu Anda lakukan:

Pastikan Halaman Anda Dapat Diindeks

Ada dua aturan penting yang harus diikuti agar halaman Anda dapat diindeks:

  • Anda harus menghindari pemblokiran mereka oleh robots.txt atau direktif noindex.
  • Anda harus menandai versi kanonik dari konten tertentu dengan tag kanonik.

Robots.txt adalah file yang berisi instruksi untuk robot mengunjungi situs Anda.

Anda dapat menggunakannya untuk menentukan perayap mana yang tidak boleh mengunjungi halaman atau folder tertentu. Yang harus Anda lakukan adalah menggunakan disallow directive.

Misalnya, jika Anda tidak ingin robot mengunjungi halaman dan file dalam folder berjudul “contoh”, file robots.txt Anda harus berisi arahan berikut:

User-agent: *

Disallow: /example/

Terkadang, Googlebot tidak dapat mengindeks halaman berharga secara tidak sengaja.

Jika Anda khawatir bahwa halaman Anda tidak diindeks karena masalah teknis, Anda harus melihat robots.txt Anda.

Googlebot sopan dan tidak akan meneruskan halaman apa pun yang diperintahkan untuk tidak ke jalur pengindeksan. Cara untuk mengekspresikan perintah seperti itu adalah dengan meletakkan direktif noindex di:

Pastikan arahan ini tidak muncul pada halaman yang harus diindeks.

Seperti yang telah kita bahas, Google ingin menghindari pengindeksan konten duplikat. Jika menemukan dua halaman yang terlihat seperti salinan satu sama lain, kemungkinan hanya akan mengindeks salah satunya.

Tag kanonik dibuat untuk menghindari kesalahpahaman dan langsung mengarahkan Googlebot ke URL yang dianggap pemilik situs sebagai versi asli halaman.

Ingat bahwa kode sumber halaman yang ingin Anda tampilkan di indeks Google tidak boleh mengarah ke halaman lain sebagai kanonik.

Kirim Peta Situs

Sebuah peta situs mencantumkan setiap URL situs web Anda yang ingin Anda indeks (hingga 50.000).

Anda dapat mengirimkannya ke Google Search Console untuk membantu Google menemukan peta situs lebih cepat.

Dengan peta situs, Anda mempermudah Googlebot untuk menemukan halaman Anda dan meningkatkan peluangnya untuk merayapi halaman yang tidak ditemukan saat mengikuti tautan internal.

Ini adalah praktik yang baik untuk mereferensikan peta situs di file robots.txt Anda.

Minta Google Untuk Merayapi Ulang Halaman Anda

Periksa alat GSCTangkapan layar dari Google Search Console, September 2022

Anda dapat meminta perayapan URL individual menggunakan Alat Inspeksi URL tersedia di Google Search Console.

Itu masih tidak menjamin pengindeksan, dan Anda perlu kesabaran, tetapi ini adalah cara lain untuk memastikan Google tahu bahwa halaman Anda ada.

Jika Relevan, Gunakan API Pengindeksan Google

Indexing API adalah alat yang memungkinkan Anda memberi tahu Google tentang halaman yang baru ditambahkan.

Berkat alat ini, Google dapat menjadwalkan pengindeksan konten sensitif waktu dengan lebih efisien.

Sayangnya, Anda tidak dapat menggunakannya untuk posting blog Anda karena, saat ini, alat ini hanya ditujukan untuk halaman dengan tawaran pekerjaan dan video langsung.

Sementara beberapa ahli SEO menggunakan Indexing API untuk jenis halaman lain – dan mungkin berhasil dalam jangka pendek – masih diragukan untuk tetap menjadi solusi yang layak dalam jangka panjang.

Cegah Kelebihan Server Di Situs Anda

Terakhir, ingatlah untuk memastikan bandwidth server Anda baik sehingga Googlebot tidak mengurangi kecepatan perayapan untuk situs web Anda.

Hindari menggunakan penyedia hosting bersama, dan ingatlah untuk secara teratur menguji server Anda untuk memastikannya dapat menangani pekerjaan itu.

Ringkasan

Tidak mungkin untuk secara tepat memprediksi berapa lama waktu yang dibutuhkan halaman Anda untuk diindeks (atau apakah itu akan terjadi) karena Google tidak mengindeks semua konten yang diprosesnya.

Biasanya pengindeksan terjadi beberapa jam hingga minggu setelah publikasi.

Hambatan terbesar untuk diindeks adalah segera dirayapi.

Jika konten Anda memenuhi ambang batas kualitas dan tidak ada kendala teknis untuk pengindeksan, Anda harus melihat terutama bagaimana Googlebot merayapi situs Anda untuk mendapatkan konten baru yang diindeks dengan cepat.

Sebelum laman dialihkan ke saluran pengindeksan, Googlebot merayapinya dan, dalam banyak kasus, merender gambar, video, dan elemen JavaScript yang disematkan.

Situs web yang lebih sering berubah dan, oleh karena itu, memiliki permintaan perayapan yang lebih tinggi akan dirayapi ulang lebih sering.

Saat Googlebot mengunjungi situs web Anda, itu akan mencocokkan tingkat perayapan berdasarkan jumlah kueri yang dapat dikirim ke server Anda tanpa membebaninya.

Oleh karena itu, ada baiknya menjaga bandwidth server yang baik.

Jangan blokir Googlebot di robots.txt karena tidak akan merayapi halaman Anda.

Ingat bahwa Google juga menghormati tag meta robots noindex dan umumnya hanya mengindeks versi kanonik dari URL.

Lebih banyak sumber daya:


Gambar Pilihan: Kristo-Gothard Hunor/Shutterstock

Share

Leave a Reply

Your email address will not be published. Required fields are marked *