Googlebot: Pengertian, Cara Kerja, Setting, dan Relevansinya dengan SEO
Pengertian Googlebot
Googlebot adalah nama web crawler Google untuk jenis crawler desktop yang menyimulasikan pengguna di desktop, dan crawler seluler yang menyimulasikan pengguna di perangkat seluler. Googlebot sering disebut juga dengan istilah spider. Googlebot digunakan Google untuk mengumpulkan berbagai halaman yang ada di mesin pencari guna mengumpulkan informasi, mengelompokkannya, untuk kemudian digunakan sebagai dasar dalam menentukan indeks Google. Hal ini dibutuhkan agar situs bisa dengan mudah ditemukan oleh search engine.
Baca Juga: Indexing: Pengertian, Fungsi, Cara Kerja, Penerapan, dan Tipsnya
Cara Kerja Googlebot
Berikut beberapa langkah atau proses kerja Googlebot di antaranya,
1. Robot Google mengunjungi sebuah website serta seluruh link, baik internal backlink maupun eksternal backlink, yang ada di dalamnya. Keberadaan backlink dofollow penting dalam hal ini, banyak manfaat backlink yang bisa didapatkan sebuah website, terutama website bisnis.
2. Apabila website Anda merupakan website yang baru dibangun dan belum terdapat link lain di dalamnya, Anda dapat memasukkan URL dari situs Anda ke dalam Google Search Console, yang memancing robot Google untuk mendatangi situs Anda.
3. Googlebot akan mencatat link yang ditemukan kemudian memasukkannya ke dalam database Google untuk diindeks (request indexing). Tentunya link yang dapat diindeks hanya link dari halaman yang bersifat publik. Sebab web crawler tidak mencatat halaman yang tidak bisa diakses karena private.
4. Informasi yang disimpan Googlebot adalah berupa tulisan serta meta tag.
5. Selanjutnya, informasi tersebut akan disimpan ke dalam indeks mesin pencarian, agar dapat muncul ketika user melakukan pencarian pada keyword serupa.
Baca Juga: BOT: Pengertian, Sejarah, Jenis, Manfaat, dan Contohnya
Setting Googlebot
Pada dasarnya, Googlebot merayap melalui HTTP/1.1. Namun sejak bulan November 2020 setting Googlebot dapat mengunjungi situs yang support ke HTTP/2. Proses ini tidak berpengaruh pada indeks maupun penentuan peringkat situs, tetapi mampu menghemat resource komputasi pada Googlebot dan juga situs.
Baca Juga: Google Ranking: Pengertian, Faktor Utama, dan Tools Cek Peringkat Website di Google
Terdapat beberapa opsi yang bisa dilakukan jika Anda tidak ingin Googlebot merayapi situs Anda. Namun, pastikan Anda sudah paham benar perbedaan mencegah Googlebot merayapi halaman, mencegah proses pengindeksan halaman, serta menutup akses sama sekali baik oleh crawler maupun pengguna.
Sementara untuk memverifikasi bahwa yang mengakses server benar-benar Googlebot dan bukan spammer, Anda bisa melakukan beberapa langkah berikut di antaranya,
1. Gunakan pencarian DNS pada alamat IP akses dari log Anda dengan bantuan perintah host.
2. Pastikan nama domain google.com atau googlebot.com.
3. Gunakan pencarian DNS pada nama domain yang diambil dari langkah pertama melalui perintah host. Verifikasi alamatnya sama dengan alamat IP asli dari log Anda
Jika ingin mengoptimalkan situs web saat di-crawl, pastikan konten Anda mudah dilihat di browser teks. Selain itu, gunakan halaman kanonis sehingga membantu Googlebot memperoleh halaman duplikat yang tepat. Arahkan Googlebot melalui situs Anda dengan memanfaatkan meta tag, meta description, maupun robots.txt.
Pastikan juga isi konten Anda relevan, berisi artikel yang SEO friendly, serta terdapat tautan internal. Pastikan pula website Anda memiliki peta situs. Dengan begitu, kemungkinan situs Anda diindeks akan lebih sering dan juga cepat.
Baca Juga: Pengertian Stemap XML dan Sitemap HTML
Relevansi Googlebot dengan SEO
Sebagai pemilik website, Anda dianjurkan untuk memberikan URL baru ke crawler (seeding) yaitu menyediakan bot alamat sebagai URL awal. Karena bot akan menemukan konten dan tautan tambahan di situs web lain melalui tautan, tautan HREF pada sumber daya tertentu dapat memastikan bahwa bot akan menerima URL baru.
Anda cukup mengirim ping ke WWW. Cepat atau lambat, Googlebot akan menemukan alamat yang diunggulkan. Selain itu, disarankan untuk memberikan peta situs ke bot. Ini memberikan informasi penting tentang struktur situs web dan pada saat yang sama ia akan mengetahui URL mana yang dapat diikuti selanjutnya.
Karena Googlebot dapat membaca berbagai jenis konten, bukan hanya teks atau gambar, Anda harus mengawasi perkembangannya. Google telah bekerja selama beberapa tahun dalam membaca konten Flash, halaman Web dinamis, kode JavaScript dan Ajax dan sudah sebagian berhasil di bidang ini.
Metode tertentu seperti GET atau POST sudah dapat diidentifikasi oleh Googlebot dan bagian-bagian dari konten Flash juga dapat dibaca.
Dari berbagai sumber
Post a Comment