Semalt: Blokir Akses ke Konten Situs Anda Dengan Meta Tag Dan File Robots.txt

Jason Adler, Manajer Sukses Pelanggan Semalt , mengatakan bahwa mungkin untuk mengontrol apa yang dibagikan dengan Bing, Yahoo, dan Google ketika Anda menyimpan data dengan aman dan tidak membagikannya di internet. Data yang perlu Anda rahasiakan termasuk informasi kontak, ID PayPal, detail kartu kredit, nama pengguna, dan kata sandi. Anda harus memblokir jenis informasi ini agar tidak diindeks di Google dan mesin pencari lainnya. Ketika tiba saatnya untuk memblokir URL situs Anda, Anda dapat menghentikan Google dan mesin pencari lain dari merayapi halaman atau artikel tertentu. Itu berarti ketika orang pergi melalui hasil pencarian, mereka tidak akan melihat dan menavigasi ke URL yang telah diblokir. Selain itu, mereka tidak akan dapat mengakses kontennya, dan Anda dapat menghentikan banyak artikel agar tidak terlihat di hasil pencarian Google. Berikut cara memblokir akses ke konten situs web Anda:

Blokir pengindeksan pencarian dengan tag meta: Anda dapat dengan mudah memblokir halaman agar tidak muncul di mesin pencari ketika Anda menggunakan tag meta non-indeks pada kode HTML situs Anda. Googlebot merayapi halaman yang tidak memiliki meta tag ini dan akan menjatuhkan halaman spesifik Anda dari hasil pencariannya. Biarkan kami di sini memberi tahu Anda bahwa tag meta ini hanya akan berfungsi bila file robots.txt Anda belum diubah.

Blokir URL dengan file robots.txt: File Robots.txt terletak di root situs web Anda dan menunjukkan bagian situs web Anda yang tidak ingin diindeks oleh crawler mesin pencari dan spider. Itu menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan serangkaian perintah yang menunjukkan di mana dan bagaimana crawler web akan mengakses situs Anda. Robots.txt juga membantu mencegah gambar muncul di hasil pencarian tetapi tidak melarang pengguna menautkan situs Anda ke halaman mereka sendiri. Anda harus mengingat batasan dan batasan file robots.txt sebelum Anda mengeditnya. Beberapa mekanisme memastikan bahwa URL diblokir dengan benar. Instruksi robots.txt adalah arahan, yang berarti mereka tidak dapat menegakkan perilaku crawler web. Semua perayap menafsirkan sintaks dengan caranya sendiri, dan file robots.txt tidak dapat mencegah referensi ke tautan Anda dari situs web lain. Google baik untuk mengikuti arahan file robots.txt, tetapi mesin pencari mungkin tidak dapat mengindeks situs web yang diblokir karena kebijakannya.

Menyisih dari Google Lokal dan Properti Google: Anda dapat memblokir konten Anda agar tidak ditampilkan di berbagai properti Google setelah diindeks. Ini termasuk Google Local, Google Flights, Google Shopping, dan Google Hotels. Saat Anda memilih untuk tidak ditampilkan di semua outlet ini, konten Anda yang dirayapi tidak akan terdaftar atau diperbarui. Setiap artikel yang ditampilkan pada platform ini akan dihapus dalam 30 hari setelah memilih keluar.

Kesimpulan:

Sangat penting untuk menyembunyikan konten yang kurang bernilai dan berguna dari pengunjung Anda. Jika situs web Anda memiliki topik serupa di banyak tempat, itu dapat meninggalkan kesan negatif pada mesin pencari dan pengunjung Anda. Itu sebabnya Anda harus menyembunyikan semua halaman itu dan jangan biarkan mesin pencari mengindeksnya. Singkirkan konten dari pihak ketiga. Anda harus menyingkirkan konten pihak ketiga yang tidak bernilai bagi situs Anda dengan biaya berapa pun. Jangan biarkan Google melihat bahwa Anda membagikan konten pihak ketiga karena mesin pencari akan melihat nilai lebih rendah di situs Anda dalam hal ini. Ketika Anda telah menyalin konten dari sejumlah besar situs, Google dapat menghukum Anda, dan Anda dapat memblokir artikel duplikat untuk meningkatkan peringkat Google Anda.