Doorway pages adalah halaman halaman web yang dirancang agar spider dari suatu situs pencari mau melakukan indexing terhadap suatu situs atau sebaliknya mencegah spider untuk indexing halaman yang tidak ditujukan untuknya. Manfaat membuat doorway pages ini agar URL situs web kita mendapatkan urutan atas di situs pencari tertentu untuk keyword atau frase tertentu.
Untuk membuat doorway pages ini kita harus membuat file robot.txt kita bisa menggunakan program penyunting teks misalnya Notepad dan jangan menggunakan word procesor untuk membuat file robot.txt ini. Berikut ini adalah dasar sintaks dasar dari file robot.txt :
User-Agent : [nama spider]
Disallow : [nama file]
Untuk melihat daftar spider milik situs pencari dapat anda lihat di http://www.jasoft.com/searchengines/webbots.html.
Misalnya anda punya 3 file dan hanya 1 file saja yang anda ijinkan untuk diindex oleh spider dari google yaitu googlebot misalnya bilahtampan1.html, bilahtampan2.html, bilahtampan3.html dan yang anda ijinkan untuk diindex adalah file bilahtampan1.html maka anda dapat menuliskannya demikian :
User-Agent : Googlebot
Disallow : / bilahtampan2.html
Disallow : / bilahtampan3.html
Dan jika kita punya file lagi misalnya bilahtampan4.html dan kita tidak mengijinkan semua spider mengindeksnya maka kita dapat menggunakan karakter widcard *di baris user-agent seperti ini :
User-Agent : *
Disallow : / bilahtampan4.html
Setelah kita membuat file robot.txt ini kita harus menguploadnya ke root directory dari domain kita. Untuk informasi lebih jelas tentang sintaks dan struktur file robots.txt anda bisa melihatnya di http://infowebcrawler.com/mak/projects/robots/norobots.html.
Untuk membuat doorway pages ini kita harus membuat file robot.txt kita bisa menggunakan program penyunting teks misalnya Notepad dan jangan menggunakan word procesor untuk membuat file robot.txt ini. Berikut ini adalah dasar sintaks dasar dari file robot.txt :
User-Agent : [nama spider]
Disallow : [nama file]
Untuk melihat daftar spider milik situs pencari dapat anda lihat di http://www.jasoft.com/searchengines/webbots.html.
Misalnya anda punya 3 file dan hanya 1 file saja yang anda ijinkan untuk diindex oleh spider dari google yaitu googlebot misalnya bilahtampan1.html, bilahtampan2.html, bilahtampan3.html dan yang anda ijinkan untuk diindex adalah file bilahtampan1.html maka anda dapat menuliskannya demikian :
User-Agent : Googlebot
Disallow : / bilahtampan2.html
Disallow : / bilahtampan3.html
Dan jika kita punya file lagi misalnya bilahtampan4.html dan kita tidak mengijinkan semua spider mengindeksnya maka kita dapat menggunakan karakter widcard *di baris user-agent seperti ini :
User-Agent : *
Disallow : / bilahtampan4.html
Setelah kita membuat file robot.txt ini kita harus menguploadnya ke root directory dari domain kita. Untuk informasi lebih jelas tentang sintaks dan struktur file robots.txt anda bisa melihatnya di http://infowebcrawler.com/mak/projects/robots/norobots.html.
