CARA AGAR WEBSITE TAK DIJAUHI ROBOT SEARCH ENGINE

Jika Anda memiliki situs atau blog, tentunya Anda ingin blog atau situs Anda menjadi to searches di search engine, atau setidaknya sudah dikenal oleh search engine. Tahukah Anda kesalahan apa saja yang membuat website atau blog Anda dijauhi robot search engine?

1. Tidak Memakai file “robot.txt”, rusak, atau berisi parameter yang salah
File robot.txt berfungsi untuk memberitahukan “Search Engine Spider” dimana harus bekerja. Jika search engine crawler datang di web Anda, maka dia akan mencari file “robots.txt” dan memberitahukan search engine spider bahwa halaman web tersebut harus di-index atau diabaikan. Dengan tidak adanya file ini kemungkinan besar situs Anda tidak diindex oleh search engine secara keseluruhan. Selain itu, jika robot Google salah membaca isi “robots.txt” Anda, maka Google akan mengabaikan halaman web Anda. Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/. Atau dengan melihat contoh berikut ini :
User-agent: *
Disallow: /preview/
Disallow: /_private/
Disallow: /cartconfig/
Disallow: /PDGTemplates/
Disallow: /flash/
Disallow: /kibo/
User-agent: atSpider
Disallow: /
User-agent: cherrypicker
Disallow: /
User-agent: DSurf
Disallow: /
User-agent: EliteSys Entry
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: Mail Sweeper
Disallow: /
User-agent: munky
Disallow: /
User-agent: Roverbot
Disallow: /
User-agent: WebEmailExtrac
Disallow: /

2. Halaman web mempunyai code terlalu panjang
Jika halaman web Anda berisikan code Javascript, CSS, HTML dan lainnya yang terlalu banyak dan panjang, maka akan membuat web Anda susah atau lambat diakses. Jika itu terjadi maka robot search engine akan kesulitan untuk mengurai isi web Anda.

3. Memiliki title tag yg buruk
Kebanyakan situs mempergunakan title tag yang panjang, namun lebih baik lebih baik menempatkannya setelah keyword phrase. Keyword phrase harus ditempatkan dengan benar di text body web Anda, jika ingin diranking oleh Google untuk keyword-keyword yang diharapkan pada halaman web. Jangan menggunakan keyword yang kurang atau salah.

4. Navigasi situs yang buruk
Jika anda membuat menu yang menggunakan Javascript, DHTML atau AJAX, maka menu tersebut tidak bisa diindex oleh robot search engine, karena karena robot search engine hanya bisa meng-index link yang menggunakan HTML. Pengunjung situs akan cepat pergi jika mereka tidak menemukan hal yg menarik di situs Anda. Jadi gunakan sitemap untuk mempermudah pengunjung menemukan apa yg mereka cari atau menemukan hal yang menarik di situs Anda.

5. Tidak memanfatkan Meta Data
Meta data membantu situs Anda dalam menentukan relevansi halaman web. Meskipun meta data tidak memberikan efek yg begitu besar bagi situs Anda, tapi tidak ada ruginya jika Anda menggunakannya.

6. Flash
Sebagian besar orang menggunakan flash dalam design web mereka agar tampak menarik, namun mereka tidak mengetahui bahwa content flash sulit dibaca oleh search engine.

7. Directory List
Submit situs kalian ke directory list, khususnya Dmoz. Meskipun Dmoz adalah open directory project yg dikelola oleh sukarelawan, tapi perlu diketahui bahwa Google directory mengacu pada Dmoz directory. Selain itu, Alexa, Yahoo, AOL, Lycos, Teoma, AskJeevess Netscape, Hotbot dan search engine lainnya juga mengacu ke Dmoz directory. Jadi Dmoz adalah salah satu incoming link yang penting bagi Anda.

8. Tidak ada Backlink
Search engine menggunakan situs yang melink ke suatu situs (backlink) sebagai “vote of importance and relevancy”. Usahakan mendapat link yg bagus dan sesuai dengan topik situs kalian. Salah satu cara untuk mendapatkan incoming link secara alami adalah dengan menyajikan content yg menarik,unik, dan dengan penulisan yang tepat.

9. Menggunakan Paid Link
Bukannya dilarang jika Anda ingin membeli link, hanya saja kebanyakan Paidlink tersebut justru akan menurunkan page rank situs Anda. Anda bisa mencari link yang relevan. Hati-hati dalam menempatkan link di situs Anda, dan pastikan link tersebut relevan dan berkualitas.

10. Melanggar ToS (Terms of Service) Search Engine
Search Engine mempunyai peraturan dan ketentuan jadi Anda harus mematuhinya.

11. URL website yang terlalu banyak variable
Jika url anda terlalu banyak variable, maka Google akan mengabaikan halaman web Anda. Contoh URL yang terlalu banyak variable :
http://domain.com/page.php?page=1&id=2&mi rror=3&direct=index.html
Pernyataan resmi dari search engine Google, bahwa Google secara dinamis akan men-generate webpage, termasuk .asp page, .php page dan tanda tanya di URL website. Dengan adanya variable URL yang banyak, maka dapat menyebabkan masalah untuk crawler dan mungkin akan diabaikan.

12. Menggunakan session ID di Web
Search engine Gogle tidak mau meng-index suatu URL yang berisikan session ID karena menyebabkan duplicate content. Penggunaan cookies lebih baik dari pada menggunakan session ID.