Seberapa besar internet ? per November 2008 tercatat : 73,6 juta website yang aktif. Dan ada 184 juta nama domain yang telah dibeli namun tidak seluruhnya aktif, ada sekitar 110 juta nama domain yang tidak aktif (parked atau for sale) !
Jika anda ingin membuat search engine, dan anda menggunakan lynx crawler, anggaplah halaman pertama suatu situs anda crawl selama 5 detik, maka membutuhkan kira-kira 74 jt*5 detik = 12 tahun untuk selesai mengindeksnya.
Jadi semisal Google membutuhkan 14 hari untuk merefresh indeksnya, maka Google membutuhkan 312 komputer bekerja simultan selama 24 jam setiap hari untuk menyelesaikan proses indeks sekali putaran. (Ternyata nggak banyak ya, kami mengira ratusan ribu komputer).
Tentunya kondisi real tidak sesederhana gambaran di atas. Tapi sebagai permulaan, anda bisa memperkirakan, bisnis Google yang mengindeks seluruh internet tidak akan pernah selesai karena halaman baru terus ditambahkan, jenis data non teks juga terus ditambahkan.
0 Beri Komen Klik Sini:
Post a Comment
Woy.. Jgn spamming ea..