Analisis Web Dan Alat Pendeteksi nya

Analisis Web

Ass.Wr.Wb :D

Jika sebelumnya kita membahas mengenai Arsitektur Website dan Aplikasinya kali ini kita akan membahas mengenai Analisis Web dan Alat Pendeteksinya. Lebih ke pada program nya kali ini akan kita bahas. Tidak usah banyak basa – basi mari kita mulai saja yuk pembahasan materi nya.

1. ANALISIS PENGUKURAN WEB

• JAWSTATS Jika Anda pernah menggunakan Awstats, Anda pasti tidak akan asing dengan JAWStats juga. JAWStats dipadukan bersama dengan Awstats akan menghasilkan grafis lebih baik dari Awstats.

• GOINGUP! Goingup! satu alat statistik website yang  menawarkan berbagai jenis data statistik, yang menarik secara visual. Sebagian besar dari fungsi goingup! terkait anlisa SEO.

• CLICKY Clicky juga memiliki banyak fitur yang berbeda karena sebagai alat analisis situs web yang dapat diakses dari iPhone.

• GOOGLE ANALYTICS Google Analytics merupakan salah satu alat analisa yang terbaik karena itu benar-benar hasilnya komprehensif, yang akan memberikan data detail yang berguna untuk situs Anda.

• W3COUNTER W3Counter adalah alat analisa gratis sebagai situs solusi analisis host untuk menjawab pertanyaan kunci tentang situs web Anda: siapa audiens Anda, bagaimana mereka menemukan situs Anda, dan apa kepentingan mereka mengakses situs anda.

• WOOPRA Woopra adalah paket website yang sangat baik hasil analisisnya. Woopra memiliki banyak, banyak fitur bagi para webmaster, Woopra, hampir sama dengan Google Analytics, sebagai alat analisis situs yang paling komprehensif.

• W3PERL W3Perl dapat digunakan untuk file log server atau digunakan sebagai alat penandaan halaman.cara kerjanya dengan Script perl untuk menganalisis file log dan menghasilkan laporan HTML / PDF. Hal ini dapat dijalankan dari baris perintah atau dari antarmuka pada web.

• PIWIK Piwik memiliki semua fitur yang dapat Anda harapkan dari aplikasi analisis. Keuntungan utama adalah bahwa fitur-fiturnya datang dalam bentuk plugin, yang berarti Anda dapat memilih fitur yang dapat disesuaikan dengan kebutuhan anda.

A. Tools Analisis Web:

kita perlu analisa website atau blog dengan layanan online untuk memeriksa detail informasi “accessibility” dari website/blog anda. Dibawah ini, ada 8 Tool Analisa Web yang dapat membantu anda untuk analisis website dengan memberikan informasi detail dari segi “accessibility” dan desain. Semua tool online dibawah ini, gratis dan sangat mudah untuk digunakan:

 Color Blindness Simulator

Colour Blindness Simulator, dapat membantu anda untuk memeriksa bagaimana aspek gambar dan pewarnaan (color) dari website/blog. Anda juga dapat dengan cepat upload file gambar (JPEG) dengan resolusi 1000x1000px  dan analisa aspek pewarnaan halaman website anda.

Juicy Studios Image Analyzer

Dengan tool online ini, kita dapat menganalisa masalah setiap gambar yang ada pada halaman website. Tool ini juga, dapat menginformasikan detail informasi width, height, alt, dan longdesc, makanya tool website – Image Analyzer merupakan salah satu tool analisa website terbaik.

 Firefox Accessibility Extension

Jika anda termasuk pengguna web browser Firefox, maka Add-ons Friefox ini sangat penting karena dengan Add-ons ini, anda dapat aktifkan setiap element desain dari halaman website. Anda dapat dengan cepat buat daftar gambar dan element yang lain. Add-ons ini juga disertakan dengan standar validasi “W3C HTML Validator” .

Test and Improve Readability

Tool Online gratis dengan fitur untuk testing dan meningkatkan konten website anda.

LinkPatch

“Broken link”  membuat halaman webstie.blog dan yang lain menjadi tidak dapat diakses, hal ini adalah yang terpenting selain faktor SEO, tapi dengan tool seperti LinkPatch, untuk cek “broken link” dari semua URL yang anda inginkan. Dengan LinkPatch, anda dapat install kode tracking  dalam hitungan detik dengan fitur monitoring.

WAVE

WAVE merupakan tool interaktif yang menunjukkan tingkat kunjungan dari website dengan 3 cara yang berbeda: “Errors, Features, and Alerts”, “Structure/Order”, dan Text-Only”.

AccessColor

Tes AccessColor kontras warna dan “color brightness” antara bagian depan dan belakang dari semua element DOM. AccessColor akan menemukan kombinasi warna yang relevan dengan dokumen HTML dan CSS.

  aDesigner

aDesigner adalah simulator yang membantu desainer untuk memastikan konten dan aplikasinya diakses. aDesigner juga membantu user untuk cek aksesbility dokumen ODF dan Flash.

Analisis dan Komparasi Web Menggunakan Parameter Inbound Link

Pada kali ini saya akan membahas, menganalisa, dan melakukan perbandingan Inbound Link pada ke 2 website melalui parameter Statsie(Website Statistic and Analysis). Sebelum saya membahas, menganalisa, dan melakukan perbandingan. saya akan lebih dahulu menjelaskan tentang “Inbound Link”.

Apa itu “Inbound Link”? Inbound Link adalah Link atau Hyperlink yang akan membawa kita masuk kedalam sebuah Website/Blog tertentu yang berasal dari situs eksternal lainnya. Jika suatu Website/Blog memiliki Inbound Link yang luas, hal itu akan menguntungkan Website/Blog tersebut. Karena akan memperbanyak probabilitas/kemungkinan Informasi, Artikel ataupun Posting  dibaca dan dikunjungi oleh orang lain, serta akan mendongkrak peringkat Website/Blog tersebut pada Pagerank Google. Agar selalu menjadi yang teratas dalam Search Engine Google.

Dari penjelasan diatas, saya akan mencoba untuk menganalisa studi kasus pada Inbound Link. sebagai contoh saya akan menganalisa dan membandingkan sebuah sub website yang terdapat di kampus saya yaitu: ps-mikam.gunadarma.ac.id dan pusatstudi.gunadarma.ac.id.

Ps-Mikam dan PusatStudi adalah sub website Universtas Gunadarma dimana website tersebut merupakan website yang menjadi “wadah” bagi para peneliti di universitas gunadarma untuk memberikan publikasi baik karya dan ciptaannya. Menurut hasil analisis dan perbandingan saya terhadap dua website tersebut, Melalui http://statsie.com(Website Statistic and Analysis) kedua web tersebut masing-masing memiliki Inbound Link yang berasal dari Website ekternal lainnya.

saya akan menampilkan gambar screenshot yang mana menunjukkan masing-masing Inbound Link dari kedua Website tersebut, dari hasil penulusuran yang saya lakukan pada website http://statsie.com,

Kesimpulannya adalah Inbound Link sungguh sangat membantu sebuah website untuk dapat mempromosikan sebuah website/blog. Inbound Link juga menguntungkan untuk mendongkrak peringkat Website/Blog tersebut pada Pagerank Google, Agar selalu menjadi yang teratas dalam Search Engine Google.

            2. SEARCH ENGINE

 A.     Contoh Search Engine dan Perbedaannya:

 1.       Yahoo!(www.yahoo.com)

Salah satu portal terbesar di Internet, selain MSN., dan juga salah satu mesin pencaru tertua. Halaman utamanya sendiri tidak terlalu ramah untuk pencarian, tetapi Yahoo! menyediakan search.yahoo.com untuk itu. Yahoo! menggunakan jasa Google untuk mencari informasi di web, ditambah dengan informasi dari databasenya sendiri. Kelebihan Yahoo! adalah direktorinya. Yahoo! juga menyediakan pencarian yellow pages dan peta, yang masih terbatas pada Amerika Serikat. Yahoo juga menyediakan pencarian gambar.

2.       Alltheweb (http://www.alltheweb.com)

Keunggulan Alltheweb adalah pencarian file pada FTP Server. Tidak seperti web, FTP adalah teknologi internet yang ditujukan untuk menyimpan dan mendistribusikan file, biasanya program, audio atau video. Web sebenarnya lebih ditujukan untuk teks. Sejauh ini, hanya AllTheWeb yang menyediakan jasa pencarian file.

3.       MSN (http://search.msn.com)

Mesin pencari dari Microsoft Network ini menawarkan pencarian baik dengan kata kunci maupun dari direktori. Pemakai InternetExplorer kemungkinan besar sudah pernah menggunakan mesin pencari ini. Situs Searchenginewatch mencatat MSN sebagai mesin pencari ketiga populer setelah Google dan Yahoo! Tak ada pencarian image, atau news. Menyediakan pencarian peta, yellow pages, white pages, pencarian pekerjaan, rumah.

4.       AskJeeves (http://www.ask.com)

Situs mesin pencari yang satu ini mengunggulkan kemampuannya  untuk memahami bahasa manusia. Pengguna bisa menggunakan  kalimat lengkap, bukan kata kunci. Situs ini berguna untuk  mengetahui jawaban dari pertanyaan(misal: when did world war II end?).

5.       Google (www.google.com)

Selain pencarian web, Google juga menyediakan jasa pencarian gambar, pencarian ?berita serta pencarian pada arsip USENET (newsgroup), serta direktori, seperti Yahoo! Kelemahannya terletak pada tidak tersedianya pencarian file, video, dan audio. Keunggulan Google terutama adalah pada pencarian teks, terutama dari algoritma PageRank, database-nya yang besar serta banyaknya jenis file yang diindeksnya.

6.       AltaVista (www.altavista.com)

Satu saat, AltaVista pernah menjadi mesin pencari terbesar. Saat ini, selain Alltheweb, Altavista juga menawarkan pencarian audio dan video. Keunggulan AltaVista adalah pilihan pencarian yang paling lengkap di antara semua mesin pencari.

7.       Lycos (http://www.lycos.com)

Salah satu mesin pencari tertua. Saat ini Lycos lebih dikenal sebagai portal, sehingga fungsi pencarinya tidak terlalu menonjol. Lycos, selain mendukung pencarian web, juga menyediakan pencarian file MP3, dan video pada http://multimedia.lycos.com.

8.       AskSEMAR.com (http://www.AskSEMAR.com)

telah launching sejak januari 2009, sebuah situs search engine baru dengan nama AskSEMAR.com, saat ini kontent yang mereka tampung adalah kontent website-website indonesia.Untuk memasukan website kita pun mudah tanpa perlu mendaftar mirip dengan mbah google, mbah semar ini pun punya tampilan yang sederhana untuk mempermudah pemakaiannya.

9.       detikSearch.com

detiksearch.com, search engine ini asli dimiliki oleh Indonesia. Levelnya masih beta tapi dilengkapi dengan script ajax (javascript). dan karena levelnya yang masih pada level beta, search engine ini hanya berfungsi optimal di Mozilla dan Internet Explorer.

10.   CANGKOK.com

Cangkok mempunyai arti memperbarui, mengganti, serta mengkombinasikan segala sesuatu sehingga menjadi lebih baik dan lebih bermanfaat.Digunakan kata “Cangkok” sesuai dengan komitmen sosial beberapa perusahaan yang tergabung dalam Singo Group Co., yaitu turut aktif mencerdaskan dan meningkatkan kehidupan Bangsa Indonesia. Cangkok berusaha memberikan hasil pencarian yang terbaik di internet, khususnya hasil pencarian dalam Bahasa Indonesia. Cangkok, membuat mesin pencarian terbesar di Indonesia, dengan teknologi pencarian terbarukan menempatkannya pada posisi yang jauh berbeda dengan mesin pencarian yang tersedia saat ini. Dan berusaha terus-menerus dikembangkan, sehingga dapat memberikan hasil pencarian yang benar-benar relevan dengan keinginan pemakai. Saat ini sedang dikembangkan sistem direktori yang nantinya akan dikombinasikan dengan teknologi pencarian cangkok. Sehingga dapat memberikan beberapa alternatif hasil pencarian yang benar-benar sesuai dengan keinginan pemakai. Metode siterank cangkok menempatkan informasi-informasi yang paling relevan akan ditampilkan dahulu. Cangkok menilai pentingnya infomasi pada halaman web, tidak hanya berdasarkan perolehan suara yang diperoleh, juga tidak hanya dari hasil analisis terhadap si pemberi suara (yang ngeklik). Namun juga menganalisis keterkaitan antar kata, antar kalimat, sruktur web, antar halaman web, baik dalam web terkait maupun dengan web lainnya. Sedemikian rupa sehingga informasi yang terkandung dalam web tersebut memperoleh peringkat yang sesuai dengan relevansinya. Sesuai dengan teknologi pencarian cangkok yang otomatis dan kompleks serta metode siterank tersebut, maka pencarian di cangkok adalah pencarian yang obyektif, jujur, dan berkualitas tinggi. Sehingga hasil peringkat suatu web tidak dapat direkayasa oleh manusia. Serta tidak seorang pun dapat membeli peringkat yang lebih tinggi pada hasil pencarian.

11.   nowGoogle.com

nowGoogle.com adalah multiple search engine popular hasil karya anak Indonesia yang baru dan mempunyai kemampuan yang unik.

12.   Basigi

Basigi merupakan mesin pencari dengan tampilan yang masih sangat sederhana. “Pengembang Basigi mendesain Basigi untuk melayani pencarian data yang sesuai dengan kebutuhan pengguna lokal,” begitu admin Basigi menulis dalam situs tersebut.

B.      Cara Kerja Search Engine:

Search engine itu bergantung pada program robot yang sangat rumit biasa disebut algoritma. Robot ini melakukan 4 hal, yaitu menjelajahi internet, mengumpulkan data ke dalam indexnya, menilai penekanan relevansi pada setiap halaman, dan memberikan ranking pada setiap halaman berdasarkan relevansinya dengan suatu kata kunci.

ü  Menjelajahi Internet

Sekarang anggap saja internet itu seperti sebuah sarang laba-laba yang besar. Sarang laba-laba itu terdiri dari banyak simpul yang dihubungkan oleh jaring-jaring tipis. Seekor laba-laba tidak bisa menuju ke suatu titik di dalam sarangnya jika tidak ada jaring yang menghubungkannya dengan titik tersebut.

Demikian juga di dunia internet. Anggap saja blog anda adalah sebuah titik di dalam sarang yang luas. Jika anda ingin robot penjelajah atau spiderbot mengunjungi blog anda, maka yang perlu anda lakukan hanyalah mencari link dari situs yang sudah pernah dilalui spiderbot. Dapatkan link sebanyak-banyaknya, maka semakin cepat situs dan halaman-halaman anda dikunjungi spiderbot.

Saudara bisa mendapatkan link ini dengan cara komentar di blog dofollow, atau bertukar link, dan masih banyak metode lainnya. Jangan tertipu dengan layanan search engine submission, yang mengirimkan URL anda ke mesin-mesin pencari. Ini adalah layanan sampah yang tidak ada gunanya. Selain anda butuh waktu yang lebih lama untuk terindeks, sistem ini juga tidak menambah poin anda di mata robot search engine.

Singkat kata, yang dibutuhkan oleh sebuah blog untuk mendapat kunjungan Robot Search Engine seperti Google hanyalah sebuah link dari website lain.

ü  Membangun Indeks

Setelah spiderbot sampai ke halaman blog anda, maka dia akan membaca semua teks (tulisan) yang ada pada halaman tersebut tersebut lalu menyimpannya ke database search engine. Tempat penyimpanan data ini bisa anda bayangkan sebagai hardisk yang amat sangat besar sekali yang tersebar di beberapa negara.

Halaman yang sudah dibaca, akan dianalisa dan disusun berdasarkan persentase jumlah kata, penekanan-penekanan dengan menggunakan title tag, meta description, bold, dll. Proses ini sangatlah rumit, dan menggunakan banyak algoritma untuk mengenali, yang mana yang penting, dan yang mana tidak penting. Setelah di analisa, maka data-data ini disimpan untuk dipanggil kapanpun ada query yang membutuhkan.

Setelah proses ini selesai, maka blog anda sudah terindeks. Apakah itu berarti blog anda akan ditampilkan Google? Tentu tidak, prosesnya masih panjang. Jadi jangan gembira hanya karena blog anda terindeks. Google bisa saja mengindeks milyaran halaman, tapi hanya ada 10 tempat di halaman pertama. Jadi perjalanan belum selesai. Bagaimana cara kerja search engine saat ada query pencarian kata kunci yang diinput oleh seseorang? Ini bagian pentingnya

ü  Mengukur Relevansi Halaman Web

Halaman-halaman web yang disimpan di dalam database search engine mempunyai begitu banyak parameter. Semua kata pada halaman tersebut akan dihitung untuk menentukan relevansi halaman tersebut. Teks Jangkar pada link yang masuk pun diperhitungkan, dan ada begitu banyak lagi parameter yang menjadi penilaian suatu halaman. Google menyatakan bahwa ada lebih dari 200 faktor yang menjadi parameter untuk menentukan poin relevansi suatu halaman.

ü  Memberi Rangking untuk Query

Pada saat seseorang membuka situs search engine dan memasukkan kata kunci, maka kata kunci itu akan dipilah per kata dan dicek oleh algoritma robot. Hasil pengecekan tersebut menentukan karakteristik nilai dan parameter yang disetujui oleh search engine. Nilai itulah yang kemudian disesuaikan dengan semua halaman yang disimpan di dalam database. Jika halaman anda yang paling memenuhi kualifikasi maka akan berada di halaman pertama.

3.    CRAWLER

 A.     Pengertian Crawler:

Crawler: Sebuah program yg secara otomatis memfollow up semua link yg ada di halaman web. Web Crawler adalah sebuah program/script otomatis yang memprosess halaman web. Bisa juga disebut sebagai web spider atau web robot. Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web.

B.      Crawler yang Ada di Search Engine:

Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. Software ini sudah cukup lama popular, terutama pada saat koneksi internet tidak semudah dan secepat sekarang. Software ini berbayar dan beralamatkan di http://www.tenmax.com.

HTTrack

Ditulis dengan menggunakan C, seperti juga Teleport Pro, HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline. Yang menarik software ini free dan dapat di download pada website resminya di http://www.httrack.com

Googlebot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

Yahoo!Slurp

Kalau Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

YaCy

Sedikit berbeda dengan web crawler  lainnya di atas, YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. Contoh search engine yang menggunakan YaCy adalah Sciencenet (http://sciencenet.fzk.de), untuk pencarian dokumen di bidang sains.

 C.      Cara Kerja Crawler:

Ide dasarnya sangat simpel dan hampir sama dengan ketika kalian sedang menjelajahi halaman website secara manual dengan menggunakan browser. Bermula pada sebuah link alamat website, dibuka pada browser kemudian browser melakukan permintaan dan mendownload data dari web server melalui protokol HTTP. Setiap hyperlink yang ditemui pada konten yang tampil akan dibuka lagi pada windows/tab browser yang baru, demikian proses terus berulang. bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka web crawler tersebut akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu. Proses web crawler dalam mengunjungi setiap dokumen web disebut dengan web crawling atau spidering. Beberapa websites, khususnya yang berhubungan dengan pencarian menggunakan proses spidering untuk memperbaharui data data mereka. Web crawler biasa digunakan untuk membuat salinan secara sebagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat di proses lebih lanjut oleh system pengindexan. Crawler dapat juga digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web, dan crawler juga digunakan untuk memperoleh data yang khusus seperti mengumpulkan alamat e-mail.

Web crawler termasuk kedalam bagian software agent atau yang lebih dikenal dengan istilah program bot. Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman web dikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya. Dalam melakukan prosesnya, web crawler juga mempunyai beberapa persoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :

1. Halaman mana yang harus dikunjungi terlebih dahulu.
2. Aturan dalam proses mengunjungi kembali sebuah halaman.
3. Performansi, mencakup banyaknya halaman yang harus dikunjungi.
4. Aturan dalam setiap kunjungan agar server yang dikunjungi tidak kelebihan beban.
5. Kegagalan, mencakup tidak tersedianya halaman yang dikunjungi, server down, timeout, maupun jebakan yang sengaja dibuat oleh webmaster.
6. Seberapa jauh kedalaman sebuah website yang akan dikunjungi.
7. Hal yang tak kalah pentingnya adalah kemampuan web crawler untuk mengikuti.

Perkembangan teknologi web, dimana setiap kali teknologi baru muncul, web crawler harus dapat menyesuaikan diri agar dapat mengunjungi halaman web yang menggunakan teknologi baru tersebut. Proses sebuah web crawler untuk mendata link – link yang terdapat didalam sebuah halaman web menggunakan pendekatan regular expression. Crawler akan menelurusi setiap karakter yang ada untuk menemukan hyperlink tag html (<a>). Setiap hyperlink tag yang ditemukan diperiksa lebih lanjut apakah tag tersebut mengandung atribut nofollow rel, jika tidak ada maka diambil nilai yang terdapat didalam attribute href yang merupakan sebuah link baru. Setelah proses crawler selesai di lanjutkan dengan indexing system yang bertugas untuk menganalisa halaman web yang telah tersimpan sebelumnya dengan cara mengindeks setiap kemungkinan term yang terdapat di dalamnnya. Data term yang ditemukan disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya. Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer. Tujuan dari penyimpanan data berupa indeks adalah untuk performansi dan kecepatan dalam menemukan informasi yang relevan berdasarkan inputan user. Tanpa adanya indeks, search engine harus melakukan scan terhadap setiap dokumen yang ada didalam database. Hal ini tentu saja akan membutuhkan proses sumber daya yang sangat besar dalam proses komputasi. Sebagai contoh, indeks dari 10.000 dokumen dapat diproses dalam waktu beberapa detik saja, sedangkan penulusuran secara berurutan setiap kata yang terdapat di dalam 10.000 dokumen akan membutuhkan waktu yang berjam lamanya. Tempat tambahan mungkin akan dibutuhkan di dalam computer untuk penyimpanan indeks, tapi hal ini akan terbayar dengan penghematan waktu pada saat pemrosesan pencarian dokumen yang dibutuhkan.

4.    Web Archiving

A.     Pengertian Web Archiving:

Pengarsipan web adalah proses mengumpulkan bagian dari WWW dan memastikan koleksi tersebut diawetkan dalam suatu arsip, misalnya situs arsip, untuk diakses peneliti, sejarawan, dan masyarakat umum pada masa datang. Besarnya ukuran Web membuat arsiparis web umumnya menggunakan perangkak web untuk pengumpulan secara otomatis. Organisasi pengarsip web terbesar yang menggunakan ancangan perangkak web ini adalah Internet Archive yang berupaya memelihara arsip dari seluruh Web. Perpustakaan nasional, arsip nasional, dan berbagai konsorsium organisasi lain juga terlibat dalam upaya pengarsipan konten Web yang memiliki nilai penting bagi mereka. Perangkat lunak dan layanan komersial juga tersedia bagi organisasi yang ingin mengarsipkan konten web mereka sendiri untuk berbagai keperluan.

B.      Cara Kerja dan Contoh Web Archiving:

Dengan menggunakan web crawler untuk mengoptimatisasi proses pengumpulan halaman web, web crawler biasanya mengakses halaman web dengan cara yang sama dengan yang dilakukan user dengan menggunaakan web browser untuk menemukan website yang diinginkan.

Contoh-contoh Web Archiving:

1. Archive-it
2. Archive.is
3. Archivethe.net
4. WebCite
5. Iterasi