{"id":1190,"date":"2023-02-23T23:16:39","date_gmt":"2023-02-23T16:16:39","guid":{"rendered":"https:\/\/www.jogjahost.co.id\/blog\/?p=1190"},"modified":"2023-02-23T23:16:39","modified_gmt":"2023-02-23T16:16:39","slug":"apa-itu-web-scraping","status":"publish","type":"post","link":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-scraping\/","title":{"rendered":"Apa itu Web Scraping? Cara Kerja, Teknik & Kegunaannya"},"content":{"rendered":"\n\n
\n \n
\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n<\/div>\n \n\n
\n 2.8\/5 - (10 votes) <\/div>\n <\/div>\n\n

Apa itu Web Scraping<\/em>?<\/h2>\n\n\n\n

Web scraping<\/em> adalah suatu metode untuk mengekstraksi data spesifik dari suatu web. Data yang sudah terekstraksi bisa Anda kumpulkan di Google Sheets atau Microsoft Excel <\/p>\n\n\n\n

Meski bisa melakukannya secara manual, kebanyakan orang melakukannya menggunakan tools<\/em> yang bisa bekerja secara otomatis. Jadi, skala data yang bisa Anda ekstraksi akan jauh lebih besar.<\/p>\n\n\n\n

Jika Anda belum memiliki gambaran tentang hal ini, kami akan memberikan sedikit contoh web scraping<\/em>.<\/p>\n\n\n\n

Misalnya, Anda mengekstrak list<\/em> harga produk laptop di Shopee. Berdasarkan data tersebut, Anda bisa menetapkan positioning<\/em> dan harga yang tepat saat menjual laptop di marketplace<\/em><\/a>.<\/p>\n\n\n\n

Web Scraping<\/em> Vs Web Crawling<\/em><\/h2>\n\n\n\n
\"apa
Sumber: parsehub.com<\/figcaption><\/figure><\/div>\n\n\n\n

Banyak orang yang masih bingung dengan perbedaan scraping<\/em> dan crawling<\/em>. Pasalnya kedua hal ini tampak serupa, meski pada prinsipnya berbeda.<\/p>\n\n\n\n

Web crawling<\/em> adalah proses indexing<\/em> ke seluruh web di jaringan internet. Artinya, bot\/crawler<\/em> akan menelusuri atau merayapi seluruh website<\/em> atau web page<\/em> yang ada.<\/p>\n\n\n\n

Maka dari itu, program tersebut berkaitan erat dengan fungsionalitas mesin pencari.<\/p>\n\n\n\n

Sedangkan data scraping<\/em> artinya mengekstraksi data tertentu dari berbagai web. Dengan kata lain, halaman web dan data yang jadi target lebih spesifik. <\/p>\n\n\n\n

Cara Kerja Web Scraping<\/em><\/h2>\n\n\n\n
\"apa
Sumber: hirinfotech.com <\/figcaption><\/figure><\/div>\n\n\n\n

Kami akan coba menjelaskan cara kerja program ini sesederhana mungkin.\u00a0<\/p>\n\n\n\n

Pertama-tama, Anda sebagai user<\/em> harus memberikan referensi URL (satu atau lebih) ke scraper tool<\/em>.<\/p>\n\n\n\n

Scraper<\/em> akan memuat semua kode HTML dari halaman yang jadi referensi. Tools<\/em> yang lebih canggih bisa me-render<\/em> semua elemen web seperti CSS dan Javascript.<\/p>\n\n\n\n

Idealnya, Anda akan memilih data spesifik untuk di ekstraksi. <\/p>\n\n\n\n

Misalnya, Anda melakukan scraping<\/em> pada halaman produk Shopee. Anda hanya memilih data harga dan model, jadi data itu saja yang nanti akan terekstraksi. Data lain seperti spesifikasi produk dan ulasan pelanggan akan diabaikan.<\/p>\n\n\n\n

Setelah itu, scraper<\/em> akan mengekstrak semua data tersebut dalam format CSV atau file spreadsheet<\/em>. Scraper<\/em> yang cukup canggih bisa mengekstrak data ke format JSON. Format tersebut nantinya bisa untuk API.<\/p>\n\n\n\n

Teknik-teknik Web Scraping<\/em><\/h2>\n\n\n\n

Berikut ini adalah teknik-teknik yang bisa Anda aplikasikan untuk melakukan web scraping.<\/p>\n\n\n\n

1. Parsing HTML<\/h3>\n\n\n\n

Teknik ini bisa Anda gunakan untuk \u201cmengikis\u201d halaman web statis maupun dinamis. Anda bisa menggunakan metode ini untuk mengekstraksi teks, link<\/em>, screen scraping<\/em>, dll.<\/p>\n\n\n\n

Prinsipnya adalah dengan mengirim HTTP Request ke server web<\/a>.<\/p>\n\n\n\n

Metode ini cukup andal untuk mengekstraksi data dalam jumlah besar dengan waktu relatif singkat.<\/p>\n\n\n\n

2. DOM Parsing<\/h3>\n\n\n\n

DOM atau Document Object Model mendefinisikan style<\/em>, struktur, dan konten suatu file XML.<\/p>\n\n\n\n

Scraper<\/em> bisa menguraikan DOM dan mendapatkan gambaran mendalam tentang struktur suatu web. Scraper<\/em> akan mencari node yang menampung informasi kemudian mengekstrak semua datanya menggunakan XPath.<\/p>\n\n\n\n

3. XPath<\/h3>\n\n\n\n

XML Path Language atau XPath merupakan suatu bahasa kueri yang bekerja di dokumen XML.<\/p>\n\n\n\n

Sejak XML menggunakan struktur seperti pohon, XPath bisa menavigasi ke seluruh pohon. XPath akan memilih tiap-tiap node berdasarkan parameter tertentu.<\/p>\n\n\n\n

XPath bisa Anda kolaborasikan dengan metode DOM Parsing.<\/p>\n\n\n\n

4. Regular Expression<\/h3>\n\n\n\n

Metode ini beroperasi mencocokkan file<\/em> tertentu melibatkan bahasa pemrograman seperti Perl atau Phyton.<\/p>\n\n\n\n

Cara scraping<\/em> web dengan Python cukup kompleks untuk pemula. Pasalnya Anda harus menguasai Phyton terlebih dahulu.<\/p>\n\n\n\n

5. Google Sheets<\/h3>\n\n\n\n

Aplikasi Google Sheets ternyata juga bisa Anda manfaatkan untuk melakukan ekstraksi data.<\/p>\n\n\n\n

Daripada metode lain di atas, cara ini relatif lebih mudah bagi pemula. <\/p>\n\n\n\n

Caranya relatif mudah. Anda hanya perlu membuka panel Inspect (click kanan -> Inspect) dari suatu halaman web. Kemudian, cari XPath Expression dari elemen yang ingin Anda salin.<\/p>\n\n\n\n

Setelah itu, rumus fungsi =IMPORTXML(\u201cURL\u201d, \u2018XPATH expression\u2019)<\/strong>  <\/p>\n\n\n\n

Semua data bisa terekstraksi di aplikasi Google Sheet milik Anda.<\/p>\n\n\n\n

6. Menggunakan Web Scraping Tools<\/em><\/h3>\n\n\n\n

Metode-metode di atas membutuhkan pengetahuan teknis tertentu untuk bisa menjalankannya. <\/p>\n\n\n\n

Para pemula biasanya lebih memilih jalan pintas yaitu dengan menggunakan software<\/em> atau tools scraping online<\/em>.<\/p>\n\n\n\n

Anda bisa dengan mudah menemukan tools<\/em> semacam ini. Beberapa tools<\/em> yang cukup andal yaitu: Import.io<\/a>, Octoparse<\/a>, ParseHub<\/a>, dll.<\/p>\n\n\n\n

Anda juga bisa menggunakan browser<\/em> Chrome untuk melakukan scraping<\/em>. Cara menggunakan web scraper<\/em> Chrome sangat mudah. Anda hanya perlu menginstal Add On seperti Web Scraper oleh Webscraper.io, Data Scraper oleh Data-Miner.io, Scraper oleh DVHTN, dll.<\/p>\n\n\n\n

Teknik-teknik di atas memang bisa Anda gunakan untuk melakukan scraping<\/em>. Tapi sayangnya, tidak semua teknik bisa bekerja 100% secara efektif.<\/p>\n\n\n\n

Terkadang Anda akan mendapati sejumlah tantangan. Beberapa web akan sulit Anda ekstraksi. Beberapa lainnya mungkin akan memblokir IP Anda. <\/p>\n\n\n\n

Meski berhasil melakukan ekstraksi data, Anda juga harus siap dengan data yang berantakan.<\/p>\n\n\n\n

Manfaat Web Scraping<\/em><\/h2>\n\n\n\n
\"apa
Sumber: towardsdatascience.com\u00a0<\/figcaption><\/figure><\/div>\n\n\n\n

Fungsi web scraping<\/em> secara umum adalah untuk mengekstraksi data dari suatu sumber spesifik. Hal tersebut bisa Anda manfaatkan untuk kepentingan bisnis Anda, misalnya:<\/p>\n\n\n\n

1. Price Intelligence<\/h3>\n\n\n\n

Zyte.com<\/a>, penyedia layanan ekstraksi data web, menyatakan bahwa price intelligence<\/em> menjadi penggunaan terbanyak dari web scraping<\/em>.<\/p>\n\n\n\n

Price intelligence<\/em> artinya mengekstrak informasi produk dan harga dari marketplace<\/em>, kemudian menjadikan data tersebut sebagai \u201cpengetahuan\u201d untuk menunjang bisnis Anda.<\/p>\n\n\n\n

Data harga ini bisa Anda manfaatkan untuk:<\/p>\n\n\n\n