{"id":1168,"date":"2023-02-22T15:12:09","date_gmt":"2023-02-22T08:12:09","guid":{"rendered":"https:\/\/www.jogjahost.co.id\/blog\/?p=1168"},"modified":"2023-02-22T15:12:09","modified_gmt":"2023-02-22T08:12:09","slug":"apa-itu-web-crawler","status":"publish","type":"post","link":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/","title":{"rendered":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?"},"content":{"rendered":"\n\n
\n \n
\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n \n
\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n
\n \n\n
<\/div>\n <\/div>\n <\/div>\n<\/div>\n \n\n
\n 5\/5 - (2 votes) <\/div>\n <\/div>\n\n

Apa itu Web Crawler<\/em>?<\/h2>\n\n\n\n

Web crawler<\/em> adalah bots<\/em> yang bekerja merayapi\/menelusuri seluruh World Wide Web, melakukan crawling data<\/em>, dan mengindeks-nya.<\/p>\n\n\n\n

Crawling data<\/em> adalah metode pengumpulan data dengan menelusuri suatu web melalui setiap link <\/em>yang ada di dalamnya.\u00a0<\/p>\n\n\n\n

Indexing<\/em> adalah proses mengumpulkan setiap halaman web berdasarkan kategori tertentu, kemudian mengkatalogisasi semua di data center<\/em>.<\/p>\n\n\n\n

\"What
Sumber: simplilearn.com<\/figcaption><\/figure><\/div>\n\n\n\n

Search engine<\/em> atau mesin pencari secara umum menggunakan bots<\/em> ini untuk menjalankan fungsi pencarian.\u00a0<\/p>\n\n\n\n

Mesin pencari menerapkan algoritma penelusuran ke data yang dikumpulkan crawler<\/em> atau perayap web. Dengan demikian, mesin pencari bisa memberikan rekomendasi halaman yang relevan di hasil pencarian (SERP<\/a>).<\/p>\n\n\n\n

Setiap mesin pencari memiliki bots masing-masing. Misalnya, Google yang memiliki Googlebot<\/a>, Slurp Bot milik Yahoo, Bingbot<\/a> dari Bing, DuckDuckBot<\/a> milik DuckDuckGO, dll.<\/p>\n\n\n\n

Jika Anda pernah bertanya-tanya, bagaimana mesin pencari bisa memberi jawaban untuk setiap keyword<\/em> yang kita input, itu karena kinerja bots<\/em> ini.<\/p>\n\n\n\n

Cara Kerja Web Crawler<\/em><\/h2>\n\n\n\n

Proses crawling<\/em> bermula dari seed<\/em>, atau daftar URL yang sudah diketahui crawler<\/em>. Ia akan merayapi laman web dari daftar URL tersebut.<\/p>\n\n\n\n

Pada proses tersebut, biasanya bots<\/em> akan menemukan link<\/em> ke URL lain. Hal itu akan masuk ke list<\/em> halaman untuk dirayapi setelah proses sebelumnya selesai.\u00a0<\/p>\n\n\n\n

\"\"
Sumber: en.ryte.com\u00a0<\/figcaption><\/figure><\/div>\n\n\n\n

Proses ini berlangsung secara berulang dan terus menerus hingga tanpa batas. Pasalnya, saat ini sudah ada sangat banyak halaman web di internet. <\/p>\n\n\n\n

Setiap search engine<\/em> menerapkan algoritma tertentu. Kemudian, bots<\/em> atau crawler<\/em> akan bekerja berdasarkan ketentuan yang tertulis di algoritma.\u00a0<\/p>\n\n\n\n

Setidaknya ada tiga prinsip yang jadi acuan kerjanya.<\/p>\n\n\n\n

\u279c Mengutamakan Web Page<\/em> yang Valuable<\/em>\u00a0\u00a0<\/h3>\n\n\n\n

Di antara begitu banyaknya halaman web di internet, tidak semuanya penting. Pasti ada saja web yang berisi informasi yang tidak terlalu berguna untuk user<\/em>.\u00a0\u00a0<\/p>\n\n\n\n

Maka dari itu, bots<\/em> akan mengutamakan halaman yang penting (valuable<\/em>).<\/p>\n\n\n\n

Hal yang jadi acuan untuk menilai seberapa penting suatu halaman yaitu kualitas backlink<\/em>, jumlah pengunjung, dan faktor-faktor lain.<\/p>\n\n\n\n

Kemungkinan besar, web page<\/em> yang jadi rujukan dari banyak web lain dan memiliki banyak pengunjung akan berisi informasi otoritatif berkualitas tinggi.\u00a0<\/p>\n\n\n\n

Anda sebagai user<\/em> tentu lebih puas jika rekomendasi dari mesin pencari berisi informasi yang akurat dan berkualitas. Maka dari itu, bots<\/em> mesin pencari akan mengutamakan halaman semacam ini demi menunjang kepuasan user<\/em>.<\/p>\n\n\n\n

\u279c Mengunjungi Ulang Web Page<\/em> untuk Memeriksa Update<\/em><\/h3>\n\n\n\n

Rata-rata, setiap web pasti mengalami pembaruan secara berkala. Kecuali pemiliknya lupa akses ke website<\/em> tersebut sehingga tidak bisa melakukan update<\/em>.<\/p>\n\n\n\n

Nah, crawler<\/em> akan melakukan kunjungan ulang ke setiap web page<\/em> yang sudah pernah terindeks untuk memastikan versi teranyarnya.<\/p>\n\n\n\n

Untuk jangka waktunya, tergantung kebijakan dari masing-masing mesin pencari.<\/p>\n\n\n\n

\u279c Mengikuti Protokol Robot.txt<\/h3>\n\n\n\n

Robot.txt pada dasarnya adalah suatu file<\/em> teks berisi aturan tertentu mengenai akses bot<\/em> pada suatu web. Jadi, file<\/em> ini akan jadi panduan untuk bot<\/em> merayapi halaman mana dan mengikuti tautan yang mana.<\/p>\n\n\n\n

File<\/em> robot.txt ini bisa Anda buat sendiri. Anda bisa membuat script<\/em>-nya secara manual dengan text editor<\/em>. Jika Anda menggunakan WordPress, ada sejumlah plugin<\/em> yang bisa membantu Anda mengelola hal ini.<\/p>\n\n\n\n

Setiap search engine<\/em> memiliki algoritmanya masing-masing. Maka dari itu, bot<\/em> atau crawler<\/em>-nya memiliki perilaku yang berbeda-beda pula.<\/p>\n\n\n\n

Para praktisi SEO akan mempelajari hal tersebut dan merumuskan teknik-teknik yang bisa diaplikasikan untuk mengoptimasi halaman web di mesin pencari.<\/p>\n\n\n\n

Sebagai pemilik web, Anda harus memastikan bahwa website<\/em> Anda sudah terindeks mesin pencari. Pasalnya, jika belum terindeks, website<\/em> Anda tidak akan muncul di hasil pencarian.<\/p>\n\n\n\n

Beberapa cara yang bisa Anda tempuh yaitu: registrasi website<\/em> di Google Search Console<\/a>, membuat sitemap XML, dll.<\/p>\n\n\n\n

Fungsi Web Crawler<\/em><\/h2>\n\n\n\n

Pada prinsipnya, web crawler<\/em> berfungsi untuk merayapi dan mengindeks seluruh halaman atau konten yang ada di internet.<\/p>\n\n\n\n

Bisa diambil kesimpulan, crawler<\/em> adalah pondasi atau dasar dari fungsionalitas mesin pencari.<\/p>\n\n\n\n

Di samping itu, web crawler<\/em> juga memiliki banyak fungsi lainnya. Tidak hanya mesin pencari, bot<\/em> semacam ini juga digunakan oleh perusahaan yang berbasis di bidang data.\u00a0<\/p>\n\n\n\n

Apalagi saat ini sudah ada banyak web crawler tool<\/em> yang bisa Anda manfaatkan untuk mengumpulkan data tertentu dari internet.<\/p>\n\n\n\n

Nah, secara lebih luas, manfaat crawler<\/em> adalah sebagai berikut:<\/p>\n\n\n\n

1. Melihat Data Perbandingan Harga\u00a0<\/h3>\n\n\n\n

Di internet ini ada banyak sekali toko online<\/em>. Harga suatu produk di tiap toko online<\/em> bisa jadi berbeda-beda.\u00a0<\/p>\n\n\n\n

Crawler<\/em> bisa melakukan perbandingan harga terhadap suatu produk di internet.\u00a0<\/p>\n\n\n\n

Dengan tool<\/em> semacam ini, Anda bisa melihat perbandingan harga produk tanpa harus mengecek secara manual ke tiap-tiap toko online<\/em>.<\/p>\n\n\n\n

2. Menunjang Web Analysis Tool<\/em><\/h3>\n\n\n\n

Google Search Console<\/a> adalah salah satu web analysis tool<\/em> milik Google. Tools<\/em> ini bisa membantu Anda menganalisis suatu web untuk mengetahui page view<\/em>, backlink<\/em>, internal link<\/em>, dll.<\/p>\n\n\n\n

Tool<\/em> ini menggunakan crawler<\/em> untuk mengumpulkan data-data tersebut.<\/p>\n\n\n\n

3. Menunjang Data Mining<\/em><\/h3>\n\n\n\n

Data mining<\/em> merupakan suatu proses untuk menemukan pattern<\/em> tertentu dari set data yang besar dengan melibatkan teknik machine learning<\/em>, statistik dan database system<\/em>.<\/p>\n\n\n\n

Dalam konteks ini, crawler<\/em> bertugas mengumpulkan set data dari sumber terbuka di internet. Misalnya, alamat email atau nomor telepon sejumlah perusahaan yang terbuka untuk umum.\u00a0\u00a0\u00a0<\/p>\n\n\n\n

Web Crawler<\/em>: Bot Mesin Pencari Untuk Mengindeks Web Page<\/em><\/h2>\n\n\n\n
\"apa
Sumber: tattooshortlist.com <\/figcaption><\/figure><\/div>\n\n\n\n

Setiap search engine<\/em> memiliki web crawler\/spider\/bots<\/em> untuk menunjang fungsionalitasnya. Program ini bertugas merayapi setiap halaman web dan melakukan indexing<\/em>.<\/p>\n\n\n\n

Bot<\/em> melakukan indexing<\/em> dengan menelusuri setiap link<\/em> yang ada di halaman web. Proses ini akan berlangsung sampai tidak terhingga.<\/p>\n\n\n\n

Setiap bot<\/em> akan bekerja sesuai algoritma yang diterapkan oleh platform yang menaunginya. Misalnya Googlebot, kinerjanya akan mengikuti algoritma Google.<\/p>\n\n\n\n

Program ini tidak hanya menunjang fungsi mesin pencari. Dalam ekosistem big data<\/em>, program ini juga dimanfaatkan terutama untuk collecting data<\/em>.<\/p>\n","protected":false},"excerpt":{"rendered":"

Apa itu Web Crawler? Web crawler adalah bots yang bekerja merayapi\/menelusuri seluruh World Wide Web, melakukan crawling data, dan mengindeks-nya. Crawling data adalah metode pengumpulan data dengan menelusuri suatu web melalui setiap link yang ada di dalamnya.\u00a0 Indexing adalah proses mengumpulkan setiap halaman web berdasarkan kategori tertentu, kemudian mengkatalogisasi semua di data center. Search engine … Read more<\/a><\/p>\n","protected":false},"author":2,"featured_media":1218,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[16],"tags":[],"class_list":["post-1168","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"yoast_head":"\nApa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?<\/title>\n<meta name=\"description\" content=\"Apa itu web crawler? Web crawler\/spider\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/\" \/>\n<meta property=\"og:locale\" content=\"en_US\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?\" \/>\n<meta property=\"og:description\" content=\"Apa itu web crawler? Web crawler\/spider\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/\" \/>\n<meta property=\"og:site_name\" content=\"Jogjahost Blog\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/hostingindonesia\" \/>\n<meta property=\"article:published_time\" content=\"2023-02-22T08:12:09+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"400\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Jho\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Jho\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/\"},\"author\":{\"name\":\"Jho\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#\\\/schema\\\/person\\\/f7c992b57236db3af7c9b4981c748892\"},\"headline\":\"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?\",\"datePublished\":\"2023-02-22T08:12:09+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/\"},\"wordCount\":881,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/Apa-itu-Web-Crawler.png\",\"articleSection\":[\"SEO\"],\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/\",\"name\":\"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/Apa-itu-Web-Crawler.png\",\"datePublished\":\"2023-02-22T08:12:09+00:00\",\"description\":\"Apa itu web crawler? Web crawler\\\/spider\\\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#breadcrumb\"},\"inLanguage\":\"en-US\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/Apa-itu-Web-Crawler.png\",\"contentUrl\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2021\\\/03\\\/Apa-itu-Web-Crawler.png\",\"width\":800,\"height\":400,\"caption\":\"Apa itu Web Crawler\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/apa-itu-web-crawler\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Beranda\",\"item\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"SEO\",\"item\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/category\\\/seo\\\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/\",\"name\":\"Jogjahost Blog\",\"description\":\"Official\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"en-US\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#organization\",\"name\":\"Jogjahost\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/Jogjahost-Logo.png\",\"contentUrl\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/wp-content\\\/uploads\\\/2020\\\/11\\\/Jogjahost-Logo.png\",\"width\":200,\"height\":63,\"caption\":\"Jogjahost\"},\"image\":{\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/hostingindonesia\",\"https:\\\/\\\/www.linkedin.com\\\/in\\\/ptjogjahost\\\/\",\"https:\\\/\\\/www.youtube.com\\\/channel\\\/UCNjzg7FZMoDlHQRvztXTZQA\\\/featured\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/#\\\/schema\\\/person\\\/f7c992b57236db3af7c9b4981c748892\",\"name\":\"Jho\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"en-US\",\"@id\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g\",\"url\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g\",\"contentUrl\":\"https:\\\/\\\/secure.gravatar.com\\\/avatar\\\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g\",\"caption\":\"Jho\"},\"description\":\"Saya akan berbagi tulisan tentang definisi apapun yang berkaitan dengan dunia hosting, domain dan website.\",\"url\":\"https:\\\/\\\/www.jogjahost.co.id\\\/blog\\\/author\\\/jho\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?","description":"Apa itu web crawler? Web crawler\/spider\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/","og_locale":"en_US","og_type":"article","og_title":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?","og_description":"Apa itu web crawler? Web crawler\/spider\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.","og_url":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/","og_site_name":"Jogjahost Blog","article_publisher":"https:\/\/www.facebook.com\/hostingindonesia","article_published_time":"2023-02-22T08:12:09+00:00","og_image":[{"width":800,"height":400,"url":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png","type":"image\/png"}],"author":"Jho","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Jho","Est. reading time":"5 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#article","isPartOf":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/"},"author":{"name":"Jho","@id":"https:\/\/www.jogjahost.co.id\/blog\/#\/schema\/person\/f7c992b57236db3af7c9b4981c748892"},"headline":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?","datePublished":"2023-02-22T08:12:09+00:00","mainEntityOfPage":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/"},"wordCount":881,"commentCount":0,"publisher":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/#organization"},"image":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#primaryimage"},"thumbnailUrl":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png","articleSection":["SEO"],"inLanguage":"en-US","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/","url":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/","name":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?","isPartOf":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#primaryimage"},"image":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#primaryimage"},"thumbnailUrl":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png","datePublished":"2023-02-22T08:12:09+00:00","description":"Apa itu web crawler? Web crawler\/spider\/bots adalah program yang berfungsi merayapi setiap halaman web yang ada di internet dan mengindeksnya.","breadcrumb":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#breadcrumb"},"inLanguage":"en-US","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/"]}]},{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#primaryimage","url":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png","contentUrl":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2021\/03\/Apa-itu-Web-Crawler.png","width":800,"height":400,"caption":"Apa itu Web Crawler"},{"@type":"BreadcrumbList","@id":"https:\/\/www.jogjahost.co.id\/blog\/apa-itu-web-crawler\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Beranda","item":"https:\/\/www.jogjahost.co.id\/blog\/"},{"@type":"ListItem","position":2,"name":"SEO","item":"https:\/\/www.jogjahost.co.id\/blog\/category\/seo\/"},{"@type":"ListItem","position":3,"name":"Apa itu Web Crawler, Fungsi & Bagaimana Program ini Bekerja?"}]},{"@type":"WebSite","@id":"https:\/\/www.jogjahost.co.id\/blog\/#website","url":"https:\/\/www.jogjahost.co.id\/blog\/","name":"Jogjahost Blog","description":"Official","publisher":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.jogjahost.co.id\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"en-US"},{"@type":"Organization","@id":"https:\/\/www.jogjahost.co.id\/blog\/#organization","name":"Jogjahost","url":"https:\/\/www.jogjahost.co.id\/blog\/","logo":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/www.jogjahost.co.id\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2020\/11\/Jogjahost-Logo.png","contentUrl":"https:\/\/www.jogjahost.co.id\/blog\/wp-content\/uploads\/2020\/11\/Jogjahost-Logo.png","width":200,"height":63,"caption":"Jogjahost"},"image":{"@id":"https:\/\/www.jogjahost.co.id\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/hostingindonesia","https:\/\/www.linkedin.com\/in\/ptjogjahost\/","https:\/\/www.youtube.com\/channel\/UCNjzg7FZMoDlHQRvztXTZQA\/featured"]},{"@type":"Person","@id":"https:\/\/www.jogjahost.co.id\/blog\/#\/schema\/person\/f7c992b57236db3af7c9b4981c748892","name":"Jho","image":{"@type":"ImageObject","inLanguage":"en-US","@id":"https:\/\/secure.gravatar.com\/avatar\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g","url":"https:\/\/secure.gravatar.com\/avatar\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/1a940f9df7d6eb39176ff487c642337071de767315e1b2ceed9d358ddd0d5207?s=96&d=blank&r=g","caption":"Jho"},"description":"Saya akan berbagi tulisan tentang definisi apapun yang berkaitan dengan dunia hosting, domain dan website.","url":"https:\/\/www.jogjahost.co.id\/blog\/author\/jho\/"}]}},"_links":{"self":[{"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/posts\/1168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/comments?post=1168"}],"version-history":[{"count":3,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/posts\/1168\/revisions"}],"predecessor-version":[{"id":1222,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/posts\/1168\/revisions\/1222"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/media\/1218"}],"wp:attachment":[{"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/media?parent=1168"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/categories?post=1168"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.jogjahost.co.id\/blog\/wp-json\/wp\/v2\/tags?post=1168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}