知り合いにimport.ioというスクレイピングツールといことを教えていただきました。
Import.io | Web Data Platform & Free Web Scraping Tool
スクレイピングという言葉自体を知りませんでした。
ウェブスクレイピング（Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー(Web crawler) あるいはウェブ・スパイダー(Web spider)とも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTP（Hypertext Transfer Protocol）を実装することで、もしくはInternet ExplorerまたはMozilla FirefoxなどのWebブラウザを埋め込むことによって、人間によるWWWのブラウジングをシミュレートする。
ウェブスクレイピング – Wikipediaより
要は、サイトのデータを一括で情報を取得できるということでしょうか。
例えばECサイトの商品の一覧ページの情報を取得したりとか…
コンペナビで試してみた
とりあえず、弊社のコンペナビで試してみました。
(一部ぼかしてます)
いい感じで取得出来ている感じです。
CSVで保存したり、APIにしたりすることが出来るようです！
webサイトのリニューアルで「現行サイトのデータを持って来といて」なんて言われることがあるんですが、そういう時使えそうな感じがします。
