近年、ウェブサイトのコンテンツを取得するスクレイピング技術が増えています。この記事では、一般的なスクレイピングの方法をChrome拡張機能として実装します。特に、動的に読み込まれるコンテンツへの対応として、MutationObserverを使用した方法に焦点を当てて解説します。 これら、全てChatGPTとの対話で作ることができます。

なお、サードパーティのサイトに対してスクレイピングを行う際には、そのサイトの利用規約やrobots.txtを確認して、違反行為をしないよう注意が必要です。

1. 前提となる技術

• JavaScriptの基本知識
• Chrome拡張機能の概念
• DOM操作の基本

2. ターゲットとなる情報

• 商品名
• 価格
• 商品のリンク

などを決めます。

3. 動的コンテンツとは？

近年のウェブページは、ページの初回読み込み時にすべてのコンテンツが読み込まれるわけではなく、ユーザーの操作に応じて後からコンテンツが動的に追加されることが多いです。このような動的コンテンツの取得は、単純なスクレイピング技術では難しい場合があります。

4. MutationObserverとは？

MutationObserverは、DOMの変更を監視するための強力なAPIです。これを使用すると、DOMに変更があった際にコールバック関数を実行して、変更された要素に対して操作を行うことができます。動的コンテンツのスクレイピングにおいて非常に役立つツールとなります。

5. スクレイピングの実装

まず、Chrome拡張機能としての基本的な構造を構築します。

• manifest.jsonの作成
• ポップアップHTMLの作成
• コンテンツスクリプトの作成

具体的なスクレイピング処理は割愛いたしますが、例えば、もし構造が以下のようであれば

1<li class="item">
2    <a href="product_link">Product Name</a>
3</li>

コンテンツスクリプト（content.js）は以下のように記述します。

1let links = Array.from(document.querySelectorAll('.item a'));

6. 工夫した点: MutationObserverの活用

このガイドの主要なポイントは、MutationObserverの活用です。Shopeeのページは、新しい商品情報が動的に読み込まれることが多いため、このAPIを使用してDOMの変更を監視し、新しく追加された商品情報も取得するようにしました。

7. まとめ

この記事では、スクレイピングするための方法をChrome拡張機能として紹介しました。特に、動的コンテンツの取得に焦点を当て、MutationObserverを活用する方法を取り上げました。この手法は、他の多くのウェブサイトでも適用可能で、動的コンテンツの取得に苦労している方にとって有益な情報となることを願っています。