Chrome拡張機能Scraperを使って簡易的にスクレイピングする

更新日:

Google拡張機能のScraperを使うとWebページから必要な情報のみを簡単に抜き出すことができます。Scraperの使い方とXpathの基本についてメモしておきます。

Scraper
Scraper
Developer: dvhtn
Price: Free

使い方

  1. スクレイピングしたいWebサイトを開きます。
  2. F12を押し開発者画面を表示します。
  3. 選択ボタンを押します。
  4. 右上にElementsと表示されていることを確認します。表示されていない場合は >> を押してElementsを選択します。
  5. 値を取得したい箇所をクリックします。
  6. Elemnts画面でクリックした要素に対応するHTMLがラインハイライトされます。ハイライトされている箇所を右クリック > Copy > Copy XPath を押します。
  7. Scraperを押します。
  8. Scrape Similar... を押します。
  9. Selectorに先ほどコピーした値を貼り付けます。適宜不要な要素を消します。
  10. Scrapeを押します。
  11. スクレイピング完了です。

XPathでつまずきやすいところ

  • Selectorの末尾が/だとエラーになります。末尾のスラッシュは外しましょう。
  • 属性で指定したい場合はタグ名[@属性名="属性値"]と書きます。
  • 部分一致で指定したい場合はタグ名[contains(@属性名,"属性値")]と書きます。

補足

  • 属性名にはidclassが入ります。
  • タグ名にはdivspanが入ります。
  • 指定しない場合は*(アスタリスク)を使います。

参考

文字を含むタグを取り出すxpath - それマグで!

活用例

Kindleの購入履歴を取得する

Selector : Xpath //div

Column : *[contains(@id,"author")]タイトル

Column : *[contains(@id,"author")]著者

Column : *[contains(@id,"date")]購入日

IFTTTの対応サービス一覧を取得する

Selector : Xpath //ul/li/a/div/span

Column : text()サービス名

-Chrome拡張機能

Copyright© LESS , 2019 All Rights Reserved Powered by STINGER.