使える！データ収集術「ウェブスクレイピング」を伝授します

関連するソリューション

業務改革

AI

• スクレイピングとは
• 今スクレイピングが注目されている理由
• Excel
• VBA
• 【参考】IEのサポート期限切れに対する対応>
• Python
• スクレイピング実行時の注意
• >最後に

スクレイピングとは

今スクレイピングが注目されている理由

Excel

1.「データ」タブの「新しいクエリ」を選択します。

2.「その他のデータソースから」をクリックすると表示される「Webから」を選択します。

3.取得したい情報が公開されているURLを入力し、OKをクリックします。
今回は機能の確認として、テーブルがある筆者のコラムのURL（https://www.idnet.co.jp/column/page_224.html）を指定しました。

4.ナビゲーター画面が開き、3で指定したURLから情報が取得されます。
指定するページの情報量や環境によっては、数秒ほど読み込みまで時間がかかります。取得が終わると、左側に取得可能な情報のまとまりが表示されます。ここではTable 0を選択しました。右側のテーブルビューに、取得できる情報が表示されるので、間違いがないか確認して、読み込みをクリックします。

5.シートにWebの情報が表示されます。
このままでは、コピーしてペーストするのと大差ありません。パワークエリ―を使う利点については次で解説します。

6.取得した情報を最新化する設定
データタブの接続を選択

先ほど作成したパワークエリ―を選択し、プロパティを表示します。

情報を取得したいサイクルに合わせて設定を変更します。
「定期的に更新する」にチェックをいれて60分、とするとファイルを開いてから60分ごとに情報が更新されるようになります。毎日1回更新すればよいのであれば、ファイルを開くときにデータを更新する、にチェックをいれてOKをクリックします。

VBA

VBAによる（この後のPythonも）スクレイピングの利点は、取得する情報の自由度が高いことにあります。
 
1.マクロのエディタ画面（仮）から、参照設定を開き、次の２つのライブラリにチェックを入れ、参照可能にします。

• Microsoft Internet Controls
• Microsoft HTML Object Library

Sub WebScrapingDEMO()Dim ie As New InternetExplorerDim html As New HTMLDocumentDim tables As IHTMLElementCollectionDim table As HTMLTableDim hrow As HTMLTableRowDim hcell As HTMLTableCellDim MyCollection As New CollectionDim URL As StringDim nR, nC As LongURL = "https://www.idnet.co.jp/column/page_174.html"ie.Visible = Falseie.navigate URLRem Html読み込みまで待機DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETE '=4Set html = ie.documentSet tables = html.getElementsByTagName("table")nR = 0For Each table In tablesFor Each hrow In table.RowsnR = nR + 1nC = 0For Each hcell In hrow.CellsnC = nC + 1Cells(nR, nC).Value = hcell.innerTextNextNextNextMsgBox "Done!"End Sub

ポイント解説

	Dim ie As New InternetExplorer

Internet Explorer をCOMオブジェクトとしてインスタンス化（起動）します。この "ie" でWebの操作を行っていくことになります。

	ie.navigate URL

これで指定したURLに遷移し、

	DoDoEventsLoop Until ie.readyState = READYSTATE_COMPLETE '=4

ページの読み込みまで待機します。

	Set tables = html.getElementsByTagName("table")

ページ内のテーブルタグの情報を抽出しています。HTMLのテーブル内の情報が行単位で記述されています。この後のループの中で、1行ずつ読み込み、各行のセル内の情報を順番に取得してシートに転記しています。

改良のポイント
HTMLDocument（ソース内では変数html）は、HTMLの情報を取得するためのメソッドが幾つか用意されています。例えば他のtagや特定のclass名をもつタグ内の情報を取得することができます。下では特定のクラスが指定されている情報を取得しています。

	Set tables = html.getElementsByClassName("sampleClassNamse").Item

実行結果サンプル

【参考】IEのサポート期限切れに対する対応

■Python

1.対象ページの分析
今回は弊社コラムのテーマ一覧を作成してみたいと思います。コラムのページを開いてみると、テーマは「2022年度の人工知能学会からみるAIトレンド ～今後の活用の可能性～」とあります。

 2022年度人工知能学会からみるAIトレンド ～今後の活用の可能性～

ページのＨＴＭＬソースをみてみます。

テーマは、
<li class="breadcrumb-item active" aria-current="page">2022年度人工知能学会からみるAIトレンド ～今後の活用の可能性～に記載されているので、liタグのうち、classが "breadcrumb-item active" の内容を抽出すればよさそうです。

	import timeimport requestsfrom bs4 import BeautifulSoupurllists =["https://www.idnet.co.jp/column/page_232.html","https://www.idnet.co.jp/column/page_198.html","https://www.idnet.co.jp/column/page_224.html"]for url in urllists:print(url)response = requests.get(url)html_doc = response.textsoup = BeautifulSoup(html_doc, 'html.parser')titles = []real_title_tags = soup.find_all('li',{'class':'breadcrumb-item active'})for tag in real_title_tags:titles.append(tag.text)print(titles)time.sleep(10)

	import timeimport requestsfrom bs4 import BeautifulSoup

	urllists =["https://www.idnet.co.jp/column/page_232.html",(略)

	response = requests.get(url)html_doc = response.text

	soup = BeautifulSoup(html_doc, 'html.parser')

	real_title_tags = soup.find_all('li',{'class':'breadcrumb-item active'})

スクレイピング実行時の注意

最後に