スクレイピングは技術より先に線引き — 練習は自分のVMで

スクレイピングの練習。練習用Webページから表へ移すデータカード、確認のチェック。

作品を作って、公開して、READMEを書きました。次に必ず出てくるのが、これです。

前回: Webhookは向こうから来る — Botと署名検証 作業場所はVMの中(Ubuntu)です。ここまでで入れた nginx と Node.js、PlaywrightでE2Eテストを書く|待ち方とテスト対象の決め方で入れた Playwright をそのまま使います。 この記事の実演は、すべて自分のVMの中に立てたページに対してだけ行います。他人のサイトは一度も叩きません。

「このサイトに出ている一覧、手で写すのは無理だ。プログラムで取れないか」

取れます。技術としては、この時点でもう全部持っています。fetch でHTMLを取って、DOM の要領で必要なところを抜き出して、ファイルに書けば終わりです。30分もかかりません。

だから、この記事の前半は技術の話をしません。

思いついてから最初にやることは、コードを書くことではないからです。

確かめるのは「取れるか」ではなく、「取っていいか」です。

技術的に取れることは、取っていい理由になりません。相手のサーバーはあなたのものではないし、そこに出ているデータもあなたのものではありません。 そして、やり方を間違えると、迷惑をかけるだけでなく、自分が困ります(アクセスを遮断される、アカウントを止められる、最悪の場合それ以上のことになる)。

私はXserverの設定でIPを遮断されたことがあります。自分のサーバーですらそうなります。 他人のサーバーなら、なおさらです。

この記事は、線引きを先に置いてから、道具を触ります。 そして練習は、自分のVMの中に立てた練習用のページに対してだけ行います。

対象レベル: 中級 / 区分: 必修

目次

この記事でわかること

  • 「取れるかどうか」と「取っていいかどうか」は別の問題だということ。技術は後者を何も保証しない
  • 確かめる順番が決まっていること(公式API → 利用規約 → robots.txt → データの持ち主)。上から順に、どれか1つでも赤なら止まる
  • robots.txt は法律の話ではないこと。書いてあるのは「クローラーへのお願い」。ただし、無視していい理由にはまったくならない
  • 公式APIがあるならスクレイピングより常に良いこと。壊れない・速い・怒られない。HTMLを解析するのは、APIが無いときの最後の手段
  • 一番大事なのはマナーの実装だということ。間隔を空ける・同時に何本も投げない・連絡先を名乗る・二度取らない。これができていないコードは、書けていないのと同じ
  • 正規表現でHTMLを解析してはいけない理由。HTMLは入れ子の構造で、正規表現はそれを扱えない
  • HTMLは相手の都合でいつでも変わること。変わったときに黙ってゼロ件や空文字を出す作りは、間違ったデータを静かに量産する
  • 迷ったときの一番早い解決策は、運営に聞くことだということ

この記事でやること

  1. 取る前に確かめる4つを表にする。 そのうえで robots.txt を実際に読む(自分のサイトのもの)
  2. 相手に迷惑をかけないための5つを、実際のコードに落とす(間隔・同時接続・User-Agent・キャッシュ・時間帯)
  3. 自分のVMの nginx に、練習用のHTML(商品一覧の表)を置く
  4. fetch とパーサで取り出して、CSVに書き出す
  5. JavaScriptで組み立てられるページを用意し、curl では取れないことを確かめてから、Playwright で取る
  6. HTMLが変わったときに、黙って間違ったデータを出さないようにする(件数チェック・必須項目チェック)
  7. 後片づけをする

先に知る言葉

この記事で初めて出てくる言葉です。 基本的な言葉は用語集にもまとめてあります。

言葉意味
スクレイピングWebページのHTMLを取ってきて、そこから必要な部分を抜き出すこと。「かき集める」という意味の英語から
クローラー / ボット人ではなくプログラムがWebページを取りに行くものの総称。検索エンジンのものが一番有名
robots.txtサイトの入口に置かれたテキストファイル。「クローラーはここを取らないでほしい」という表明。強制力を持つ仕組みではない
利用規約(Terms of Service)そのサービスを使う人と運営の間の取り決め。自動取得の可否が書かれていることが多い
公式API運営がプログラムから使ってもらうために用意した入口。RESTの回でやったJSONを返すあれ
レート制限(レートリミット)一定時間に受け付けるリクエスト数の上限。超えると 429 が返る、または遮断される
パース(構文解析)文字列を、意味のある構造に組み立て直すこと。HTMLの文字列を、要素の入れ子として扱えるようにすること
CSVカンマ区切りのテキスト表。表計算ソフトで開ける、一番素朴なデータの形
User-AgentHTTPリクエストに付く「自分は何者か」を名乗るヘッダ。ブラウザ名が入っているのを見たことがあるはずです

第1部 取っていいかを確かめる

取る前に確かめる4つ

この順番で、上から確かめます。 途中で1つでも「だめ」が出たら、そこで止まります。 下まで進んで技術で押し切る、はありません。

#確かめることどこを見るか「だめ」だったら
①公式APIがあるか開発者向けページ、/developers、/api、ドキュメントあるなら、そちらを使う。ここで終わり(スクレイピングは不要)
②利用規約に何と書いてあるかフッターの「利用規約」「Terms」自動取得を禁止していたら、やらない
③robots.txt はどうなっているかhttps://例のサイト/robots.txtDisallow の場所は取りに行かない
④そのデータは誰のものか中身を見て自分で判断(著作物か・個人情報か)他人の著作物・個人情報なら、扱いを変える or やらない

①が一番重要です。 ここで終われるなら、それが一番いい結末です。

① 公式APIがあるか — 見つかったらそこで終わり

先にこれを探します。 探し方は地味です。

  • サイトのフッターに「開発者」「API」「Developers」のリンクが無いか
  • サイト名 API で検索する
  • ドキュメントサイトに /api や /developers が無いか

見つかったら、スクレイピングは考えません。 理由は3つあり、どれも大きいです。

スクレイピング公式API
壊れやすさ相手がデザインを変えた瞬間に壊れる。 予告は無い壊れにくい。 仕様変更は普通、事前に告知される
速さ・軽さHTML全部(画像・CSS・JSも含む)を取って、必要な1%を抜く必要なデータだけがJSONで返る。 相手のサーバーも自分も軽い
立場「勝手に取っている」状態。 遮断されても文句は言えない「使っていい」と言われている状態。 レート制限も明示されている

「APIは登録が面倒だからスクレイピングにする」は、一番やってはいけない選び方です。 面倒なのは登録の10分だけで、そのあと壊れ続けるのはスクレイピングのほうです。

そして、APIには「どれだけ叩いていいか」が書いてあります。 これは大きな価値です。スクレイピングでは、どこまでが許容範囲なのかが誰にも分からないまま叩くことになります。

② 利用規約を読む

フッターの一番目立たないところにあります。 全部読む必要はありません。ブラウザの検索(Ctrl+F)で、この語を探します。

自動        スクレイピング      クローラー      ロボット
収集        複製              転載           API
automated   scraping          crawl          bot

よくある書き方は、たとえばこういう形です(書き方はサービスごとに違います)。

  • 「当社の事前の許可なく、自動化された手段により本サービスにアクセスすること」を禁止する
  • 「本サービスのコンテンツを複製・転載・再配布すること」を禁止する
  • 「取得したデータを商用目的で利用すること」を禁止する

私は弁護士ではないので、「これは違法です」という言い方はしません。 できるのは、判断材料を並べることまでです。そして、判断材料が「禁止と書いてある」なら、答えは考えるまでもありません。やらない、です。

灰色に見えたときの扱いは、後ろの「迷ったら運営に聞く」に書きます。

③ robots.txt を実際に読む — 自分のサイトで

robots.txt は、サイトの一番上の階層に置かれたテキストファイルです。

他人のサイトで練習しません。 ここでは自分のサイト(この記事を書いているサイト)のものを見ます。あなたが自分のドメインを持っているなら、自分のものに読み替えてください。 WordPress は何もしなくてもこれを自動で出しています。

VMの中で打ちます。

bash
$ curl -s https://obmes.com/robots.txt

返ってくるのは、こういう形のテキストです。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://obmes.com/wp-sitemap.xml

[スクリーンショット: 01_robots_txt.png] VMの中で curl -s https://obmes.com/robots.txt を実行し、User-agent: から始まる数行が返っている画面を撮ってください。

読み方はこれだけです。

行意味
User-agent: *以下のルールが、どのクローラー向けか。 * は「全部」。特定の名前が書いてあれば、そのクローラー向け
Disallow: /wp-admin/この下は取りに来ないでほしい、という表明
Allow: /...Disallow で塞いだ範囲の中の、ここだけは例外的にいい、という表明
Sitemap: ...ページの一覧がここにある、という案内。取っていい場所の地図でもある
Crawl-delay: 10リクエストの間隔を10秒空けてほしい、という表明(対応しないクローラーもある)

Disallow: / だけが書いてあったら、「サイト全体を取りに来ないでほしい」という意味です。

そして、ここが誤解されやすいところです。

robots.txt は、アクセスを技術的に禁止する仕組みではありません。 書いてあっても、curl は普通に通ります。 そして、これは「法律で決まっているから守る」というものでもありません。

では、なぜ守るのか。

サイトの運営者が、はっきり「取らないでほしい」と書いた場所だからです。 書いてあるものを読んだうえで無視した、という事実は残ります。 「知らなかった」は使えなくなります。

私の考えはこうです。 robots.txt は強制力の話ではなく、意思表示です。意思表示を読んだうえで踏み越えるなら、それは技術の問題ではなく、あなたが何をする人かという問題になります。 そして、Disallow を無視して取りに行ったログは、相手のサーバーにきっちり残ります。

もう1つ、実務的な理由があります。 Disallow に指定されている場所は、検索や大量アクセスを想定していない、重い処理であることが多いです(検索結果ページ、絞り込み、管理系)。そこを機械で連打すると、相手のサーバーに一番きつい形で負荷がかかります。

④ そのデータは誰のものか

最後に、取ろうとしているものの中身を見ます。 大きく2つを分けます。

種類例考えること
他人が書いた著作物記事本文、レビュー、写真、イラスト、楽曲取ることと、公開することは別。手元で読むのと、自分のサイトに並べ直すのは、まったく違う話
個人情報氏名、メールアドレス、電話番号、住所、SNSのアカウントと紐づく情報公開されている=集めていい、ではない。集めて名簿の形にした時点で、扱いが変わる
事実・数値価格、在庫数、駅名、営業時間比較的扱いやすいが、それを大量に集めたデータベース自体に権利が認められる場合がある

日本には、情報解析(データ分析)のための複製について定めた規定があります。 ただし「解析のためなら何でもいい」という話ではありません。 条件があり、解釈も一律ではありません。判断材料として、文化庁の著作権のページを一度見ておいてください(リンクは参考リンクに置きました)。

個人情報については、もっとはっきりした基準を持ってください。

迷ったら、個人情報は保存しない。 取らない、書き出さない、コミットしない。 「あとで使うかもしれないから」で個人情報をディスクに置くのは、セキュリティの回で見たとおり、自分の攻撃面を増やす行為です。 漏れたとき、責任を負うのはあなたです。


第2部 相手に迷惑をかけない技術(ここが本題)

①〜④が全部クリアできて、それでもスクレイピングが必要だとします。

ここからが本題です。 「取れる」コードを書くのは簡単ですが、「迷惑をかけない」コードを書くのは、意識しないと絶対にできません。 素直に書くと、間違いなく相手に一番きつい形になります。

迷惑をかけない5つ

#やることやらないとどうなるか
①リクエストの間隔を空ける(最低1〜数秒)for で回すと、1秒に何十回も叩く。 人間には不可能な速さ。相手から見れば攻撃と区別がつかない
②同時接続を1本に絞るPromise.all で20本同時に投げると、相手のサーバーが同時に20個の処理を抱える
③User-Agent に自分の連絡先を書く相手が「何だこれは」と思ったときに、聞く先が無い。 分からないものは、まず遮断される
④一度取ったものはキャッシュして、二度取らない試行錯誤のたびに相手のサーバーを叩く。 開発中が一番リクエスト数が多くなる
⑤夜間に無人で回さないバグで無限ループしたときに、誰も止めない。 朝になって何万リクエスト、が普通に起こる

①〜④を、実際のコードにします。 ⑤は運用の話なので、後ろで扱います。

① 間隔を空ける

const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));

for (const url of urls) {
  const html = await get(url);
  // ...処理...
  await sleep(2000);          // 2秒待つ
}

await sleep(2000) の1行です。 これだけで、1秒に何十回も叩くから2秒に1回になります。

非同期処理の回で「await は .then() の書き換え」だとやりました。 ここで sleep が効くのは、for の中の await は、1本ずつ順番に待つからです。 urls.forEach(async (u) => ...) にすると待ちません。 全部いっぺんに走ります。for ... of で書いてください。

間隔をどれくらいにするか。 robots.txt に Crawl-delay があればそれに従います。無ければ1〜数秒から始めて、急ぐ理由が無いなら長くします。 5秒でも10秒でも、機械は文句を言いません。

② 同時接続を絞る

Promise.all は便利ですが、スクレイピングでは使いません。

// ⚠️ やらない
const results = await Promise.all(urls.map((u) => get(u)));

これは20本のURLを、ほぼ同時に投げます。 相手のサーバーは20個の処理を同時に抱えます。「速い」のはこちらの都合で、相手にとっては一番きつい叩き方です。

上の for ... of で書けば、同時接続は自動的に1本になります。 それで十分です。

③ User-Agent に連絡先を書く

何も指定しないと、Node の fetch は素っ気ない値を送ります。 相手のアクセスログには「知らない何か」としか残りません。

const headers = {
  "User-Agent": "obmes-study-bot/1.0 (+https://example.com/my-bot; 学習目的)",
};
const res = await fetch(url, { headers });

書いているのは3つです。

  • 名前(obmes-study-bot/1.0)
  • 連絡先または説明ページのURL(+https://...)
  • 目的(学習目的)

これは「バレないようにする」の逆です。 はっきり名乗って、困ったら連絡してもらうためのものです。 相手が見て「まあいいか」と思えば通りますし、「困る」と思えば連絡が来ます。連絡が来るのは、良いことです。

ブラウザのふりをする User-Agent を書くのは、この記事ではやりません。 名乗るためのヘッダを、名乗らないために使うことになるからです。

④ キャッシュして二度取らない

開発中が、一番リクエスト数が多くなります。 抜き出すコードを直すたびに取り直していたら、同じページを50回叩くことになります。

やることは単純です。取ったHTMLをファイルに保存して、次からはそれを読みます。

import { readFile, writeFile, mkdir } from "node:fs/promises";
import { createHash } from "node:crypto";
import path from "node:path";

const CACHE_DIR = "cache";

async function get(url) {
  await mkdir(CACHE_DIR, { recursive: true });
  const key = createHash("sha256").update(url).digest("hex").slice(0, 16);
  const file = path.join(CACHE_DIR, key + ".html");

  try {
    const cached = await readFile(file, "utf8");
    console.log("cache hit :", url);
    return cached;
  } catch {
    // キャッシュが無いときだけ、実際に取りに行く
  }

  console.log("fetch     :", url);
  const res = await fetch(url, {
    headers: { "User-Agent": "obmes-study-bot/1.0 (+https://example.com/my-bot)" },
  });
  if (!res.ok) throw new Error("HTTP " + res.status + " : " + url);
  const html = await res.text();
  await writeFile(file, html, "utf8");
  await sleep(2000);
  return html;
}

ポイントが2つあります。

  • await sleep(2000) は、キャッシュヒットのときには通りません。 実際に取りに行ったときだけ待ちます。待つ理由は相手のためなので、取りに行かないなら待つ必要はありません
  • res.ok を見ています。 非同期処理の回でやったとおり、fetch は404や500では例外になりません。 見ないと、エラーページのHTMLをパースして「0件でした」を出すことになります

キャッシュの回でやった話が、ここでそのまま効きます。 一番速いリクエストは、送らないリクエストです。 そして一番迷惑をかけないリクエストも、送らないリクエストです。

⑤ 夜間に無人で回さない

「夜のうちに全部取っておこう」は、やりません。

理由は相手への配慮だけではありません。バグで無限ループしたときに、止める人がいないからです。

  • while の条件を間違えて、同じページを取り続ける
  • ページ送りの終端判定を間違えて、存在しないページを叩き続ける
  • キャッシュのキーを間違えて、毎回取りに行く

どれも普通に起こります。 そして朝になったとき、相手のログには数万件のアクセスが残っています。 これは、意図がどうであれ、業務妨害になりうる状態です。

学習中は、自分が画面を見ている時間に、少しずつ動かしてください。 それで困ることは、ほとんどありません。


第3部 自分のVMに練習用のページを立てる

ここからが手を動かすところです。 そして、対象は自分のVMの中のページだけです。

「練習だから、どこか適当なサイトで」をやりません。 練習の相手も、他人のサーバーだからです。

練習用のディレクトリを作る

VMの中で打ちます。

bash
$ mkdir -p ~/practice
$ cd ~/practice

商品一覧のHTMLを置く

~/practice/products.html を作ります。 VS Code Remote でも nano でも構いません。

<meta charset="utf-8">
<title>練習用の商品一覧</title>
<h1>練習用の商品一覧</h1>
<table id="products">
  <thead>
    <tr><th>商品名</th><th>価格</th><th>在庫</th></tr>
  </thead>
  <tbody>
    <tr><td class="name">USBハブ</td><td class="price">2480</td><td class="stock">12</td></tr>
    <tr><td class="name">HDMIケーブル 2m</td><td class="price">1180</td><td class="stock">40</td></tr>
    <tr><td class="name">SSD 1TB</td><td class="price">9800</td><td class="stock">3</td></tr>
    <tr><td class="name">キーボード, 日本語配列</td><td class="price">5600</td><td class="stock">0</td></tr>
    <tr><td class="name">マウスパッド</td><td class="price">890</td><td class="stock">120</td></tr>
    <tr><td class="name">LANケーブル 5m</td><td class="price">760</td><td class="stock">31</td></tr>
    <tr><td class="name">USB-C 充電器</td><td class="price">3200</td><td class="stock">7</td></tr>
    <tr><td class="name">モニタースタンド</td><td class="price">4400</td><td class="stock">2</td></tr>
  </tbody>
</table>

4行目の「キーボード, 日本語配列」に、わざとカンマを入れてあります。 CSVのところで効いてきます。

nginx から配る

nginx の回で入れたものを、そのまま使います。 既存のサイトは触らず、8080番に練習用の入口を足します。

設定ファイルを1枚作ります。

bash
$ sudo nano /etc/nginx/sites-available/practice.conf

中身はこれだけです。 <あなたのユーザー名> は whoami で出る名前に置き換えてください。

server {
    listen 127.0.0.1:8080;
    server_name localhost;
    root /home/<あなたのユーザー名>/practice;
    index products.html;
    autoindex on;
}

listen 127.0.0.1:8080; としています。 VMの中からしか繋がりません。 外に開ける理由が無いものは、開けない。 セキュリティの回でやった「攻撃面を増やさない」です。ufw を触る必要もありません。

有効にして、設定を確かめて、読み込み直します。

bash
$ sudo ln -s /etc/nginx/sites-available/practice.conf /etc/nginx/sites-enabled/
$ sudo nginx -t
$ sudo systemctl reload nginx

sudo nginx -t が syntax is ok と test is successful を返してから reload してください。 順番を逆にすると、動いていた nginx を壊した状態で再読み込みすることになります。

確認します。

bash
$ curl -s http://127.0.0.1:8080/products.html | head -5

HTMLの最初の数行が返れば成功です。

[スクリーンショット: 02_practice_curl.png] curl -s http://127.0.0.1:8080/products.html | head -5 を実行して、HTMLが返っている画面を撮ってください。

403 Forbidden が返った場合は、後ろの「つまずいたところ」を見てください。私はここで詰まりました。


第4部 取り出して、CSVにする

プロジェクトを作る

bash
$ mkdir -p ~/scrape && cd ~/scrape
$ npm init -y
$ npm pkg set type=module
$ npm install node-html-parser

npm pkg set type=module は、import を使えるようにするためです。 npm の回でやった package.json に1行足しているだけです。

なぜ正規表現でHTMLを解析しないのか

先にこれを潰しておきます。 検索すると、こういうコードが山ほど出てきます。

// ⚠️ やらない
const names = html.match(/<td class="name">(.*?)<\/td>/g);

これは動いてしまいます。 だから厄介です。そして、次のどれか1つが起きた瞬間に、静かに壊れます。

起きること結果
class="name" が class="name highlight" になった1件も取れなくなる("name" で完全一致しているため)
属性の順番が <td data-id="3" class="name"> に変わった取れる場合と取れない場合が出る
セルの中に <span> が入ったタグごと文字列として取れてしまう
商品名に < や > が含まれていた途中で切れる
改行が入って <td class="name">\n USBハブ になった前後の空白ごと取れる

根本的な理由は1つです。

HTMLは「入れ子になった構造」で、正規表現は「入れ子」を扱えません。 正規表現は平らな文字列の並びを探す道具です。<div> の中の <div> の中の <div> を正しく数えることが、原理的にできません。

やることは決まっています。パーサに渡して、構造として扱います。 そうすれば、DOMの回で覚えた querySelectorAll がそのまま使えます。

取り出す

~/scrape/scrape.mjs を作ります。

import { parse } from "node-html-parser";
import { readFile, writeFile, mkdir } from "node:fs/promises";
import { createHash } from "node:crypto";
import path from "node:path";

const TARGET = "http://127.0.0.1:8080/products.html";
const UA = "obmes-study-bot/1.0 (+https://example.com/my-bot; 学習目的)";
const CACHE_DIR = "cache";

const sleep = (ms) => new Promise((resolve) => setTimeout(resolve, ms));

async function get(url) {
  await mkdir(CACHE_DIR, { recursive: true });
  const key = createHash("sha256").update(url).digest("hex").slice(0, 16);
  const file = path.join(CACHE_DIR, key + ".html");

  try {
    return await readFile(file, "utf8");
  } catch {
    // キャッシュが無いときだけ取りに行く
  }

  const res = await fetch(url, { headers: { "User-Agent": UA } });
  if (!res.ok) throw new Error("HTTP " + res.status + " : " + url);
  const html = await res.text();
  await writeFile(file, html, "utf8");
  await sleep(2000);
  return html;
}

function extract(html) {
  const root = parse(html);
  const rows = root.querySelectorAll("#products tbody tr");

  return rows.map((tr) => ({
    name: tr.querySelector(".name")?.text.trim() ?? "",
    price: Number(tr.querySelector(".price")?.text.trim()),
    stock: Number(tr.querySelector(".stock")?.text.trim()),
  }));
}

const items = extract(await get(TARGET));
console.log(items);
console.log("件数:", items.length);

動かします。

bash
$ node scrape.mjs

8件のオブジェクトと 件数: 8 が出れば成功です。

[スクリーンショット: 03_scrape_result.png] node scrape.mjs を実行して、8件のデータと 件数: 8 が出ている画面を撮ってください。

もう一度打ってください。

bash
$ node scrape.mjs

2回目は cache/ から読むので、nginx には1度もリクエストが飛びません。 nginx のアクセスログを見れば分かります。

bash
$ sudo tail -3 /var/log/nginx/access.log

?. と ?? は、DOMの回で踏んだ Cannot read properties of null を避けるためのものです。 tr.querySelector(".name") は、そのセルが無ければ null を返します。 ?. を付けておくと、そこで落ちずに undefined になり、?? が "" に置き換えます。 ただし「落ちない」ことは、良いことばかりではありません。 後ろの「第6部 壊れる前提で作る」で回収します。

CSVに書き出す

~/scrape/scrape.mjs をコピーして ~/scrape/to-csv.mjs を作り(cp ~/scrape/scrape.mjs ~/scrape/to-csv.mjs)、末尾の2行(console.log の2行)を、下のコードに差し替えます。 下のコードだけでは import や get・extract が無いので動きません。第6部ではこの to-csv.mjs を動かすので、1本で動くファイルにしておいてください。 書いたら cd ~/scrape で node to-csv.mjs を実行します。

function toCsvValue(v) {
  const s = String(v ?? "");
  // カンマ・引用符・改行のどれかが入っていたら、全体を "" で囲む
  if (/[",\r\n]/.test(s)) {
    return '"' + s.replaceAll('"', '""') + '"';
  }
  return s;
}

function toCsv(rows, columns) {
  const lines = [columns.join(",")];
  for (const row of rows) {
    lines.push(columns.map((c) => toCsvValue(row[c])).join(","));
  }
  return lines.join("\r\n") + "\r\n";
}

await writeFile("products.csv", toCsv(items, ["name", "price", "stock"]), "utf8");
console.log("products.csv を書きました:", items.length, "件");

確認します。

bash
$ cat ~/scrape/products.csv

キーボード, 日本語配列 の行が、こうなっているはずです。

"キーボード, 日本語配列",5600,0

CSVで最初に踏むのは、ここです。 join(",") だけで書くと、カンマを含む値が2列に割れます。 1行に3列あるはずが4列になり、表計算ソフトで開いたときに全部ずれます。 しかもエラーは出ません。 値を囲む引用符自体が値に含まれていたら、"" と2つ重ねるのがCSVの決まりです。

中身をざっと見るなら、テキスト処理の回の道具がそのまま使えます。

bash
$ awk -F, 'NR>1 {print $NF}' ~/scrape/products.csv | sort | uniq -c

第5部 JavaScriptで作られるページ

curl では取れないページがある

SSRの回で、これをやりました。

curl で取れるHTMLと、ブラウザで見えている画面は、別物です。

スクレイピングで、これが正面から効いてきます。 確かめます。

~/practice/dynamic.html を作ります。

<meta charset="utf-8">
<title>練習用(JavaScriptで作る)</title>
<h1>練習用の商品一覧(あとから作られる)</h1>
<table id="products">
  <thead>
    <tr><th>商品名</th><th>価格</th><th>在庫</th></tr>
  </thead>
  <tbody></tbody>
</table>
<script>
  const data = [
    { name: "USBハブ", price: 2480, stock: 12 },
    { name: "SSD 1TB", price: 9800, stock: 3 },
    { name: "USB-C 充電器", price: 3200, stock: 7 },
  ];
  setTimeout(() => {
    const tbody = document.querySelector("#products tbody");
    for (const d of data) {
      const tr = document.createElement("tr");
      tr.innerHTML =
        '<td class="name"></td><td class="price"></td><td class="stock"></td>';
      tr.querySelector(".name").textContent = d.name;
      tr.querySelector(".price").textContent = d.price;
      tr.querySelector(".stock").textContent = d.stock;
      tbody.appendChild(tr);
    }
  }, 800);
</script>

setTimeout で 0.8 秒遅らせています。 実際のサイトが、APIを叩いてからデータを描くのと同じ形です。

curl で取ってみます。

bash
$ curl -s http://127.0.0.1:8080/dynamic.html | grep -c 'class="name"'

返るのは 1 です(<script> の中の文字列が1つ引っかかるだけ)。<tbody> は空のままです。

fetch で取れるのは、サーバーが返したHTMLだけです。 JavaScriptは実行されません。 だから、ブラウザで見えているものは1行も入っていません。

Playwright を使う

E2Eの回で入れた道具が、そのまま使えます。 やることは同じです。本物のブラウザを、画面なしで動かして、描き終わったHTMLを取る。

bash
$ cd ~/scrape
$ npm install playwright

ブラウザ本体は E2Eの回でダウンロード済みなら、~/.cache/ms-playwright/ にあるので再ダウンロードされません。 入っていないと言われたら npx playwright install chromium --with-deps を打ってください。

~/scrape/scrape-dynamic.mjs を作ります。

import { chromium } from "playwright";
import { parse } from "node-html-parser";

const TARGET = "http://127.0.0.1:8080/dynamic.html";
const UA = "obmes-study-bot/1.0 (+https://example.com/my-bot; 学習目的)";

const browser = await chromium.launch();
const context = await browser.newContext({ userAgent: UA });
const page = await context.newPage();

await page.goto(TARGET);

// ⚠️ sleep で待たない。「出るまで待つ」を書く
await page.waitForSelector("#products tbody tr");

const html = await page.content();
await browser.close();

const rows = parse(html).querySelectorAll("#products tbody tr");
const items = rows.map((tr) => ({
  name: tr.querySelector(".name")?.text.trim() ?? "",
  price: Number(tr.querySelector(".price")?.text.trim()),
  stock: Number(tr.querySelector(".stock")?.text.trim()),
}));

console.log(items);
console.log("件数:", items.length);
bash
$ node scrape-dynamic.mjs

3件が返れば成功です。

[スクリーンショット: 04_playwright_result.png] node scrape-dynamic.mjs を実行して、3件のデータと 件数: 3 が出ている画面を撮ってください。

E2Eの回の教訓が、そのまま効いています。

await page.waitForTimeout(1000) で待たないでください。 相手の回線が遅い日に、静かに0件になります。 そして「たまに0件」は、一番気づけない壊れ方です。 待つのは時間ではなく、「出てくること」です。

そして、Playwright には代償があります。

fetch + パーサPlaywright
速さ1ページ0.1秒程度起動だけで数秒。 1ページあたりも桁違いに遅い
相手への負荷HTMLを1回取るだけCSS・画像・JS・API、ブラウザが読むものを全部取る。リクエスト数が10倍以上になることも
メモリ数十MB数百MB

だから、順番はこうです。 まず curl で取ってみる。中身が入っていれば、Playwright は要りません。 「とりあえずブラウザで」から始めると、相手にも自分にも一番重いやり方を、必要ないのに選ぶことになります。

そして、もう1つ。 curl で中身が空だったとき、ブラウザに行く前に見る場所があります。

開発者ツールの Network タブです。 SSRの回でやったとおり、画面がJavaScriptで作られているなら、そのデータはどこかのAPIから来ています。 そのAPIが公開されていて、規約上も問題が無いなら、HTMLをパースするより、はるかに堅いです。①の「公式APIがあるか」に戻る、ということです。


第6部 壊れる前提で作る

HTMLは、相手の都合でいつでも変わる

あなたが書いた #products tbody tr は、相手にとっては何の約束でもありません。

  • デザインを変えた
  • テーブルをやめて div のカードにした
  • クラス名を name から product-name にした
  • 商品が1件も無い日があった
  • ログインしていない人には出さないようにした

どれも予告なく起こります。 そして、そのときに何が起きるかが問題です。

const rows = root.querySelectorAll("#products tbody tr");   // → []
return rows.map(...);                                        // → []

エラーは出ません。0件 が返るだけです。 そして products.csv は、ヘッダ行だけの正常なファイルとして上書きされます。

これが一番まずい壊れ方です。 落ちてくれたほうが、まだ良いのです。

壊れ方気づけるか
例外を投げて止まるすぐ気づく。 一番良い
0件のCSVを書く気づかない。 「今日は売れ筋が無かったのか」で終わる
一部の列だけ空文字になる一番気づかない。 データはあるので、集計まで通ってしまう

さっき ?. と ?? で「落ちないように」書きました。 あれは、放っておくと3番目の壊れ方を作ります。

件数チェックと必須項目チェックを入れる

やることは単純です。「おかしかったら止める」を書きます。

function validate(items, { min = 1 } = {}) {
  const problems = [];

  // ① 件数チェック
  if (items.length < min) {
    problems.push(`件数が少なすぎます: ${items.length} 件(最低 ${min} 件のはず)`);
  }

  // ② 必須項目チェック
  items.forEach((item, i) => {
    if (!item.name) problems.push(`${i} 行目: name が空です`);
    if (!Number.isFinite(item.price)) problems.push(`${i} 行目: price が数値になっていません`);
    if (!Number.isFinite(item.stock)) problems.push(`${i} 行目: stock が数値になっていません`);
  });

  if (problems.length > 0) {
    console.error("取り出しに失敗している可能性があります:");
    for (const p of problems) console.error("  -", p);
    console.error("HTMLの構造が変わったかもしれません。cache/ の中身を見てください。");
    process.exit(1);          // ⚠️ 0以外で終わる = 失敗として扱われる
  }
}

validate(items, { min: 5 });
await writeFile("products.csv", toCsv(items, ["name", "price", "stock"]), "utf8");

試してみます。 ~/practice/products.html の class="name" を class="product-name" に全部書き換えて、キャッシュを消してから動かしてください。

bash
$ rm -rf ~/scrape/cache
$ node ~/scrape/to-csv.mjs
$ echo "終了コード: $?"

0 行目: name が空です から 7 行目: name が空です までの8件が並び、終了コード: 1 が出ます。 products.csv は上書きされません。

[スクリーンショット: 05_validate_failed.png] HTMLを書き換えたあとに実行して、name が空です が並び、終了コードが 1 になっている画面を撮ってください。

確認できたら、HTMLを class="name" に戻しておいてください。

process.exit(1) にしているのが要点です。 終了コードが0以外なら、「失敗した」として扱われます。 手で動かしているうちは目で見れば済みますが、自動で回すようになった瞬間、これが唯一の「壊れました」の伝え方になります。

min の決め方は、「絶対にこれ以下にはならない」という数字を入れます。 8件のはずなら5、100件のはずなら50。厳しすぎると誤検知で止まり、緩すぎると気づけません。


第7部 取ったデータをどう扱うか

3つだけ守る

#やること理由
①再配布しない取ることと、公開することは別の話。 自分のサイトに並べ直した時点で、まったく違う行為になる
②個人情報を保存しない公開されている=集めていい、ではない。 集めて名簿にした時点で、扱う責任が生まれる
③出典を書くいつ・どこから取ったかが無いデータは、あとで自分が信用できない

③は、地味ですが実務では一番効きます。 CSVと一緒に、こういうファイルを必ず置いてください。

await writeFile(
  "products.meta.json",
  JSON.stringify(
    {
      source: TARGET,
      fetched_at: new Date().toISOString(),
      count: items.length,
      note: "自分のVM内の練習用ページ。外部サイトは対象外",
    },
    null,
    2
  ),
  "utf8"
);

半年後に products.csv だけが出てきたとき、これが無いと「いつの、どこの数字か分からないデータ」になります。 使えません。

cache/ と .csv を Git に入れない

~/scrape/.gitignore を作ります。

node_modules/
cache/
*.csv
products.meta.json

取ってきたHTMLとデータを、そのままGitHubに上げないでください。 再配布そのものになります。 セキュリティの回でやった「秘密の値をコミットしない」と同じ扱いです。 リポジトリに置くのはコードだけにします。


第8部 やってはいけないこと

ここは、迷ったら見返す場所として、はっきり書きます。

やらないことなぜ
ログインが必要なページを、プログラムで取るログインした時点で、あなたは利用規約に同意しています。 「自動取得の禁止」に同意していることがほとんどです
有料コンテンツを取るお金を払って見るものを、機械で吸い出す行為です。規約以前の問題です
robots.txt の Disallow にある場所を取る運営が「取らないでほしい」と書いた場所です。読んだうえで踏み越えることになります
短時間に大量のリクエストを送る相手のサービスが遅くなる・止まることがあります。業務妨害になりうる行為です。「わざとではない」は、相手のサーバーには関係ありません
個人情報を集めて溜める名簿を作る行為です。目的が何であれ、扱いがまったく変わります
アクセスを制限する仕組みを、迂回しようとする相手が「ここまで」と線を引いたところです。線を引かれたら、そこで止まります
取ったものを、自分のコンテンツとして公開する出典を書いても、本文をそのまま並べ直すのは転載です

最後の1つについて、この記事の考え方を書いておきます。

アクセス制限を迂回する技術は、この記事では扱いません。 書き方も紹介しません。 理由は、「難しいから」ではありません。 相手が線を引いたという事実そのものが、答えだからです。 迂回できるかどうかは、やっていいかどうかと1ミリも関係がありません。


迷ったら運営に聞く

灰色に見えたときの、一番早い方法です。

規約を10回読み直しても、たいてい答えは出ません。 規約は「自動取得を禁止する」としか書いておらず、あなたのやりたいことがそれに当たるのかどうかは書いていないからです。

そういうときは、問い合わせフォームから聞きます。

件名: データの自動取得について(学習目的)

はじめまして。個人でプログラミングを学習している者です。

貴サイトの「商品一覧」ページ(https://... )に掲載されている
価格情報を、学習用のプログラムで取得したいと考えています。

- 目的: プログラミング学習。取得したデータは自分の手元での集計のみに使い、
  再配布・公開はいたしません
- 頻度: 1日1回、5秒以上の間隔をあけて、合計20ページ程度
- 名乗り: User-Agent に「(名前) (+連絡先URL)」を入れます

公式のAPIなど、より適切な方法がございましたら、そちらを使わせていただきます。
可否についてご教示いただけますでしょうか。

「聞いたら断られるかもしれない」と思うかもしれません。 そのとおりです。そして、それが正しい結果です。

  • 「いいですよ」と返ってきたら、堂々とやれます。ログに残っても説明できます
  • 「困ります」と返ってきたら、やらずに済みます。遮断されてから知るより、ずっと安い
  • 返事が来なかったら、「聞いたけど返事が無かったので、やっていい」にはなりません。同意が無いことに変わりはありません

私の経験では、聞くのが一番早いです。 規約を読み込む時間より、メールを1本書く時間のほうが短く、しかも答えが確実です。 そして「公式にAPIがあります」という返事が返ってくることが、けっこうあります。 ①に戻れます。


つまずいたところ

遠回りしたところを、そのまま書きます。

nginx が 403 Forbidden を返した(~/practice を root にしたせい)

設定は合っているのに、curl が 403 を返しました。 ログを見ました。

bash
$ sudo tail -3 /var/log/nginx/error.log
Permission denied) ... "/home/ubuntu/practice/products.html" failed

原因は、ホームディレクトリの権限でした。

bash
$ ls -ld ~
drwxr-x--- 5 ubuntu ubuntu 4096 Sep 15 10:12 /home/ubuntu

最後の3桁(その他のユーザー)が --- です。 nginx は www-data というユーザーで動いているので、そもそもホームディレクトリを通り抜けられません。 パーミッションの回でやった rwx の、ディレクトリに対する x(=通り抜ける権限)です。

直し方は2つあります。

bash
$ # A: ホームディレクトリに「通り抜けだけ」を許す(中身の一覧は見せない)
$ sudo chmod o+x ~
bash
$ # B: そもそもホームに置かない(こちらが普通)
$ sudo mkdir -p /var/www/practice
$ sudo cp ~/practice/*.html /var/www/practice/

A の o+x は、o+r ではありません。 x はディレクトリを通り抜ける権限、r は中身の一覧を見る権限です。通り抜けだけ許して、一覧は見せない、という指定です。

chmod 777 ~ は絶対にやらないでください。 検索すると出てきますが、ホームディレクトリを誰でも書き換えられる状態にするという意味です。練習用のHTMLを配るために払う代償ではありません。

この記事では A を使いました。 後片づけで元に戻します。

Promise.all で20本同時に投げて、自分のVMを詰まらせた

練習用のページを20個作って、Promise.all で回しました。

相手は自分のVMの nginx です。 それでもレスポンスが目に見えて遅くなり、同じVMで動かしていた別のサービスが一瞬落ちました。

自分のマシンですらこうなります。 本番で動いている他人のサーバーに、同じことをしたらどうなるか、という話です。 for ... of に書き換えて、await sleep(2000) を入れたら、当たり前ですが何も起きませんでした。

forEach(async ...) で書いて、間隔がまったく空かなかった

sleep は入れたのに、ログが一瞬で全部流れました。

// ⚠️ 待たない
urls.forEach(async (url) => {
  await get(url);
  await sleep(2000);
});

forEach は、渡した関数が async でも待ちません。 全部いっぺんに起動して、すぐ次に進みます。 非同期処理の回でやった「予約して先に進む」が、ここで牙を剥きます。 sleep は動いていますが、20本が「同時に2秒待っている」だけです。間隔はゼロのままでした。 直し方は for (const url of urls) { ... } にするだけです。

fetch が404を返しているのに、「0件でした」と出た

ファイル名を product.html と打ち間違えていました。 nginx は404のHTMLを返します。

そして最初のコードには res.ok のチェックがありませんでした。 404ページのHTMLがパーサに渡り、#products tbody tr が0件で、件数: 0 と表示されて正常終了しました。

fetch は404でも例外を投げません。 非同期処理の回に書いたとおりです。 if (!res.ok) throw ... の1行が無いだけで、「間違ったデータを静かに出す」が完成します。 しかも、404のHTMLがそのまま cache/ に保存されていました。 次からはキャッシュヒットするので、URLを直しても直りませんでした。 キャッシュに保存するのは、成功したときだけにしてください。

正規表現で書いたコードが、class を1文字足しただけで0件になった

最初は html.match(/<td class="name">(.*?)<\/td>/g) で書いていました。動いていました。

練習用HTMLの1行だけ class="name highlight" にしたところ、その行だけ取れなくなりました。

「HTMLが変わったら壊れる」を、1文字で再現できてしまった、ということです。 パーサに変えたら、.name は class="name highlight" でもちゃんと当たりました。 CSSのセレクタと同じ挙動です。 正規表現は悪い道具ではありません。テキスト処理の回で使ったとおり、行の中の文字列を探すには最適です。HTMLの構造を辿るのには向いていない、というだけです。

CSVがずれていることに、表計算ソフトで開くまで気づかなかった

join(",") だけで書いていました。 キーボード, 日本語配列 の行だけ、4列になっていました。

プログラムはエラーを出しません。 見た目もそれらしいテキストです。表計算ソフトで開いて、価格の列に「日本語配列」が入っているのを見て、初めて気づきました。

データの壊れ方は、こういう顔をしています。 落ちません。それらしく見えます。 validate の「必須項目チェック」を書いたのは、これを踏んだからです。

後片づけ

練習用に立てたものを、全部片づけます。

bash
$ sudo rm /etc/nginx/sites-enabled/practice.conf
$ sudo rm /etc/nginx/sites-available/practice.conf
$ sudo nginx -t
$ sudo systemctl reload nginx

8080番が閉じたことを確認します。

bash
$ curl -s -o /dev/null -w "%{http_code}\n" http://127.0.0.1:8080/products.html

繋がらない(000 が出る、または接続拒否)ようになれば成功です。

ホームディレクトリの権限を戻します(つまずいたところの A をやった場合)。

bash
$ sudo chmod o-x ~
$ ls -ld ~

練習用のファイルと、取ったデータを消します。

bash
$ rm -rf ~/practice
$ rm -rf ~/scrape/cache ~/scrape/products.csv ~/scrape/products.meta.json

~/scrape のコードは残して構いません。 cache/ と .csv だけは消してください。 残しておく理由がありません。

今回、外部のサイトには1度もリクエストを送っていません。 送ったのは robots.txt を1回読んだだけで、それも自分のサイトです。 後片づけで「相手に謝る」が要らないのは、そういう作り方をしたからです。

まとめ

  • 「取れるか」と「取っていいか」は別の問題。 技術は後者を何も保証しない
  • 確かめる順番は決まっている: 公式API → 利用規約 → robots.txt → データの持ち主。 どれか1つでも赤なら、そこで止まる
  • 公式APIがあるなら、そちらを使う。ここで終わり。 壊れない・速い・相手のサーバーも軽い・怒られない
  • 「登録が面倒だからスクレイピング」は、一番やってはいけない選び方。 面倒なのは登録の10分だけで、壊れ続けるのはスクレイピングのほう
  • 利用規約は Ctrl+F で「自動」「収集」「複製」「scraping」を探す。 禁止と書いてあれば、考えるまでもない
  • robots.txt は法的な強制力の話ではない。 ただし運営が「取らないでほしい」と書いた意思表示で、無視する理由にはならない
  • Disallow の場所は、たいてい重い処理。 そこを連打すると、相手に一番きつい形で負荷がかかる
  • 公開されている=集めていい、ではない。 個人情報は、迷ったら保存しない
  • 本題はマナーの実装。 間隔を空ける・同時接続を1本に絞る・User-Agent に連絡先を書く・キャッシュして二度取らない・夜間に無人で回さない
  • for ... of の中の await sleep(2000) が要。 forEach(async ...) にすると待たない
  • Promise.all は使わない。 「速い」のはこちらの都合で、相手には一番きつい叩き方
  • User-Agent は名乗るために書く。 ブラウザのふりをするために書かない
  • 一番迷惑をかけないリクエストは、送らないリクエスト。 開発中こそキャッシュを効かせる
  • fetch は404でも例外を投げない。 if (!res.ok) throw が無いと、エラーページを解析して「0件でした」と出る
  • キャッシュに保存するのは、成功したときだけ。 404をキャッシュすると、URLを直しても直らない
  • 正規表現でHTMLを解析しない。 HTMLは入れ子の構造で、正規表現は入れ子を扱えない。class が1文字増えただけで0件になる
  • パーサに渡せば querySelectorAll が使える。 DOMの回で覚えたものが、そのまま効く
  • CSVは join(",") だけで書かない。 カンマを含む値が列を割る。 囲む・引用符は2つ重ねる
  • curl で中身が空なら、まず Network タブを見る。 データの出どころのAPIが見つかることがある(①に戻れる)
  • Playwright は最後の手段。 遅く、重く、相手へのリクエストも桁違いに増える
  • Playwright でも waitForTimeout で待たない。 「出るまで待つ」を書く。時間で待つと、静かに0件になる日が来る
  • HTMLは相手の都合でいつでも変わる。 そのとき例外で止まるのが一番良く、0件のCSVを黙って書くのが一番悪い
  • ?. と ?? は落ちなくするが、「一部だけ空文字」という一番気づけない壊れ方を作る。 validate で受け止める
  • 件数チェックと必須項目チェックを入れて、process.exit(1) で落とす。 終了コードが唯一の「壊れました」の伝え方になる
  • 取ったデータは再配布しない・個人情報を保存しない・出典(いつ・どこから)を必ず残す
  • cache/ と .csv を Git に入れない。 再配布そのものになる
  • ログインが要るページ・有料コンテンツ・Disallow の場所・短時間の大量アクセス・個人情報の収集は、やらない
  • アクセス制限を迂回できるかどうかは、やっていいかどうかと関係がない。 線が引かれたら、そこで止まる
  • 迷ったら運営に聞く。 規約を10回読むより、メール1本のほうが早くて確実。「公式にAPIがあります」と返ってくることも多い
  • 練習の相手は、自分のVMの中に立てたページ。 「練習だから」で他人のサーバーを叩かない

参考リンク


次に読む

この記事は 【第9段階】作品を1つ完成させる の 9 / 10 本目です。

記事
← 前の記事Webhookは向こうから来る — Botと署名検証
→ 次の記事cronは動かなくても何も言わない — 定期実行とsystemd timer

上から順に読めば積み上がるように並べています。 飛ばしても構いませんが、詰まったら前の回に戻ってください。

全体の順路は はじめに にあります。

roadmap.sh のどこをやっているか

自動化。スクレイピングは roadmap.sh の項目ではなく、線引きの話が主。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次