fetch– tag –
-
自動化スクリプト
スクレイピングは技術より先に線引き — 練習は自分のVMで
「このデータが欲しい」と思ったとき、最初にやることはコードを書くことではありません。公式APIがあるか、利用規約は何と言っているか、robots.txt はどうなっているか、そのデータは誰のものか。この4つを先に確かめます。そのうえで、相手に迷惑をかけないための技術(間隔を空ける・同時接続を絞る・連絡先を名乗る・キャッシュする)を本題として扱い、練習は他人のサイトではなく自分のVMに立てた練習用ページに対してだけ行います。fetch とパースでCSVに書き出すところまでと、JavaScriptで組み立てられるページを Playwright で取るところまで。最後は「HTMLは相手の都合で変わる」前提で、壊れたときに黙って間違ったデータを出さない作りにします。 -
フロントエンド
fetchの結果が undefined — 非同期処理の基本
取ってきたデータを console.log すると undefined になる。コードは合っているのに値が入らない。結果が後から来るという JavaScript の仕組みと、Promise・async/await・fetch の落とし穴を、VMの中だけで完結させて確かめます。
1