文字コードとUTF-8 — 化けたのは読み方だけ
Windows で作った CSV を VM にコピーして開いたら、全部読めない記号になっていました。ファイルが壊れたのだと思って作り直しましたが、壊れていたのは私の読み方でした。この記事では ASCII の表を実際に出して「文字は数字だった」ところから始め、iconv でわざと化けさせ、xxd でバイト列そのものを見て「中身は1バイトも変わっていない」ことを確かめます。そのあと Unicode のコードポイントと UTF-8 の関係を Node.js で測り、絵文字の文字数が数えられない理由(サロゲートペア・書記素クラスタ・NFC / NFD)まで進みます。最後に BOM で JSON のパースとシェルスクリプトを実際に壊して直し、HTML・HTTP・MySQL・Node.js のどこで文字コードを宣言するのかを1枚の表にします。作業は VM の ~/cslab/enc の中だけで行い、最後に消します。