文字化け– tag –
-
コンピュータ科学 深掘り
文字コードとUTF-8 — 化けたのは読み方だけ
Windows で作った CSV を VM にコピーして開いたら、全部読めない記号になっていました。ファイルが壊れたのだと思って作り直しましたが、壊れていたのは私の読み方でした。この記事では ASCII の表を実際に出して「文字は数字だった」ところから始め、iconv でわざと化けさせ、xxd でバイト列そのものを見て「中身は1バイトも変わっていない」ことを確かめます。そのあと Unicode のコードポイントと UTF-8 の関係を Node.js で測り、絵文字の文字数が数えられない理由(サロゲートペア・書記素クラスタ・NFC / NFD)まで進みます。最後に BOM で JSON のパースとシェルスクリプトを実際に壊して直し、HTML・HTTP・MySQL・Node.js のどこで文字コードを宣言するのかを1枚の表にします。作業は VM の ~/cslab/enc の中だけで行い、最後に消します。 -
データベース
文字化けは壊れたのではない — 文字コードとUTF-8
文字化けは「データが壊れた」のではなく、「書いたときと読むときで解釈の表が違う」だけです。まず od で「あ」が3バイトの数字であることを見て、文字集合と符号化方式が別物であることを整理します。そのうえで iconv でわざと化けさせ、化け方のパターンから元の文字コードを当てて直します。後半は MySQL の utf8 が UTF-8 ではない話(絵文字で Incorrect string value を実際に起こします)、照合順序の読み方、索引の長さ制限、CRLF と LF、BOM、HTTP ヘッダと meta charset はどちらが勝つか、そして "𩸽".length が 2 になる理由まで。
1