LLMは検索ではない — 埋め込みとRAGを手で書く
「自分のドキュメントについて答えさせたい」は誰もが最初に思うことですが、素のLLMにはできません。理由は「次の1語を確率で選んでいる」ことと「文脈ウィンドウに全部は入らない」ことの2つです。そこから出てくるのがRAGです。この記事の山場は、埋め込み(ベクトル)を自分で扱うところ。コサイン類似度をライブラリ無しで10行書き、全文検索の回で見た「値段」と「価格」が別物になる問題を、数字で確かめます。APIキーが要る部分は全部「任意」にしてあり、キーが無くても最後まで手が動きます。従量課金の防ぎ方、チャンクの切り方で答えが変わること、そして「検索で足りるならRAGは要らない」まで。