トークナイザーとは

トークナイザーは、文章を単語よりも細かい単位に区切ってAIモデルに渡します。日本語は英語に比べて1文字あたりのトークン数が多くなりやすく、同じ内容でも言語によって処理されるトークン数が変わることがあります。

AIコーディングエージェントの利用料金や応答速度は、入出力される推論（インファレンス）処理のトークン数に応じて変わることが多く、長いファイルを一度に読み込ませると処理が重くなる原因にもなります。AIコーディングエージェントを使う際は、この仕組みを知っておくと挙動を理解しやすくなります。