このページは準備中です

このページのコンテンツは準備中です。トークンは、AIが文章を処理する際に扱う最小単位で、単語よりも細かく区切られることが多い文字列の断片です。関連する用語はコンテキストウィンドウやトークナイザーをご覧ください。AIモデルの基礎は大規模言語モデル（LLM）、他の用語はAI用語集トップで確認できます。