推論（インファレンス）とは

私たちが日常的にAIチャットに質問を投げて回答を得るとき、裏側で行われているのがこの推論処理です。推論には計算資源（GPUやCPU、時間）が必要で、モデルの規模が大きいほど1回あたりのコストや応答時間が増える傾向があります。

AIコーディングエージェントを使っていて応答が遅い、あるいはAPIの利用料が発生すると感じたことがあれば、それは推論にかかっているコストです。用途に応じてモデルサイズや温度パラメータなどの設定を調整すると、速度や精度のバランスを取れます。