ベンチマークとは

ベンチマークには、数学の問題を解かせて正答率を測るもの、コード生成の正確さを採点するもの、複数ステップの作業をどこまで完遂できるかを見るものなど、目的別に多様な種類があります。AIコーディングエージェントを選ぶ際は、コーディング系ベンチマークのスコアが判断材料の一つになります。

ただし、ベンチマークのスコアが高いからといって、あらゆる作業で必ず優れているとは限りません。実際の開発ではハルシネーションの起きやすさや自分の開発環境との相性も重要なので、スコアだけに頼らず評価（Evals）を通じて実際の使用感を確かめることが大切です。