ローカルLLM/GPU実測ベンチマークの検証環境と評価方法について
当ブログにおけるローカルLLMおよびGPUの実測ベンチマーク環境、評価指標、動作検証サンプルの概要を紹介します。
ローカルLLM/GPU の実測ベンチ記事(local-llm)と、株自動売買システムの開発記(stock-dev)を随時更新しています。
当ブログにおけるローカルLLMおよびGPUの実測ベンチマーク環境、評価指標、動作検証サンプルの概要を紹介します。
モデルごとのトークン/秒・VRAM使用量などを、実機での再現手順つきで公開しています。