2026年6月20日
オンプレミス環境における推論最適化の取り組み
研究開発部 第2開発室の大野です。オンプレミス環境での推論最適化について、この半年の取り組みをご紹介します。
『Tokoyo1』はクラウドAPIに加えて、お客様の環境内に設置するオンプレミス提供に対応しています。金融・公共分野では「データを社外に出せない」という要件が絶対条件になることが多く、この形態のご要望は年々増えています。
限られたリソースで応答速度を確保する
クラウドと違い、オンプレミスでは使えるGPUの枚数が最初から決まっています。潤沢とは言えない環境で、いかに実用的な応答速度を出すか。ここが最大の課題でした。
取り組んだのは大きく3点です。ひとつは量子化。精度への影響を評価しながら、重みの表現を段階的に圧縮しました。ふたつめはバッチ処理の見直し。同時に届いたリクエストをまとめて処理することで、GPUの待ち時間を減らしています。みっつめはKVキャッシュの管理方針の変更です。
結果
これらの積み重ねにより、平均応答時間を従来比で約40%短縮することができました。同時接続数の多い時間帯でも、体感的な引っかかりはほぼ解消しています。
詳細な測定条件は、社内の文書管理システムに TD-DOC-2604-0620 として登録しています。社内の方は文書番号でご照会ください。
一方で、量子化による精度低下が特定のタスクで無視できない水準になるケースも確認されました。この点は近藤が評価の枠組みを整備してくれており、別途報告があると思います。
今後
推論基盤は、モデルの性能を「実際に使える速度」に変換する装置です。どれだけ賢いモデルでも、返ってこなければ意味がない。地味な作業ですが、ここを詰めることが製品の価値に直結すると考えています。