ローカル LLM 雑感 (2026-08)
NVIDIA DGX Spark 互換機 (以下 Spark) を 2 台購入し、クラスター起動して ローカルで DeepSeek V4 Flash 0731 の運用を開始したので雑感を書いて行く。
前提
悪いのでそもそもコスパを検討するなら API 利用をすべきなので、コスト面でのメリットはとても薄い。
速度
まずローカル LLM の一番気になっていた「速度」だが「仕事で十分利用できるレベル」という判断になった。
安定している
ローカル LLM は主に社員に使って貰っており、社員からは「今まで API で利用していたのと特に違和感なく利用できている。API の料金やサブスクの制限を考えず、完全クローズド環境で使える安心感はとても良い」とのフィードバックを貰った。
安定面
以下のレシピを使わせて頂いている。
MiaAI-Lab
大きめの変更としてはコンテキストサイズを 1M から 512K に変更している。これは数万リクエスト使ってみて 512K を超えた利用が 0 だったためだ。
この変更以外はそのまま利用しているが、とても安定しており、24 時間推論しっぱなしでも特に問題はでいない。
安心感
完全ローカルで動作しており、Tailscale 経由でのみアクセス出来るようにしているため、運用者も利用者側が何かセキュリティ面を考える必要が無いのが良い。
クローズドソースにたいして気軽に利用できるのも良い。想像以上にこの安心感は良いとのフィードバックを貰った。
運用面
レシピが頻繁に更新されるので、それの追従をする必要があるが、正直リポジトリと LLM (OpenCode Zen の DeepSeek V4 Flash 0731 を利用) で特に問題無く更新もできている。Spark x 2 の tailscale 上の IP を伝えてあとは「更新が必要であれば更新して」という一言で終わり。
負担は特にない。速度のところにでていたダッシュボードもとても有用だ。
MiaAI-Lab
エージェント
OpenCode をお勧めする。Pi も良いとは思うが全部入りが楽。OpenCode でも安定して性能はでるので。
24/365
実は一番の狙いはこれだ。営業時間外はレビューをコードや Issue に対してぶん回すことができる。
GitHub Actions (Self-hosted Runner) と Tailscale と OpenCode とスキルを使うことで 15 分に 1 回起動して、利用がなければレビューをする。レビューをするコードや issue もローカル LLM に判断させるといった仕組み。
つまり営業時間中は社員が普段使いにして、それ以外は疲れないレビューワーとして働かさせることができる。
約 200 万円で 720 時間働きっぱなしのそこそこ賢い使い放題の LLM を手に入れた。電気代はこれから。噂だと月 3000-5000 円程度とのこと。
今後
Spark を追加で購入する場合は 4 台構成とかにはせず、2 台構成を追加する想定。ただ Spark も出てから結構すぎているので次買うときは新型で良い気もしている。
DeepSeek V4 Flash 0731 以外のモデルを試す予定も今のところはない。そもそもが DeepSeek V4 Flash 0731 をローカルで使いたいというのが最大の目的だったので。それ以外はサブスクや API を使えばいい。
蛇足
企業で 24/365 で DeepSeek V4 Flash 0731 を動かしたければ検討してもいいかもしれないが、そもそも API 利用の方が圧倒的に安いことを忘れてはいけない。
まだロマン枠だとは思うが、それにしてもこの賢さの LLM が実用的な速度でローカルで動いてしまうのは本当に怖い。