ローカル LLM で DeepSeek V4 Flash 0731 はじめました
まず大前提として、ローカル LLM はコスパが圧倒的に悪いので基本的にはお勧めしません。サブスクや API を利用した方が「早くて安い」です。
自分にとってはローカル LLM はロマン枠です。
ローカル LLM に手を出した理由
DeepSeek V4 Flash 0731 (以降 DSV4F) が公開されてから既に少なくとも 200 億トークン以上を利用しています。このモデルは早くて安くて、そこそこ賢いという夢のようなモデルです。
その夢のようなモデルが「ローカル LLM で実用的な速度で動く」という記事を見かけました。その記事では NVIDIA DGX Spark (以下 Spark)を 2 台利用繋いでし、30-60 tok/s という速度で DSV4F が動かせるというものでした。
お高い買い物というものもあり、経理と税理士に相談して許可をもらい購入しました。
構築
構築は OpenCode Go の DSV4F でやりました。何もせず勝手に環境が構築されていきました、スゴイ時代です。
以下のをそのまま利用しています。変更点は Tailscale を利用している程度です。
MiaAI-Lab
ちなみに JetKVM (Tailscale セットアップ済み) を 2 台買ってあったので、セットアップがとても楽でした。
雑感
正直に書きますが thinking が max だと「チョット遅いかな」という感じはします。high だと「まぁなんとか使えるかな」と。 API 経由と比較したら全然遅いですし、普段 10 並列とかでプロジェクト回してるので全然たりません。
ではなぜローカル LLM に手を出したのかというと、このレベルのモデルがローカルで動くというのは自分にとっては衝撃だからです。これを体験するのはとても大事な事だと判断しました。
また Spark が出てから約一年近く経過しておりある程度枯れていること、今後 Spark が値上がりしていくだろうと考えられること、DSV4F を Spark x 2 で簡単に動かせる状況だったことも大きかったです。
Pi で Spark x 2 で DeepSeek V4 Flash 0731 がローカルで動いている様子
悪くないな、と言う印象はありますが、費用対効果は基本見込めないので 24/365 使い倒していこうと思います。