ローカル LLM の嬉しい誤算

時雨堂では DGX Spark を利用したローカル LLM を24/365 でレビューするシステムとして利用しています。

もともとはお試しという気持ちで導入した DGX Spark ですが、想像以上に活躍してくれています。

そんな中で、プロトコル系のレビューでもローカル LLM が役立ってるという話を雑に書いていきます。

Codex や Claude Code などのハーネスはプロトコルを実装する際、頻繁にセキュリティ系の制限がかかります。もちろん申請すればいいのですが、別にセキュリティを専門としているわけでもないので、いろいろハードルが高いなと感じています。

そこで活躍するのが DGX Spark を利用したローカル LLM です。ローカル LLM のモデルには「無検閲 (abliterated など) 」化されているモデルが Huggingface にて公開されており、利用する事ができます。

このモデルを利用する事でセキュリティ系のレビューがしっかりできるようになりました。これはもともと導入したときには全く想定してなかったので嬉しい誤算でした。

もし同じように困っている方が居る場合はローカル LLM の導入を検討することをお勧めします。