llama-modchip は、llama.cpp 向けのパッチとツールをまとめたオープンソースプロジェクトで、巨大な Mixture-of-Experts 型の言語モデルを一般的な CPU で動かすことを目指しています。最大の主張は、2843.3億パラメータ（アクティブ131.7億）の DeepSeek-V4-Flash をRAM 64GB・GPU なしのマシンで動かせるというものです。GitHub アカウント synchopate が Apache 2.0 ライセンスで公開しており、現行版は v2.4.0 です。2026年11月8日に Hacker News に投稿され、402ポイント・180コメントを集めました。リポジトリ自体はまだ小さく、確認時点のスター数は約566でした。
収まる仕組み：独自の「Fractal-64」形式でモデルを56.56 GiB（1重みあたり1.71ビット）に圧縮します。比較対象の IQ2_XXS 版は76.87 GiB で、64GB の Linux マシンではメモリ不足になるとしています。さらに AVX-512 向けに手作業で最適化した CPU カーネル、「Stockfish-PVS」と呼ぶ自己投機的デコード、/dev/shm に保存した KV キャッシュのスナップショット（エージェントの文脈を約13ミリ秒で復元できるとしています）を備えます。./modchip コマンドでチャット、Web UI、ベンチマーク、量子化、ローカルモデルを使った Claude Code の起動ができます。
数値はすべて自己申告で、AMD Ryzen 9 9955HX と DDR5 64GB の1台で測定されています。プロンプト処理は毎秒約43〜44トークン、文章生成は既定のロスレスモードで毎秒約9〜10トークン、投機的デコードを使うと11.5〜14.7トークンです。16〜32GB のマシン向けの Nemotron-3.5-30B（約14 GiB）など小さめのモデルはずっと高速です。LavX News は、結果を独立に検証したテストはまだないと指摘しています。
制約：モデルファイルは独自のテンソル型を使うため、パッチなしの llama.cpp、Ollama、LM Studio では「unknown tensor type 40」で読み込めず、プロジェクトのバイナリが必要です。メモリは非常にきつく、README では256K コンテキスト時のピークが約57.6〜58.9 GiB とされる一方、64GB のシステムで使えるのは約59.6〜62.5 GiB で、ほかの処理の余地はほとんどありません。284B 用カーネルは AVX-512 向けで、他の CPU での 284B の結果は README にありません。高速な「Top-5」「Top-4」設定では品質がわずかに下がります。
試し方（Linux／macOS）：git clone https://github.com/synchopate/llama-modchip.git の後、cd llama-modchip と ./modchip chat を実行します。284B モデルは Hugging Face の Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF にあり、Linux x86_64 向けのビルド済みサーバーも用意されています。Windows には別の起動ファイルがあります。
