llama-modchip là bộ bản vá và công cụ mã nguồn mở cho llama.cpp, nhằm chạy các mô hình ngôn ngữ Mixture-of-Experts rất lớn trên CPU thông thường. Điểm gây chú ý: DeepSeek-V4-Flash — mô hình 284,33 tỷ tham số (13,17 tỷ tham số hoạt động) — chạy trên máy 64 GB RAM, không có GPU. Dự án do tài khoản GitHub synchopate phát hành theo giấy phép Apache 2.0, phiên bản hiện tại v2.4.0. Được đăng ngày 08/11/2026, bài giới thiệu đạt 402 điểm và 180 bình luận trên Hacker News; kho mã vẫn còn nhỏ, khoảng 566 sao lúc chúng tôi kiểm tra.
Cách nhét vừa: dự án nén mô hình bằng định dạng riêng "Fractal-64" xuống 56,56 GiB (1,71 bit mỗi trọng số), so với 76,87 GiB của bản IQ2_XXS dùng để so sánh — bản này hết bộ nhớ trên máy Linux 64 GB. Dự án còn có kernel CPU tối ưu tay cho AVX-512, cơ chế tự đoán trước token gọi là "Stockfish-PVS", và lưu ảnh chụp KV-cache trong /dev/shm mà tác giả nói giúp khôi phục ngữ cảnh của agent trong khoảng 13 ms. Lệnh ./modchip gồm chat, giao diện web, đo hiệu năng, lượng tử hoá và chạy Claude Code với mô hình cục bộ.
Các con số đều do dự án tự công bố, đo trên một máy duy nhất: AMD Ryzen 9 9955HX với 64 GB DDR5. Xử lý prompt khoảng 43–44 token/giây; sinh văn bản khoảng 9–10 token/giây ở chế độ mặc định không suy hao, và tới 11,5–14,7 token/giây khi bật giải mã suy đoán. Các mô hình nhỏ hơn như Nemotron-3.5-30B (khoảng 14 GiB, cho máy 16–32 GB) chạy nhanh hơn nhiều. LavX News lưu ý chưa có thử nghiệm độc lập nào xác nhận kết quả.
Giới hạn: file mô hình dùng kiểu tensor tuỳ biến nên llama.cpp, Ollama và LM Studio bản gốc sẽ từ chối với lỗi "unknown tensor type 40"; bạn phải dùng bản build của dự án. Bộ nhớ rất sát: README ghi mức đỉnh khoảng 57,6–58,9 GiB ở ngữ cảnh 256K, trong khi máy 64 GB chỉ dùng được khoảng 59,6–62,5 GiB, gần như không còn chỗ cho việc khác. Kernel cho bản 284B viết cho AVX-512, README chưa có kết quả 284B trên CPU khác. Chế độ "Top-5", "Top-4" nhanh hơn nhưng giảm nhẹ chất lượng.
Dùng thử trên Linux hoặc macOS: git clone https://github.com/synchopate/llama-modchip.git, rồi cd llama-modchip và ./modchip chat. Mô hình 284B có trên Hugging Face với tên Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF, kèm file server dựng sẵn cho Linux x86_64; Windows có trình khởi chạy riêng.
