Repo-lab
AIツール

edge0とは？Apple SiliconのMacで35B LLMをSSD経由で動かすオープンソース推論フレームワーク

⭐ 1,430 stars GitHub →

GitHubで急上昇中のオープンソースプロジェクト edge0（Edge0-AI/Edge0、⭐1,430）は、Apple Silicon搭載のMacでMixture of Experts（MoE）型の大規模言語モデル（LLM）をSSDからストリーミング推論する革新的なフレームワークです。わずか2.9GBのRAMで35Bパラメータのモデルを実用速度（14.9〜17.7 tok/s）で動かせる点が技術者の間で注目を集めています。本記事では、edge0の仕組み・導入手順・実用的な活用例をわかりやすく解説します。

edge0 Apple Silicon LLMの核心：SSDストリーミング推論とは何か

通常のローカルLLM推論では、モデルの全重みをRAMやGPUメモリに展開する必要があります。35Bパラメータのモデルは4bit量化でも約20GB以上を要求するため、一般的なMacBook Airでは動作が困難でした。

edge0はこの問題をSSDエキスパートオフロードという独自手法で解決します。MoE（Mixture of Experts）アーキテクチャの特性を活かし、各推論ステップで必要なエキスパート重みだけをSSDからストリーミング読み込みします。常にRAMに必要なのは「アクティブなエキスパート群」のみであるため、ピークメモリを2.9GB（edge0-35bの場合）に抑えることが可能です。

さらに、**Prerouter（プリルーター）**と呼ばれる軽量な予測ヘッドが次ステップで必要なエキスパートを1ステップ先読みし、SSDからの読み込みを順方向パスと並列化します。これによりデコードスループットが最大+59%向上します。

35BモデルをMac miniで動かす使い方：クイックスタートガイド

インストールと環境構築

edge0の動作には macOS + Apple Silicon（M1/M2/M3/M4） と Python 3.10以上が必要です。

# Python 3.12推奨（仮想環境を作成）
python3.12 -m venv .venv && .venv/bin/pip install -e '.[dev,fetch]'

モデルのダウンロード

Hugging Faceから2つのモデルティアを選択できます。

ティア モデル サイズ 速度 必要RAMピーク
edge0-35b Qwen3.5-MoE 35B-A3B ~23 GB 14.9〜17.7 tok/s 2.9 GiB
edge0-8b Ling 3.0 hybrid 8B ~4.2 GB 23.9〜25.3 tok/s 1.0 GiB 
# 8Bモデル（軽量・高速・推奨入門）
.venv/bin/python scripts/fetch_models.py --tier edge0-8b --target-dir models

# または直接ダウンロード
.venv/bin/huggingface-cli download Edge0/Edge0-8B-A1B-preview --local-dir models/edge0-8b

サービング起動

export EDGE0_8B_MODEL=$PWD/models/edge0-8b
edge0 serve edge0-8b
# → http://127.0.0.1:8000/v1/chat/completions でOpenAI互換APIが起動

APIへのリクエスト例：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"messages":[{"role":"user","content":"Pythonでフィボナッチ数列を生成するコードを書いて"}],"max_tokens":200}'

Python APIでの組み込み利用

from edge0 import AutoEngine
from edge0.server.chat import ChatMessage, ChatRequest, ChatSession

engine = AutoEngine.from_pretrained("/path/to/models/edge0-8b")
req = ChatRequest(
    model=engine.name,
    messages=[ChatMessage(role="user", content="Hello!")],
    max_tokens=64,
)
tokens, meta = ChatSession(engine, req).run()
print(engine._tok.decode(tokens))
engine.close()

OllamaやLlama.cppとの違い・なぜ今edge0なのか

ローカルLLM推論ツールは数多く存在しますが、edge0の差別化ポイントは以下の通りです。

比較軸 Ollama / llama.cpp edge0
アーキテクチャ対応 Dense型LLM（Llama、Mistral等）中心 MoE型LLM専用設計
メモリ管理 全重みをRAMに展開 SSDストリーミングでアクティブ重みのみRAM利用
先読み最適化 なし Prerouter（+59%高速化）
Apple Silicon最適化 Metal対応あり MLXバックエンドで最適化
35B運用の実現性 64GB RAM以上が実質必要 24GB Mac miniで動作確認済み

Ollamaはインストールの手軽さと幅広いモデル対応が強みですが、35Bクラスのモデルには大容量RAMが必要です。edge0はMoE特有のスパース性を活かしてSSD+少量RAMで同等の規模を実現した点が本質的な違いです。

GitHubで急上昇している背景には、「Apple Silicon Mac（特にM4 Pro搭載Mac mini）を手頃なAIサーバーとして活用したい」という開発者ニーズが高まっていることが挙げられます。

こんな人に向いている：職種別活用シナリオ

MLエンジニア・AIリサーチャー

Mac mini M4 Pro（24GB）を手元のLLM開発・評価環境として運用したいエンジニアに最適です。OpenAI互換APIでサービングするため、既存のLangChain・LlamaIndex製アプリケーションをコード変更なしでローカルバックエンドに切り替えられます。費用ゼロで35B規模のモデルを実験・評価できます。

バックエンド開発者

社内ツールにLLMを組み込む際、クラウドAPIのコストを抑えたい開発者向けです。edge0のPython APIで直接統合でき、OpenAI互換エンドポイントにより既存コードへの影響を最小化できます。

AI教育者・学習者

35Bモデルの動作原理（MoE、SSDストリーミング、LoRA）を実際のコードと実測ベンチマークで体系的に学べる教材としても価値があります。ベンチマーク再現コマンドが提供されているため、自分のハードウェアで検証できます。

使う前に知っておきたいこと

プラットフォーム制限（重要）

現時点では macOS + Apple Silicon（M1/M2/M3/M4）のみ対応 です。WindowsやLinux、Intel Mac、CUDAを搭載したNVIDIA GPU環境は現在非対応です。CUDAバックエンドはロードマップに記載されており将来対応予定ですが、リリース時期は未定です。

MLXバージョン制約と既知の問題

MLX 0.30.6 / mlx-metal 0.30.6 / mlx-lm 0.31.0 への依存が固定されています。より新しいバージョンでは動作が保証されていません。また、Apple A18 / A18 Proチップ（iPhone 16系）では古いMLXバージョン使用時に文字化け・混合言語出力が発生する既知の問題があります（Issue #8参照）。

ストレージ要件

モデルはSSDに常駐するため、edge0-35bで約23GB、edge0-8bで約4.2GBのストレージが必要です。SSDの読み取り速度がコールドスタート時のプリフィルスループットに影響します（M4 Pro Mac mini: cold 113 tok/s / warm 140 tok/s）。

ライセンス

Apache-2.0ライセンスで商用利用・改変・再配布が可能です。ただし、ベースモデル（Qwen3.5-MoEおよびLing 3.0）には独自のライセンス条件があるため、商用展開前は各モデルのライセンスを個別に確認してください。

ベンチマーク精度：品質への影響はどの程度か

int4量化とLoRAアダプタ適用後の品質低下は平均3.9ポイント（edge0-35b）・2.8ポイント（edge0-8b）と小幅です。特にMMIU-Proではベースモデルを上回る結果が得られています。

ベンチマーク edge0-35b (int4) Qwen3.5-MoE 35B fp16
AIME 2026 86.6 92.7
HumanEval 90.9 95.1
MMLU-Pro 81.0 84.6
平均 79.2 83.2

コーディングタスク（HumanEval: 90.9）は実用レベルを維持しており、日常的な開発支援用途では十分な精度です。

まとめ：SSDストリーミングがローカルLLM運用を変える

edge0は「GPUがないと大規模LLMは使えない」という常識を覆すプロジェクトです。Apple SiliconのMacユーザーが35B規模のモデルをサーバーなしで動かせる選択肢を持てることは、AI開発のアクセシビリティを大きく広げます。

現時点でmacOS/Apple Silicon限定という制約はありますが、CUDAバックエンドのロードマップと活発なコントリビューション（4名）を考えると、今後の展開に注目です。まずはedge0-8b（1GB RAM・4.2GBストレージ）でぜひ試してみてください。

関連ツール・おすすめサービス

Perplexity AI — AI検索エンジン。LLM・MoEの最新情報収集に

この技術を学ぶ

AIに興味を持った方には、Udemyのオンラインコースもおすすめです。

毎日更新のGitHubツール情報

LINEで受け取って最新情報をキャッチアップしよう

友達追加する（無料）

関連記事

この記事が役に立ったらシェアしてください