Repo-lab
AIツール

Pulsar：家庭用GPUで超巨大MoEモデルを動かすRust製推論エンジン

⭐ 62 stars GitHub →

Pulsar（パルサー）はRust+CUDAで書かれたMoE推論エンジンです。1兆パラメータ級のLLMをNVMe SSDからストリーミング読み込みし、コンシューマーGPUで動かす革新的な仕組みを持ちます。llama.cppを使わない独自実装で、複数GPUの自動役割分担も行います。

GitHubで急上昇中の giannisanni/pulsar をご紹介します。 スター数 62★ を獲得し、AI分野で注目されているRust製推論エンジンです。

Pulsar とは？MoE推論エンジンの仕組みを解説

PulsarはGianni Sanni氏が開発したRust+CUDA製のMoE（混合エキスパート）推論エンジンです。通常は高価なデータセンター向けGPUが必要な数百Bパラメータ級のモデルを、RTX 4060/5060 TiクラスのコンシューマーGPUで動かすために設計されています。

各トークン生成時に必要なエキスパートのみをNVMe SSDからストリーミングで読み込む仕組みにより、VRAM制約を克服しています。DeepSeek-V4-Flash 284B、Kimi K2.7 1T、Hy3 295B、Qwen3-235B-A22Bなど11種類のMoEアーキテクチャに対応しており、2026年に急増している超大規模MoEモデルをコンシューマー環境で活用できます。

こんな人におすすめ:

  • エンジニア向け: MLエンジニア・AIリサーチャーが、クラウドAPIコストを抑えてローカルで大型MoEモデルを動かすシーンで活用。Rust/CUDAの知識があればカスタマイズも可能。
  • 非エンジニア向け: プログラミング知識が必要なため、エンジニア専用ツールです

主な機能・特徴

NVMeストリーミングによるVRAM制約の克服

MoEモデルでは各トークンごとに少数のエキスパートのみが活性化します。Pulsarはこの特性を利用し、アクティブなエキスパートの重みだけをNVMe SSDからその都度読み込みます。io_uringとO_DIRECTを組み合わせたキューデプス32の読み込みにより、7GB/s程度のSSD読み取り速度を活かせます。

ゼロ設定マルチGPU自動役割分担

起動時に各GPUのH2D帯域幅を実測し、最速カードをエキスパートストリーミング担当、帯域幅の低いカードをアテンション残留担当に自動割当します。これにより「RTX 5060 Ti 16GB + RTX 4060 Ti 16GB」のような混在構成でも最適パフォーマンスが得られます。

対応モデル一覧と実測パフォーマンス

モデル 総パラメータ アクティブ デコード速度
Gemma 4 26B-A4B 26B 4B 41 tok/s
Qwen3.6-35B-A3B 35B 3B 51.8 tok/s
Qwen3-235B-A22B 235B 22B 5.3〜6.4 tok/s
DeepSeek-V4-Flash 284B 約8B 8.2〜11.3 tok/s
Hy3 295B 295B 21B 6.0〜6.9 tok/s
Kimi K2.7 1T 約1T 32B 1.3 tok/s

OpenAI互換APIサーバー内蔵

pulsar-serve でOpenAI互換エンドポイントを起動でき、/v1/chat/completions （SSEストリーミング対応）とブラウザWebUIを追加ビルドなしで利用可能です。

ウォームキャッシュによる高速起動

初回実行後に .warmサイドカー ファイル（エキスパート人気統計）が生成され、2回目以降はホットエキスパートをバルクロードして数秒で高速起動できます。

Pulsar の使い方・始め方

インストール要件

  • OS: Linux専用（io_uring + CUDA使用）
  • GPU: NVIDIA GTX 10系（Pascal, sm_61）以降
  • ストレージ: 高速NVMe SSD（SATA非推奨）
  • RAM: システムRAM 16GB以上推奨

クイックスタート

git clone https://github.com/giannisanni/pulsar
cd pulsar

# ビルド（gcc-12が必要な場合）
CXX=g++-12 cargo build --release -p engine

# モデルを取得（例: Hy3 295B・85GB）
curl -L -C - -o Hy3.gguf \
  "https://huggingface.co/giannisan/Hy3-ds4-gguf/resolve/main/Hy3-ds4-IQ2XXS-AttnQ8-fromBF16.gguf"

# greedy推論（64トークン生成）
./target/release/pulsar-cli \
    -m /path/to/Hy3.gguf \
    -p "The capital of France is" -n 64

# インタラクティブチャット
./target/release/pulsar-cli -m /path/to/model.gguf --chat

OpenAI互換APIサーバー

cargo build --release -p serve
./target/release/pulsar-serve -m /path/to/model.gguf --port 11435
# http://127.0.0.1:11435/ でWebUIを開く

# または curl でAPIを叩く
curl http://127.0.0.1:11435/v1/chat/completions \
  -d '{"messages": [{"role": "user", "content": "Hello!"}], "stream": true}'

活用事例

  • MLエンジニア: 自宅のRTX 5060 Ti 16GBでDeepSeek-V4-Flash 284Bをローカル推論し、APIコストゼロで社内RAGツールのプロトタイプ開発
  • AIリサーチャー: Kimi K2.7 1TをOpenAI互換APIエンドポイントとして立ち上げ、既存のLangChainアプリをポイント変更で接続しコスト削減

MoEローカル実行方法の比較：llama.cppとの違い・なぜ今Pulsarか

既存の推論エンジン（llama.cpp・その派生のds4等）との根本的な違いは設計哲学にあります。llama.cppが「モデル全体をメモリに乗せる」前提で設計されているのに対し、Pulsarは「エキスパートはディスクに置き、決定層のみVRAMに置く」というアーキテクチャを採用しています。

これによりllama.cppでは物理的に不可能な1T超えモデルをコンシューマーGPUで動かすことが可能です。2026年に入りDeepSeek-V4-FlashやKimi K2.7といった超大規模MoEモデルが相次いでリリースされ、ローカルで動かしたいエンジニアのニーズが急増したことで、Pulsarへの注目が集まっています。NeutronStar（前身プロジェクト）の経験を活かし、C言語フォークではなくRustで一から書き直したことでコードの安全性と保守性も向上しています。

こんな人に向いている

MLエンジニア・AIリサーチャー（最もおすすめ）

クラウドAPIへの依存を減らしたい方に最適です。GPT-4oやClaude APIの費用をゼロにしつつ、同等以上のパラメータ数を持つモデルをローカルで実験できます。長いコンテキストや大量の推論リクエストが発生する研究・開発に特に向いています。ウォームキャッシュとマルチGPU構成を組み合わせることで、商用レベルに近いスループットも狙えます。

バックエンドエンジニア・インフラエンジニア

OpenAI互換APIとしてpulsar-serveを立ち上げれば、既存のLangChainやLlamaIndexのコードをほぼそのまま流用可能です。社内LLMサーバーとして低コストで構築でき、データが外部に送信されないプライベートAIインフラの構築に役立ちます。

Rustエンジニア・CUDA開発者

コードはRust+CUDA。推論エンジンの内部実装（量子化カーネル、マルチGPU最適化、io_uringを使ったSSDストリーミング、ウォームキャッシュ設計）を学ぶ教材としても優れた設計です。3名のコントリビューターによる先鋭的なコードベースを読むことで、LLM推論の最適化手法を深く理解できます。

使う前に知っておきたいこと

動作要件（重要）：

  • Linux専用: io_uringを使用するためLinux必須。macOSではコンパイルは通りますが推論エンジンは動作しません（スタブ化されています）
  • NVIDIA GPU必須: GTX 10系（Pascal, sm_61）以降。AMD GPU・Apple Siliconは非対応
  • NVMe速度が性能を決定: デコード速度はSSD読み取り速度に直結。SATA SSDや HDDでは著しく低速になります
  • システムRAM 16GB以上推奨: ホスト側エキスパートキャッシュ（LFUキャッシュ）に使用。RAMが多いほどキャッシュヒット率が上がりデコードが高速化します

ライセンス: MIT（ds4/ggmlの帰属表示付き）。商用利用可能ですが、各モデルのライセンス（ggufファイル）を別途確認してください。モデルによっては商用利用が制限される場合があります。

制限事項:

  • 初回実行はエキスパート統計（.warmファイル）がないため低速（例：Hy3の初回は28.7 tok/s、2回目以降は41 tok/s）
  • マルチリクエスト同時処理は未対応（pulsar-serveは1リクエストずつ処理）
  • Windows非対応

関連ツール・おすすめサービス

  • Perplexity AI — AIリサーチ・技術調査に最適。Pulsarで動かすLLMと組み合わせてリサーチワークフローを構築
  • DigitalOcean — GPU搭載クラウドサーバーでPulsarをクラウド環境で動かすならこちら。App Platformでのデプロイも簡単

まとめ

Pulsarは「コンシューマーGPUで1兆パラメータLLMを動かす」という一見不可能な課題に取り組む意欲的なRust製推論エンジンです。llama.cppを排した独自実装、マルチGPU自動構成、OpenAI互換APIと幅広い機能を持ちます。Linuxと高速NVMeを備えたローカル環境が必要ですが、大型MoEモデルをAPI費用なしで実験したいMLエンジニアには特に注目の一本です。

GitHub でチェックする →

コンシューマーGPU 大規模LLM 動かし方を学ぶ

AI推論・LLMに興味を持った方には、Udemyのオンラインコースもおすすめです。

毎日更新のGitHubツール情報

LINEで受け取って最新情報をキャッチアップしよう

友達追加する（無料）

関連記事

この記事が役に立ったらシェアしてください