ローカル推論の基本形
もっとも扱いやすいのは、DGX Spark上で推論サーバーを動かし、MacやPCからLAN経由で利用する構成です。操作端末と計算ノードの役割を分けられ、Sparkをディスプレイなしで運用できます。
Mac / PC ── LAN ──> DGX Spark
Client Inference API
Editor Model storage
Browser GPU computeランタイム選択の軸
| 優先したいこと | 確認するポイント |
|---|---|
| 簡単に試す | Arm64対応、モデル取得、API公開、更新方法 |
| 複数利用者へ提供 | 同時実行、バッチ処理、メトリクス、アクセス制御 |
| 最大限の互換性 | モデル形式、カスタム演算、対応量子化、コンテナ版 |
| 再現性 | イメージのタグ、ドライバー／CUDA互換性、設定の保存 |
vLLMやllama.cppなどの対応状況は更新が速いため、記事公開日だけでなく各プロジェクトの公式ドキュメントとリリースを確認します。
リモート開発
NVIDIA公式ガイドは、ローカル操作に加えてSSH、NVIDIA Sync、リモートデスクトップなどのネットワークアクセスを案内しています。VS Code系エディターのRemote SSHや、SSHトンネル経由のJupyterLabを使えば、手元の端末をUIとしてSpark上でコードを実行できます。
# 手元の端末から接続する基本形
ssh <user>@<spark-hostname-or-ip>
# Jupyterを外部公開せず転送する例
ssh -N -L 8888:localhost:8888 <user>@<spark-hostname-or-ip>コンテナを基準にする
DGX SparkはDockerとNVIDIA Container Runtimeを利用できます。NGCのArm64対応コンテナや、各プロジェクトがDGX Spark向けに案内するイメージがある場合は、ホストへ直接ライブラリを重ねる前にコンテナ構成を検討します。
認証情報、APIキー、モデルライセンスの条件はイメージに焼き込まず、安全な環境変数やシークレット管理を利用してください。
ベンチマーク前の記録
- DGX OS、GPUドライバー、CUDAの版
- ランタイムとコンテナイメージのタグ
- モデル名、revision、量子化形式
- 入力・出力トークン数、同時実行数
- ウォームアップ回数と測定回数
- 電源、温度、バックグラウンド処理
数値だけでなく、第三者が再現を試みられる条件を残すことが重要です。