DGX Spark 復旧メモ

TensorFold が落ちて、 DGX Spark 2 台目が GPU looks stuck in a low-power state になったときの復旧手順をメモします。

復旧に使ったコマンドを、実行順に示します。Windows の PowerShell から実行しました。

1. worker を停止。

   ssh gx10-6acc.local 'docker stop -t 20 glm53-flash-tf'

2. head を停止。

   ssh gx10-707e.local 'docker stop -t 20 glm53-flash-tf'

3. 既存コンテナのイメージ ID と対象ディレクトリを確認。

   ssh gx10-707e.local 'docker inspect glm53-flash-tf --format "{{.Image}}"; ls -ld /home/mikoto/.cache/tensorfold-glm53/e66c657a433d/torch_extensions/tensorfold_glm_segchunks_v1'

4. 同じローカルイメージから一時コンテナを起動し、古い lock ファイルだけを削除。

   ssh gx10-707e.local 'docker run --rm --network none --user 0 --entrypoint /bin/rm -v /home/mikoto/.cache/tensorfold-glm53/e66c657a433d/torch_extensions/tensorfold_glm_segchunks_v1:/repair sha256:9b00719301e859f7b790b5c4d80ab1e49ef64bef63d3e7af2f3829cfc32cfee1 -- /repair/lock; ls -la /home/mikoto/.cache/tensorfold-glm53/e66c657a433d/torch_extensions/tensorfold_glm_segchunks_v1'

5. head を起動。

   ssh gx10-707e.local 'cd ~/project/GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold; ./start.sh'

6. 起動完了後、モデル一覧と head の GPU 状態を確認。

   ssh gx10-707e.local 'curl -fsS --max-time 10 http://127.0.0.1:8888/v1/models; nvidia-smi --query-gpu=utilization.gpu,clocks.gr,power.draw --format=csv'

7. worker の GPU 状態と起動完了ログを確認。

   ssh gx10-6acc.local 'nvidia-smi --query-gpu=utilization.gpu,clocks.gr,power.draw --format=csv; docker logs --since 12m --tail 5 glm53-flash-tf 2>&1'

8. 短い推論リクエストで動作を確認。

   '{"model":"GLM-5.3-Flash-EXL3","messages":[{"role":"user","content":"Reply with OK only."}],"max_tokens":32,"temperature":0}' | ssh gx10-707e.local 'curl -fsS --max-time 60 -H "Content-Type: application/json" --data-binary @- http://127.0.0.1:8888/v1/chat/completions'