🐳 AI/數據工作負載必備設置：完全理解 Docker 共享內存 (shm_size 和 ipc)

如果在 AI 和大數據處理工作負載中遇到 OSError: No space left on device 這類不明錯誤，通常是因為 Docker 容器的共享內存(shm_size) 設置不足所致。

這篇文章清晰地整理了在容器環境中共享內存為何重要，以及如何正確設置 shm_size 和 ipc: host 選項。

1. shm_size 的角色和重要性

角色：決定容器的共享內存大小

shm_size 是設置容器內部 /dev/shm (POSIX 共享內存) 文件系統的 最大大小 的選項。

  • Docker 的預設值是 64MB，這是非常小的。

  • 注意：/dev/shm 是使用 主機 RAM 的 tmpfs（臨時文件系統），與 VRAM（GPU 內存）無關。

為什麼重要呢？

AI/數據處理任務在進行大量資料交互時，會關鍵性地利用這個 共享內存。

  • PyTorch DataLoader：當 num_workers > 0 設置時，工作進程之間會通過 共享內存傳遞 張量/批次。如果空間不足，會產生 OSError: No space left on device 錯誤。

  • TensorRT 引擎構建/服務：會大量使用共享內存來處理大型中間工件或 IPC 緩衝區，如果不足可能導致引擎構建失敗或段錯誤。

  • 多進程與 IPC 通信：在 NCCL、OpenCV、NumPy 等中對於進程之間的大型數組/緩衝區共享是必不可少的。

2. ipc 設置：共享內存的隔離範圍

IPC (進程間通信) 命名空間 是 Docker 選項，用於決定容器中進程之間的通信空間（共享內存、信號量等）如何隔離。

ipc 設置 運作方式 /dev/shm 大小決定
預設 (省略) 容器使用 自身 IPC 命名空間（隔離） 由 shm_size 指定的大小（預設 64MB）
ipc: host 容器共享 主機的 IPC 命名空間 主機的 /dev/shm 大小（通常為 RAM 的一半）
ipc: container:<ID> 與指定的其他容器共享 IPC 遵循共享目標容器的設置

3. 同時使用 shm_size 和 ipc: host 時的運作原理 (例子分析)

在 AI/LLM 任務中，通常會同時設置 shm_size: "16g" 和 ipc: host。接下來通過實際範例了解具體的設定如何應用。

例子：設定與結果分析

Docker Compose 設定片段 容器內部 df -h /dev/shm 確認結果
shm_size: "16g"
ipc: host		 Filesystem tmpfs Size 60G
Used 8.3M
Avail 60G
Use% 1%
Mounted on /dev/shm

結論：ipc: host 會忽略 shm_size。

  1. 當設定 ipc: host 時：容器使用 主機的 IPC 命名空間。

  2. shm_size: "16g" 會被忽略：這個選項只在使用 自身 IPC 命名空間 時才有意義。

  3. 60G 的來源：主機 Linux 系統通常會將 /dev/shm 設定為 整體 RAM 的一半。因此在上面的例子中，容器實際上看到的是主機的 120G 中的一半，即 60G。

核心摘要

設定 ipc: host 後，容器直接利用主機的共享內存空間，因此 shm_size 的設置不會真正生效。

4. 推薦操作方法及內存上限管理

💡 實務推薦選擇

  1. ✅ 穩定性優先 (推薦)：保持 ipc: host

    • 設置：僅保持 ipc: host（或可與 shm_size 一併設置）

    • 結果：使用主機充分的 /dev/shm 大小（例如：60G）。

    • 優點：可以從根本上防止大多數 AI/數據工作中的共享內存不足錯誤，是 最穩定的選擇。因為 60G 只是上限，實際使用量只佔用 RAM，因此若內存壓力不大，仍可繼續保持。

  2. ✅ 強制每個容器上限：移除 ipc: host

    • 設置：移除 ipc: host + 明確設置 shm_size: "8g" 或 "16g"

    • 結果：生成專屬於容器的 16GB /dev/shm。

    • 優點：在多個容器運行時，可以明確限制 每個容器的共享內存使用上限，對主機 RAM 保護和隔離有利。

⚙️ 主機 /dev/shm 大小調整方法（使用選擇 1 時）

如果想在使用 ipc: host 的同時更改主機的 /dev/shm 大小，需要更改 tmpfs 設置。

  • 暫時更改大小（重啟後恢復）：
sudo mount -o remount,size=16G /dev/shm

(立即應用於所有進程/容器。)
  • 永久更改大小（修改 /etc/fstab）：
# 在 /etc/fstab 文件中添加/更改以下行
tmpfs /dev/shm tmpfs defaults,size=16G 0 0

保存後重新啟動或通過上述 `remount` 命令立即應用。

什麼時候需要增大？ 當 DataLoader 工作者較多或者 TensorRT 引擎構建中偶爾出現 No space left on device 錯誤時，需將 shm_size 或主機 /dev/shm 大小調整至至少 8G 以上。