Docker 模型執行器

Docker 模型執行器 (DMR) 讓您能輕易地使用 Docker 管理、執行與部署 AI 模型。Docker 模型執行器專為開發人員設計，簡化了從 Docker Hub 或任何符合 OCI 標準的登錄檔 (registry) 中拉取、執行與服務大型語言模型 (LLMs) 及其他 AI 模型的流程。

透過與 Docker Desktop 和 Docker Engine 的無縫整合，您可以透過與 OpenAI 相容的 API 來服務模型、將 GGUF 檔案封裝為 OCI 成品 (Artifacts)，並透過命令列與圖形介面與模型互動。

無論您是在建構生成式 AI 應用程式、實驗機器學習工作流程，還是將 AI 整合至軟體開發生命週期中，Docker 模型執行器都能提供一種一致、安全且高效的方式，讓您在本地端處理 AI 模型。

主要功能

• 從 Docker Hub 拉取與推送模型
• 在與 OpenAI 相容的 API 上服務模型，以利與現有應用程式輕鬆整合
• 將 GGUF 檔案封裝為 OCI 成品並發佈至任何容器登錄檔
• 直接從命令列或 Docker Desktop 圖形介面執行 AI 模型並與之互動
• 管理本地模型並顯示日誌
• 顯示提示詞與回應詳情

需求

Docker 模型執行器支援下列平台

Docker 模型執行器如何運作

模型會在您首次使用時從 Docker Hub 拉取並儲存在本地。它們僅在執行時期發出請求時載入記憶體，並在不使用時卸載以最佳化資源。由於模型可能非常大，首次拉取可能需要一些時間。此後，模型將被快取在本地以便更快存取。您可以使用 與 OpenAI 相容的 API 與模型互動。

提示

正在使用 Testcontainers 或 Docker Compose 嗎？Java 版 Testcontainers 和 Go 版，以及 Docker Compose 現已支援 Docker 模型執行器。

已知問題

docker model 無法識別

如果您執行 Docker 模型執行器指令並看到

docker: 'model' is not a docker command

這表示 Docker 無法找到該外掛程式，因為它不在預期的 CLI 外掛程式目錄中。

若要修正此問題，請建立一個符號連結 (symlink)，以便 Docker 可以偵測到它

$ ln -s /Applications/Docker.app/Contents/Resources/cli-plugins/docker-model ~/.docker/cli-plugins/docker-model

連結完成後，請重新執行該指令。

模型 CLI 缺乏一致的摘要 (digest) 支援

Docker 模型 CLI 目前缺乏以映像檔摘要 (image digest) 指定模型的一致支援。作為臨時解決方法，您應該使用名稱而非摘要來引用模型。

提供回饋

感謝您試用 Docker 模型執行器。您可以透過「啟用 Docker 模型執行器」設定旁邊的「提供回饋」連結來提供建議或報告任何發現的錯誤。

下一步

DMR 入門