TensorFlow VM vs Docker Container Virtual Machine Docker Container � Docker ��� TensorFlow https://hub.docker.com/editions/community/docker-ce-desktop-mac 1. Install Docker for Mac 2. Run Docker for Mac Mac 3. Pull a TensorFlow Docker image $ docker pull tensorflow/tensorflow:nightly-jupyter 4. Start a TensorFlow Docker container $ docker run -it -p 8888:8888 -v $(notebook-examples-path):/tf/notebooks

txt 为 AI SaaS 编写 Dockerfile 为 AI SaaS 构建 Docker 镜像（TF 容器外） $ docker build –t tf2-ai-saas -f ai_saas/Dockerfile . 为 AI SaaS 构建 Docker 镜像（TF 容器外） $ docker build –t tf2-ai-saas -f ai_saas/Dockerfile ai_saas/Dockerfile . “Hello TensorFlow” Try it！ 交付 AI SaaS：部署和测试 AI SaaS 启动商品识别 AI SaaS 服务（GPU版本） $ docker run --runtime nvidia -it --rm --name tf2_ai_saas -p 9000:9000 tf2-ai-saas bash 使用 cURL 发起识别请求 $ curl -H "Content-Type:

Lab 中使用 TensorFlow 2 在 Jupyter Lab 中使用 TensorFlow 2 Docker 容器 与 虚拟机 虚拟机 Docker 容器 在 Docker 中使用 TensorFlow 2 在 Docker 中使用 TensorFlow 2 在 Docker 中使用 TensorFlow 2 “Hello TensorFlow” Try it！ 使用 tf.keras

Container About this task Before you can pull a container from the NGC container registry: ‣ Install Docker. ‣ For NVIDIA DGX™ users, see Preparing to use NVIDIA Containers Getting Started Guide. ‣ For non-DGX Refer to NGC Getting Started Guide for more information. The deep learning frameworks, the NGC Docker containers, and the deep learning framework containers are stored in the nvcr.io/nvidia repository Running PyTorch Before you begin Before you can run an NGC deep learning framework container, your Docker ® environment must support NVIDIA GPUs. To run a container, issue the appropriate command as explained

https://commons.wikimedia.org/wiki/File:Nvidia_logo.svg and https://commons.wikimedia.org/wiki/File:Docker_(container_engine)_l ogo.png May be re-distributed in accordance with the terms of the CC-SA 4.0 wikimedia.org/wikipedia/commons/6/67/Kubernetes_logo.svg and https://commons.wikimedia.org/wiki/File:Docker_(contai ner_engine) _logo.png May be re-distributed in accordance with the terms of the CC-SA 4.0

can also use the official docker image with SkyPilot master branch automatically cloned by running: # NOTE: '--platform linux/amd64' is needed for Apple silicon Macs docker run --platform linux/amd64 aws:rw" \ -v "$HOME/.config/gcloud:/root/.config/gcloud:rw" \ berkeleyskypilot/skypilot-nightly docker exec -it sky /bin/bash 1.11.3 使用 SkyPilot 运行 Qwen1.5-72B-Chat 1. 您可以使用 serve-72b.yaml 中的可用的 GPU

3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 Redis 冷数据 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 • 良好的用户体验 • 完善的客户端工具 • 任务进度微信提醒 SACC2017 proto model graph. pb 深度网络计算图 caffe

用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data Clean Iterative training Semi-supervised

Hdfs/Odps TensorFlow /Caffe 图像/视频分类 阿里云计算集群 实时计算集群 业务 Storm/Flink Yarn/K8s …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE） 开发套件 控制台 控制中心 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData）