Tensorflow serving with docker

XianxinMao 2021-07-29 15:41:50

本次教程的目的是带领大家看下如何用 Docker 部署深度学习模型的

第一步我们需要 pull 一个 docker image

sudo docker pull tensorflow/serving

如上图所示，执行 pull 之后，我们看到本地已经存在 tensorflow/serving:latest

接下来我们 clone 一个仓库

git clone https://github.com/tensorflow/serving

上图中的 saved_model_half_plus_two_cpu 就是我们想要部署的模型

然后我们可以直接运行以下命令实现部署

运行结果如下图所示，我们可以看到 Exporting HTTP/REST API at:localhost:8501，那么就代表着部署成功了

接下来我们可以进行预测，返回的结果也能对的上

...全文

1307 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

CSDN-Ada助手 2023-01-13

打赏
举报

回复

您可以前往 CSDN问答-人工智能发布问题, 以便更快地解决您的疑问

使用TensorFlow服务和Flask部署模型关键概念 1. Serve a TensorFlow model with TensorFlow Serving and Docker.
2. Create a web application with Flask to work as an interface to a served model.

Tensorflow_serving_with_mnist 创建ML模型是构建AI相关业务解决方案时需要花费很多精力的一项任务。但是同样有必要监督生产后将使用的模型以供用户使用。 Tensorflow提供了这种称为tensorflow的服务，用于将模型和必要的数据打包到docker容器中，然后将其部署到任何服务器上以进行预测。创建此存储库的动机是帮助数据科学新手通过实际示例来了解张量流的重要性，因为没有其他可用的内容。脚步：首先使用mnist_cnn.py创建模型将创建的pb文件和变量移动到名为“您的模型名称”的新文件夹中如果未安装，请安装docker 运行“ sudo docker container kill $（sudo docker ps -q）”杀死正在运行的容器运行“ sudo docker run -p 8501：8501 -p 8500：8500 -

tf_models_serving 这个回购就是我的Tensorflow servables居住的地方。当前，这是两个模型的所在地：情感分类模型和性别分类模型（均在面部图片上训练）。快速开始下载图片： docker pull camoverride/face-models:v0.3 在本地运行： docker run -t --rm -p 8080:8080 camoverride/face-models:v0.3 向其发送一些测试数据： pip install -r requirements.txt python -m unittest tests/model_server_tests.py 建立它要添加其他模型，请使用SavedModel并将其复制到models目录。然后相应地编辑models/models.config文件。确保模型是使用serving_d

官方版，In MMdnn, we focus on helping user handle their work better. Find model We provide a model collection to help you find some popular models. We provide a model visualizer to display the network architecture more intuitively. Conversion We implement an universal convertor to convert DNN models between frameworks, which means you can train on one framework and deploy on another. Retrain In convertor, we can generate some training/inference code snippet to simplify the retrain/evaluate work. Deployment We provide some guidelines to help you deploy your models to other hardware platform. Android Serving This project is designed and developed by Microsoft Research (MSR). We also encourage researchers and students leverage this project to analysis DNN models and we welcome any new ideas to extend this project. Installation Install manually You can get stable version of MMdnn by pip install mmdnn or you can try the newest version by pip install -U git+https://github.com/Microsoft/MMdnn.git@master Install with docker image MMdnn provides a docker image, which packaged mmdnn, deep learning frameworks we supported and other dependencies in one image. You can easily get the image in several steps: Install Docker Community Edition(CE) Learn more about how to install docker Pull MMdnn docker image docker pull mmdnn/mmdnn:cpu.small Run image in interactive mode docker run -it mmdnn/mmdnn:cpu.small Features

从Keras到生产过时了！有关最新版本，请参见（此存储库的分支）数据源笔记本电脑二手Docker映像 docker pull codecentric/from-keras-to-production-baseimage docker pull codecentric/tensorflow-serving-baseimage docker pull tsabsch/airflow-baseimage 启动Jupyterlab 使用docker-compose（推荐，不使用Docker Toolbox） # Without Airflow docker-compose up # With Airflow docker-compose -f docker-compose.yml -f optional-airflow.yml up 没有docker-compose Jupyterl

A划水游乐园

19

社区成员

37

社区内容

发帖

与我相关

我的任务

学习方法跳槽考研企业社区上海·徐汇区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

CSDN 划水乐园
CSDN 划水乐园
CSDN 划水乐园
CSDN 划水乐园

试试用AI创作助手写篇文章吧

+ 用AI写文章