标签：Serving Windows utils pb build signature tf model saved

安装

1. 下载并安装docker桌面：链接
2. 默认勾选即可，安装完成后会强制要求重启
3. 重启后可能会报一些错误，不用管直接全关掉，然后右击托盘区的小鲸鱼图标，选择Switch to Windows Containers
4. 此时docker即可正常启动了
5. 在Settings里的Docker Engine里，将experimental项置为true，否则会报错:no matching manifest for windows/amd64

使用

构建pb模型

以NER的BiLSTM-CRF模型为例：

import tensorflow as tf

builder = tf.saved_model.builder.SavedModelBuilder('./pb/')
inputs = {
    'inputX': tf.saved_model.utils.build_tensor_info(model.inputX),  # placeholder
    'inputY': tf.saved_model.utils.build_tensor_info(model.inputY),  # placeholder
    'inputZ': tf.saved_model.utils.build_tensor_info(model.seq_lens)  # placeholder
}
outputs = {
    'prediction': tf.saved_model.utils.build_tensor_info(model.viterbi_sequence)
}
signature = tf.saved_model.signature_def_utils.build_signature_def(
    inputs, 
    outputs, 
    'serving_default'
)
builder.add_meta_graph_and_variables(
    sess,
    [tf.saved_model.tag_constants.SERVING],
    signature_def_map={'serving_default': signature}
)
builder.save()

运行CMD：

docker run tensorflow/serving

docker run -p 8501:8501 --mount type=bind,source=pb文件路径,target=/models/目标模型 -e MODEL_NAME=模型名 -t tensorflow/serving &

预测

curl -X POST http://localhost:8501/v1/models/目标模型:predict -d '{"instances": [{"inputX":[21,20,60], "inputY": [0,0,0],"inputZ":30}]}'

标签：Serving,Windows,utils,pb,build,signature,tf,model,saved
来源： https://www.cnblogs.com/siyueliuguang/p/14954855.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。