标签：name 框架 addition create neuropod 构建 深度 model out
构建深度学习框架运行平台
将为TensorFlow、PyTorch和TorchScript之外的元素构建一个简单的深度学习框架运行平台模型。将展示如何从Python和C++运行推理。
打包和推断接口还具有全面的文档字符串，并提供了API的更详细用法。
打包一个模型
包装模型的第一步是定义一个“问题”（例如，2d对象检测）。 “问题”由四个部分组成：
输入规格
指定输入张量的名称、数据类型和形状的dict列表
输出规格
指定输出张量的名称、数据类型和形状的dict列表
测试输入数据（可选）
如果提供了，将在打包后立即运行推断，以验证模型打包是否正确。如果提供了测试输出数据，则必须提供
测试输出数据（可选）
如果提供，将用测试输入数据测试推理输出是否与测试输出数据匹配。
张量的形状可以不包含任何值，在这种情况下，任何值都是可接受的。也可以在这些形状定义中使用“符号”。该符号的每个实例必须在运行时解析为相同的值。例如，加法模型的问题定义：
INPUT_SPEC = [
# A one dimensional tensor of any size with dtype float32
{"name": "x", "dtype": "float32", "shape": ("num_inputs",)},
# A one dimensional tensor of the same size with dtype float32
{"name": "y", "dtype": "float32", "shape": ("num_inputs",)},
]
OUTPUT_SPEC = [
# The sum of the two tensors
{"name": "out", "dtype": "float32", "shape": (None,)},
]
TEST_INPUT_DATA = {
"x": np.arange(5, dtype=np.float32),
"y": np.arange(5, dtype=np.float32),
}
TEST_EXPECTED_OUT = {
"out": np.arange(5) + np.arange(5)
}
x和y形状的符号num_inputs在运行时必须解析为相同的值。
现在已经定义了一个问题，将看到如何在每个当前支持的DL框架中打包一个模型。
TensorFlow有两种方法可以打包TensorFlow模型。一个是带GraphDef的，另一个是带到冻结图的路径的。这两种方法都需要一个node_name_mapping，该映射将问题定义（见上文）中的张量名称映射到张量流图中的节点。
图表
如果有一个返回GraphDef的函数：
import tensorflow as tf
def create_tf_addition_model():
"""
A simple addition model
"""
g = tf.Graph()
with g.as_default():
with tf.name_scope("some_namespace"):
x = tf.placeholder(tf.float32, name="in_x")
y = tf.placeholder(tf.float32, name="in_y")
out = tf.add(x, y, name="out")
return g.as_graph_def() 、
可以将模型打包如下：
from neuropod.packagers import create_tensorflow_neuropod
create_tensorflow_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
graph_def=create_tf_addition_model(),
node_name_mapping={
"x": "some_namespace/in_x:0",
"y": "some_namespace/in_y:0",
"out": "some_namespace/out:0",
},
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
冻结图表的路径
已经有一个冻结的图形，则可以将模型打包如下：
from neuropod.packagers import create_tensorflow_neuropod
create_tensorflow_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
frozen_graph_path="/path/to/my/frozen.graph",
node_name_mapping={
"x": "some_namespace/in_x:0",
"y": "some_namespace/in_y:0",
"out": "some_namespace/out:0",
},
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_tensorflow_neuropod在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
PyTorch
提示
打包PyTorch模型有点复杂，因为运行网络需要python代码和权重。
如果可能，建议将模型转换为TorchScript。
为了创建Pythorch Europod包，需要遵循以下几条准则：
只要运行时环境安装了包，绝对导入（例如导入torch）就可以。
对于Python 3，包中的所有其他导入都必须是相对的 与TensorFlow/TorchScript/Keras包相比，这种类型的包的灵活性稍低，因为绝对导入引入了对运行时环境的依赖。这将在将来的版本中得到改进。
假设的加法模型是这样的（存储在/my/model/code/dir/main.py):
import torch
import torch.nn as nn
class AdditionModel(nn.Module):
def forward(self, x, y):
return {
"out": x + y
}
def get_model(data_root):
return AdditionModel()
为了打包，需要4样东西：
要存储的任何数据的路径（例如，模型权重）
代码的python_root的路径以及要打包的python_root中任何dir的相对路径
返回给定打包数据路径的模型的入口点函数。
模型的依赖关系。这些应该是python包。
提示
有关每个参数的详细说明，请参阅create_pytorch_eminod的API文档
对于模型：
不需要存储任何数据（因为我们的模型没有权重）
python根目录是/my/model/code/dir，希望将所有代码存储在其中
entrypoint函数是get_模型，entrypoint_包是main（因为代码在主.py在python根目录中） 这意味着：
from neuropod.packagers import create_pytorch_neuropod
create_pytorch_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
data_paths=[],
code_path_spec=[{
"python_root": '/my/model/code/dir',
"dirs_to_package": [
"" # Package everything in the python_root
],
}],
entrypoint_package="main",
entrypoint="get_model",
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_pytorch_neuropod创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
TorchScript
TorchScript比PyTorch更容易打包（因为不需要存储任何python代码）。
如果有一个附加模型，它看起来像：
import torch
class AdditionModel(torch.jit.ScriptModule):
"""
A simple addition model
"""
@torch.jit.script_method
def forward(self, x, y):
return {
"out": x + y
}
可以通过运行以下命令对其进行打包：
from neuropod.packagers import create_torchscript_neuropod
create_torchscript_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
module=AdditionModel(),
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
提示
create_torchscript_neuropod在创建后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
Keras¶
如果有一个Keras附加模型，它看起来像：
def create_keras_addition_model():
"""
A simple addition model
"""
x = Input(batch_shape=(None,), name="x")
y = Input(batch_shape=(None,), name="y")
out = Add(name="out")([x, y])
model = Model(inputs=[x, y], outputs=[out])
return model
可以通过运行：
from neuropod.packagers import create_keras_neuropod
create_keras_neuropod(
neuropod_path=neuropod_path,
model_name="addition_model",
sess=tf.keras.backend.get_session(),
model=create_keras_addition_model(),
input_spec=addition_problem_definition.INPUT_SPEC,
output_spec=addition_problem_definition.OUTPUT_SPEC,
test_input_data=addition_problem_definition.TEST_INPUT_DATA,
test_expected_out=addition_problem_definition.TEST_EXPECTED_OUT,
)
提示
create_keras_neurood在创建之后立即使用测试数据运行推断。如果模型输出与预期输出不匹配，则引发ValueError。
Python
打包aribtrary Python代码具有与上面打包PyTorch相同的接口。
例如，请参见上面的PyTorch部分，并使用create_python_neurood而不是create_PyTorch_neurood
运行推理
不管底层的DL框架是什么，推理都是完全相同的
来自Python
x = np.array([1, 2, 3, 4])
y = np.array([5, 6, 7, 8])
with load_neuropod(ADDITION_MODEL_PATH) as neuropod:
results = neuropod.infer({"x": x, "y": y})
# array([6, 8, 10, 12])
print results["out"]
From C++
#include "neuropod/neuropod.hh"
int main()
{
const std::vector<int64_t> shape = {4};
// To show two different ways of adding data, one of our inputs is an array
// and the other is a vector.
const float[] x_data = {1, 2, 3, 4};
const std::vector<float> y_data = {5, 6, 7, 8};
// Load the neuropod
Neuropod neuropod(ADDITION_MODEL_PATH);
// Add the input data using two different signatures of `copy_from`
// (one with a pointer and size, one with a vector)
auto x_tensor = neuropod.allocate_tensor<float>(shape);
x_tensor->copy_from(x_data, 4);
auto y_tensor = neuropod.allocate_tensor<float>(shape);
y_tensor->copy_from(y_data);
// Run inference
const auto output_data = neuropod.infer({
{"x", x_tensor},
{"y", y_tensor}
});
const auto out_tensor = output_data->at("out");
// {6, 8, 10, 12}
const auto out_vector = out_tensor->as_typed_tensor<float>()->get_data_as_vector();
// {4}
const auto out_shape = out_tensor->get_dims();
}
提示
这显示了C++ API的基本用法。为了更灵活和高效地使用内存，请参阅C++ API文档。
附录
问题定义示例
二维目标检测的问题定义可能如下所示：
INPUT_SPEC = [
# BGR image
{"name": "image", "dtype": "uint8", "shape": (1200, 1920, 3)},
]
OUTPUT_SPEC = [
# shape: (num_detections, 4): (xmin, ymin, xmax, ymax)
# These values are in units of pixels. The origin is the top left corner
# with positive X to the right and positive Y towards the bottom of the image
{"name": "boxes", "dtype": "float32", "shape": ("num_detections", 4)},
# The list of classes that the network can output
# This must be some subset of ['vehicle', 'person', 'motorcycle', 'bicycle']
{"name": "supported_object_classes", "dtype": "string", "shape": ("num_classes",)},
# The probability of each class for each detection
# These should all be floats between 0 and 1
{"name": "object_class_probability", "dtype": "float32", "shape": ("num_detections", "num_classes")},
]
标签：name,框架,addition,create,neuropod,构建,深度,model,out 来源： https://www.cnblogs.com/wujianming-110117/p/13111607.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。