netrans/examples/caffe

Caffe模型转换示例

本文档以 lenet_caffe 为例，介绍如何使用 Netrans 对 Caffe 模型进行转换。

Netrans 支持所有的 Caffe 模型。

安装Netrans

创建 conda 环境 .

conda create -n netrans python=3.8 -y
conda activate netrans

下载 Netrans .

mkdir -p ~/app
cd ~/app
git clone https://gitlink.org.cn/nudt_dsp/netrans.git

安装 Netrans。

cd ~/app/netrans
./setup.sh

数据准备

转换 Caffe 模型时，模型工程目录应包含以下文件：

• 以 .prototxt 结尾的模型结构定义文件
• 以 .caffemode 结尾的模型权重文件
• dataset.txt 包含数据路径的文本文件（支持图像和NPY格式）

我们的示例 已经完成数据准备，可以使用下面命令进入目录执行。

cd netrans/
cd examples/caffe

此时目录如下：

lenet_caffe/
├── 0.jpg                   # 校准数据
├── dataset.txt             # 指定数据地址的文件
├── lenet_caffe.caffemodel  # caffe 模型权重
└── lenet_caffe.prototxt    # caffe 模型结构

使用 nertans_cli 命令行工具

模型导入

import.sh lenet_caffe

该命令会在工程目录下生成包含模型信息的 .json 和 .data 数据文件。 此时 lenet_caffe 的目录结构如下：

lenet_caffe/
├── 0.jpg
├── dataset.txt
├── lenet_caffe.caffemodel
├── lenet_caffe.data
├── lenet_caffe.json
└── lenet_caffe.prototxt

配置文件生成

数据在推理前一般会经过预处理，为了确保模型可以正确的输入数据，需要生产对应的配置文件。

config.sh lenet_caffe

此时 lenet_caffe 的目录结构如下：

lenet_caffe/
├── 0.jpg
├── dataset.txt
├── lenet_caffe.caffemodel
├── lenet_caffe.data
├── lenet_caffe_inputmeta.yml
├── lenet_caffe.json
└── lenet_caffe.prototxt

模型量化

为了优化模型的推理效率，加快模型的推理速度，我们使用下行命令对模型进行量化处理。 量化模型需要两个参数，目录（模型）名字和量化类型。量化类型包括：float,int16, int8 和 uint8。

quantize.sh lenet_caffe uint8

此时 lenet_caffe 的目录结构如下：

lenet_caffe/
├── 0.jpg
├── dataset.txt
├── lenet_caffe_asymmetric_affine.quantize
├── lenet_caffe.caffemodel
├── lenet_caffe.data
├── lenet_caffe_inputmeta.yml
├── lenet_caffe.json
└── lenet_caffe.prototxt

模型导出

使用 export.sh 将模型导出到nbg格式并生成应用程序工程。

export.sh lenet_caffe uint8

此时 lenet_caffe 的目录结构如下：

lenet_caffe/
├── 0.jpg
├── dataset.txt
├── lenet_caffe_asymmetric_affine.quantize
├── lenet_caffe.caffemodel
├── lenet_caffe.data
├── lenet_caffe_inputmeta.yml
├── lenet_caffe.json
├── lenet_caffe.prototxt
└── wksp
    └── asymmetric_affine
        ├── BUILD
        ├── dump_core_graph.json
        ├── graph.json
        ├── lenetcaffeasymmetricaffine.2012.vcxproj
        ├── lenet_caffe_asymmetric_affine.export.data
        ├── lenetcaffeasymmetricaffine.vcxproj
        ├── main.c
        ├── makefile.linux
        ├── network_binary.nb
        ├── vnn_global.h
        ├── vnn_lenetcaffeasymmetricaffine.c
        ├── vnn_lenetcaffeasymmetricaffine.h
        ├── vnn_post_process.c
        ├── vnn_post_process.h
        ├── vnn_pre_process.c
        └── vnn_pre_process.h

使用 netrans_py python api

example.py lenet_caffe -q uint8