深度学习模型在FPGA上的部署
新机器视觉
共 8569字，需浏览 18分钟
·
2021-06-12 16:30
编辑丨阿chai带你学AI
我是来自山区、朴实、不偷电瓶的AI算法工程师阿chai，给大家分享人工智能、自动驾驶、机器人、3D感知相关的知识
。
FPGA与“迷宫”
小白入门A：PYNQ
import bnn
hw_classifier = bnn.CnvClassifier(bnn.NETWORK_CNVW1A1,'cifar10',bnn.RUNTIME_HW)
sw_classifier = bnn.CnvClassifier(bnn.NETWORK_CNVW1A1,'cifar10',bnn.RUNTIME_SW)
from IPython.display import display
im = Image.open('car.png')
im.thumbnail((64, 64), Image.ANTIALIAS)
display(im)
car_class = hw_classifier.classify_image_details(im)
print("{: >10}{: >13}".format("[CLASS]","[RANKING]"))
for i in range(len(car_class)):
print("{: >10}{: >10}".format(hw_classifier.classes[i],car_class[i]))
%matplotlib inline
import matplotlib.pyplot as plt
x_pos = np.arange(len(car_class))
fig, ax = plt.subplots()
ax.bar(x_pos - 0.25, (car_class/100.0), 0.25)
ax.set_xticklabels(hw_classifier.classes, rotation='vertical')
ax.set_xticks(x_pos)
ax.set
plt.show()
小白入门B：DPU
git clone https://github.com/Xilinx/DPU-PYNQ.git
cd DPU-PYNQ/upgrade
make
pip install pynq-dpu
pynq get-notebooks pynq-dpu -p .
make BOARD=<Board>
支持国产框架：Paddle-Lite
其实部署的思路小伙伴们应该有一些眉目了，就是将自己训练的深度学习模型转换成Paddle Lite模型，然后移植到EdgeBoard开发板上进行测试。接下来我们简单看看是怎样操作的。
{
"model":"测试的模型",
"combined_model":true,
"input_width":224,
"input_height":224,
"image":"测试的路径",
"mean":[104,117,124],
"scale":1,
"format":"BGR"
"threshold":0.5
}
1.安装测试
LITE_WITH_FPGA=ON和LITE_WITH_ARM=ON，问就是我们都用到。对应的FPGA的编译脚本是lite/tools/build_FPGA.sh，我们执行即可。sh ./lite/tools/build_fpga.sh
make publish_inference -j2
# classification
cd /home/root/workspace/sample/classification/
mkdir build
cd build
cmake ..
make
./image_classify_fpga_preprocess ../configs/resnet50/drink.json
2.可调用的接口
C++
预处理接口主要是使用FPGA完成图片的缩放、颜色空间转换和mean/std操作。 预测库接口主要完成模型的初始化、输入参数构造、预测和结果获取。
/**
* 判断输入图像是否是wc 16对齐
* width 输入图像宽度
* channel 输入图像高度
**/
bool img_is_align(int width, int channel);
/**
* 对齐后的大小
* width 输入图像宽度
* channel 输入图像高度
**/
int align_size(int width, int channel);
/**
* 分配存放图片的内存，析构函数会自动释放 （目前支持BGR->RGB RGB->BGR YUV422->BGR YUV->RGB） 图像最大分辨率支持1080p
* height 输入图像的框
* width 输入图像宽度
* in_format 输入图像格式 参考image_format
* return uint8_t* opencv Mat CV_8UC3
**/
uint8_t* mem_alloc(int img_height, int img_width, image_format in_format);
std::unique_ptr<paddle_mobile::PaddlePredictor> g_predictor;
PaddleMobileConfig config;
std::string model_dir = j["model"];
config.precision = PaddleMobileConfig::FP32;
config.device = PaddleMobileConfig::kFPGA;
config.prog_file = model_dir + "/model";
config.param_file = model_dir + "/params";
config.thread_num = 4;
g_predictor = CreatePaddlePredictor<PaddleMobileConfig,
PaddleEngineKind::kPaddleMobile>(config);
std::vector<PaddleTensor> paddle_tensor_feeds;
PaddleTensor tensor;
tensor.shape = std::vector<int>({1, 3, input_height, input_width});
tensor.data = PaddleBuf(input, sizeof(input));
tensor.dtype = PaddleDType::FLOAT32;
paddle_tensor_feeds.push_back(tensor);
PaddleTensor tensor_imageshape;
tensor_imageshape.shape = std::vector<int>({1, 2});
tensor_imageshape.data = PaddleBuf(image_shape, 1 * 2 * sizeof(float));
tensor_imageshape.dtype = PaddleDType::FLOAT32;
paddle_tensor_feeds.push_back(tensor_imageshape);
PaddleTensor tensor_out;
tensor_out.shape = std::vector<int>({});
tensor_out.data = PaddleBuf();
tensor_out.dtype = PaddleDType::FLOAT32;
std::vector<PaddleTensor> outputs(1, tensor_out);
g_predictor->Run(paddle_tensor_feeds, &outputs);
float *data = static_cast<float *>(outputs[0].data.data());
int size = outputs[0].shape[0];
Python
tar -xzvf home/root/workspace/paddlemobile-0.0.1.linux-aarch64-py2.tar.gz
python api.py -j 你测试的json文件
End
声明：部分内容来源于网络，仅供读者学术交流之目的。文章版权归原作者所有。如有不妥，请联系删除。
评论