没有合适的资源?快使用搜索试试~ 我知道了~
首页HiSVP开发指南:海思3559A人脸检测与SmartVision平台详细教程
HiSVP开发指南是一份详细的文档,由上海海思技术有限公司于2019年7月10日发布,专为Hi3559A、Hi3559C、Hi3519A、Hi3516D、Hi3516C、Hi3559V200和Hi3516A V300系列芯片的开发提供支持。这份文档主要针对技术支持工程师和软件开发工程师,目的是帮助他们快速理解和掌握SmartVision Platform(SVP)的硬件特性、工具链以及开发流程,以便能高效地利用SVP的特性来设计和实现智能解决方案。
文档强调了版权保护,未经海思书面许可,禁止任何形式的抄袭、复制或传播文档内容。同时,文中提到了海思及其他商标的归属,以及对第三方商标的尊重。产品版本对应关系也明确列出,不同型号的Hi3559和Hi3516芯片之间的功能相似性在某些情况下有所说明。
值得注意的是,文档中包含了一些安全警告标志,用于标识不同级别的潜在危险,如可能导致严重人身伤害的紧急警示和可能造成中度或轻微伤害的警告,以确保用户在操作过程中遵循安全规程。此外,文档还提供了联系方式,包括客户服务邮箱和公司地址,便于用户在遇到问题时寻求帮助。
前言部分概述了文档的目的,即为用户提供一个全面的指导,帮助他们更好地理解和使用HiSVP平台,进行高效的研发工作。整体而言,这份指南是海思技术有限公司为用户提供的一个实用的工具,对于从事相关工作的工程师来说,它是必不可少的学习和参考资源。
图 3-26 在 LayerParameter 中添加 NormalizeParameter..................................................................................... 34
图 3-27 定义 NormalizeParameter 参数................................................................................................................35
图 3-28 Faster RCNN 分段执行示意图................................................................................................................ 38
图 3-29 NNIE 支持 prototxt 格式说明示意图(左边支持)..............................................................................61
图 3-30 Faster RCNN 网络自定义分段示意图一................................................................................................ 74
图 3-31 Faster RCNN 网络自定义分段示意图二................................................................................................ 75
图 3-32 RFCN 网络 mapper 自动分段示意图..................................................................................................... 76
图 3-33 RFCN 自定义分段示意图....................................................................................................................... 77
图 3-34 SSD 自定义分割方式一...........................................................................................................................78
图 3-35 SSD 自定义分割方式二...........................................................................................................................78
图 3-36 Protobuf 下载页面.................................................................................................................................... 81
图 3-37 配置文件示意图....................................................................................................................................... 94
图 3-38 多段网络示意图....................................................................................................................................... 98
图 4-1 Runtime API 交付层次关系图.................................................................................................................100
图 4-2 Runtime 状态迁移图................................................................................................................................ 103
图 4-3 插件库管理步骤图................................................................................................................................... 104
图 4-4 网络拓扑示例图....................................................................................................................................... 105
图 4-5 模型级联图............................................................................................................................................... 106
图 4-6 帧间依赖网络示意图............................................................................................................................... 107
图 4-7 CPU 配置示意图...................................................................................................................................... 108
图 4-8 Modelgroup 可配置项关系图.................................................................................................................. 110
图 4-9 rfcn+alexnet modelgroup 结构图..............................................................................................................111
图 5-1 wget 安装可执行文件.............................................................................................................................. 116
图 5-2 MinGW-w64 release 版本.........................................................................................................................117
图 5-3 MinGW-w64 解压后的目录结构.............................................................................................................118
图 5-4 Msys 版本................................................................................................................................................. 118
图 5-5 解压的 msys 放置的位置.........................................................................................................................119
图 5-6 系统环境 MinGW 环境变量设置............................................................................................................120
图 5-7 libraries_v140_x64_py35_1.1.0.tar.bz2.................................................................................................... 121
图 5-8 RUYI_PYTHON_PATH........................................................................................................................... 121
图 5-9 Path............................................................................................................................................................122
图 5-10 PYTHONPATH....................................................................................................................................... 122
图 5-11 解压 caffe.zip 到 caffe 文件夹中........................................................................................................... 122
图 5-12 拷贝 libraries 中的库文件到指定文件夹中..........................................................................................123
图 5-13 打开 RuyiStudio 工具.............................................................................................................................124
图 5-14 Ruyi Studio 工具启动界面.....................................................................................................................124
图 5-15 选择 workspace 的目录..........................................................................................................................125
图 5-16 工具界面................................................................................................................................................. 125
图 5-17 选择 Ruyi 透视图................................................................................................................................... 126
图 5-18 Ruyi 透视图............................................................................................................................................ 126
图 5-19 工作区视图............................................................................................................................................. 127
图 5-20 视图关闭选项......................................................................................................................................... 127
HiSVP
开发指南
插图目录
文档版本 06 (2019-07-10) 版权所有 © 上海海思技术有限公司 xiv
图 5-21 通过 File 菜单创建 Project.................................................................................................................... 128
图 5-22 通过鼠标右键创建 Project.....................................................................................................................128
图 5-23 选择 NNIE Project.................................................................................................................................. 129
图 5-24 设置 Project 的名字并确认创建工程....................................................................................................130
图 5-25 创建工程后的工程视图......................................................................................................................... 131
图 5-26 NNIE PC 端 Sample 工程...................................................................................................................... 131
图 5-27 工程导入方式 1......................................................................................................................................132
图 5-28 工程导入方式 2......................................................................................................................................132
图 5-29 选择外部的项目对话框......................................................................................................................... 133
图 5-30 选择工程对话框..................................................................................................................................... 134
图 5-31 导入 sample 代码后的工程效果............................................................................................................135
图 5-32 工程属性视图......................................................................................................................................... 136
图 5-33 采用系统环境变量................................................................................................................................. 137
图 5-34 采用自定义环境变量............................................................................................................................. 137
图 5-35 设置 MinGW C++ Linker.......................................................................................................................138
图 5-36 设置 g++的编译参数............................................................................................................................. 139
图 5-37 工程所需的 Include 路径配置...............................................................................................................140
图 5-38 工程所需的 Lib 或 Dll 文件配置.......................................................................................................... 140
图 5-39 搜索框..................................................................................................................................................... 141
图 5-40 Tasks 视图...............................................................................................................................................142
图 5-41 创建任务框............................................................................................................................................. 142
图 5-42 在代码中创建任务................................................................................................................................. 143
图 5-43 问题视图................................................................................................................................................. 143
图 5-44 属性视图................................................................................................................................................. 144
图 5-45 项目管理视图......................................................................................................................................... 144
图 5-46 大纲视图................................................................................................................................................. 145
图 5-47 引用关系查看......................................................................................................................................... 145
图 5-48 断点显示................................................................................................................................................. 146
图 5-49 代码辅助功能......................................................................................................................................... 146
图 5-50 编译日志................................................................................................................................................. 147
图 5-51 编译成功后的文件夹............................................................................................................................. 147
图 5-52 编译报错的日志..................................................................................................................................... 148
图 5-53 创建 Application 设置视图.................................................................................................................... 149
图 5-54 重定向标准输出..................................................................................................................................... 149
图 5-55 Debug 透视图......................................................................................................................................... 150
图 5-56 Mapper Configuration Editor 界面模式打开 cfg 文件..........................................................................151
图 5-57 Mapper Configuration Editor 视图......................................................................................................... 152
图 5-58 cfg 文件 Text Editor 视图.......................................................................................................................153
图 5-59 Prototxt 自动标记功能........................................................................................................................... 154
图 5-60 编辑标记后 Prototxt 文件...................................................................................................................... 154
图 5-61 标记后的 Prototxt 的网络拓扑图.......................................................................................................... 155
图 5-62 标记后的 Prototxt 中 Layer 对应的属性图...........................................................................................155
HiSVP
开发指南
插图目录
文档版本 06 (2019-07-10) 版权所有 © 上海海思技术有限公司 xv
图 5-63 Inplace 层节点的 Layer Info 视图......................................................................................................... 156
图 5-64 显示 shape 信息的网络拓扑图..............................................................................................................157
图 5-65 更新 shape 信息后的网络拓扑图..........................................................................................................158
图 5-66 将当前 Layer 指定为 CPU 运算............................................................................................................159
图 5-67 将当前 Layer 指定为高精度层..............................................................................................................160
图 5-68 将当前 Layer 指定为中间上报层..........................................................................................................161
图 5-69 当前 Layer 为 Custom 层....................................................................................................................... 162
图 5-70 当前 Layer 为 Proposal 层......................................................................................................................162
图 5-71 Prototxt 编辑界面................................................................................................................................... 163
图 5-72 Mapper Configuration Editor 参数界面................................................................................................. 164
图 5-73 *.cfg Text Editor 界面.............................................................................................................................165
图 5-74 Make WK 过程的工具界面................................................................................................................... 166
图 5-75 仿真配置文件可视化编辑..................................................................................................................... 167
图 5-76 仿真工程编译......................................................................................................................................... 168
图 5-77 仿真工程编译生成可执行文件............................................................................................................. 169
图 5-78 仿真工程调试......................................................................................................................................... 170
图 5-79 切换功能仿/指令仿的操作....................................................................................................................171
图 5-80 控制台打印切换仿真库对应的修改信息............................................................................................. 171
图 5-81 修改 g++编译宏..................................................................................................................................... 172
图 5-82 编译宏对应的代码位置......................................................................................................................... 173
图 5-83 修改工程依赖的 Libraries..................................................................................................................... 173
图 5-84 网络拓扑图视图..................................................................................................................................... 174
图 5-85 向量对比视图......................................................................................................................................... 176
图 5-86 选择 dot 文件的向量对比视图..............................................................................................................177
图 5-87 双击需要查看的行................................................................................................................................. 178
图 5-88 详细比较结果......................................................................................................................................... 179
图 5-89 点击 Show Result 按钮...........................................................................................................................180
图 5-90 Graph View 显示对比结果.....................................................................................................................180
图 5-91 保存 csv 格式的报告..............................................................................................................................181
图 5-92 Dump Network 视图............................................................................................................................... 183
图 5-93 选择保存导出数据的文件夹................................................................................................................. 183
图 5-94 选择需要 Dump 的开始层.....................................................................................................................184
图 5-95 选择需要 Dump 的结束层.....................................................................................................................184
图 5-96 Dump 提示推荐层.................................................................................................................................. 185
图 5-97 Dump 导出的信息说明.......................................................................................................................... 186
图 5-98 目标检测界面......................................................................................................................................... 187
图 5-99 坐标检测文件示例................................................................................................................................. 187
图 5-100 框选结果............................................................................................................................................... 188
图 5-101 修改置信度后的框选结果................................................................................................................... 188
图 5-102 输出 caffe 中间结果.............................................................................................................................189
图 5-103 在配置的 output Dir 下面得到 caffe 中间结果.................................................................................. 190
图 5-104 标记 prototxt......................................................................................................................................... 191
HiSVP
开发指南
插图目录
文档版本 06 (2019-07-10) 版权所有 © 上海海思技术有限公司 xvi
图 5-105 在 Graph View 上画出对应视图..........................................................................................................192
图 5-106 Dump Network 视图............................................................................................................................. 193
图 5-107 Dump 出的数据.................................................................................................................................... 193
图 5-108 还原网络............................................................................................................................................... 193
图 5-109 还原出 caffemodel................................................................................................................................194
图 5-110 芯片高效模式视图............................................................................................................................... 195
图 5-111 打开 Prototxt 显示到 Graph View 中................................................................................................... 196
图 5-112 芯片高效模式执行效果....................................................................................................................... 197
图 5-113 Un-inplace 所有 inplace 层的功能.......................................................................................................198
图 5-114 双击选中需要 un-inplace 的层............................................................................................................ 199
图 5-115 Un-inplace 单个 inplace 层的功能.......................................................................................................200
图 5-116 Revert initial State 功能........................................................................................................................ 201
图 5-117 Save Prototxt 功能................................................................................................................................ 202
图 5-118 性能仿真结果展示界面....................................................................................................................... 203
图 5-119 导入 Dot 文件和性能仿真结果文件夹............................................................................................... 204
图 5-120 性能仿真结果文件示例....................................................................................................................... 204
图 5-121 预处理视图........................................................................................................................................... 205
图 5-122 导入 Prototxt......................................................................................................................................... 206
图 5-123 进行预处理另存 Prototxt..................................................................................................................... 206
图 5-124 拓扑图对比初始化界面....................................................................................................................... 206
图 5-125 拓扑图对比视图................................................................................................................................... 207
图 5-126 导入文件............................................................................................................................................... 207
图 5-127 网络拓扑图........................................................................................................................................... 207
图 5-128 创建 NNIE Project 时设置 SOC Version............................................................................................. 209
图 5-129 修改已有工程中对应的芯片............................................................................................................... 210
图 5-130 将当前 Layer 指定为高精度运算........................................................................................................211
图 5-131 将当前 Layer 指定为 cpu 运算............................................................................................................212
图 5-132 提示是否需要创建 Proposal 类型的插件库.......................................................................................212
图 5-133 打开 proposal 层的显示....................................................................................................................... 213
图 5-134 运行 Runtime 所需要传入的文件....................................................................................................... 213
图 5-135 运行 Runtime 的界面........................................................................................................................... 213
图 5-136 Model Zoo 视图.................................................................................................................................... 214
图 5-137 模型级联关系图编辑器....................................................................................................................... 215
图 5-138 模型级联关系图向导........................................................................................................................... 216
图 5-139 模型级联关系图基础信息编辑........................................................................................................... 216
图 5-140 导入模型组描述文件........................................................................................................................... 217
图 5-141 输入数据图元....................................................................................................................................... 217
图 5-142 模型图元............................................................................................................................................... 218
图 5-143 连接器图元........................................................................................................................................... 218
图 5-144 从 Model Zoo 添加模型....................................................................................................................... 218
图 5-145 有效连线............................................................................................................................................... 219
图 5-146 无效连线............................................................................................................................................... 219
HiSVP
开发指南
插图目录
文档版本 06 (2019-07-10) 版权所有 © 上海海思技术有限公司 xvii
图 5-147 级联关系图属性视图........................................................................................................................... 219
图 5-148 模型组描述文件导出按钮的位置....................................................................................................... 221
图 5-149 通过鼠标右键创建 Project...................................................................................................................222
图 5-150 选择 Custom plugin Project..................................................................................................................222
图 5-151 设置 Project 和 layer type 的名字并确认创建工程............................................................................223
图 5-152 创建工程后的工程视图....................................................................................................................... 224
图 5-153 生成的*.c 文件..................................................................................................................................... 224
图 5-154 通过鼠标右键选择 Add lib to Custom plugin location....................................................................... 225
图 5-155 添加 dll 成功之后的提示.....................................................................................................................226
图 5-156 打开 preferences 页面.......................................................................................................................... 226
图 5-157 打开设置 Custom Plugin 页面............................................................................................................. 227
图 5-158 通过鼠标右键创建 Project...................................................................................................................228
图 5-159 选择 Runtime Project............................................................................................................................228
图 5-160 设置 Project 的名字并确认创建工程..................................................................................................229
图 5-161 切换芯片............................................................................................................................................... 230
图 5-162 属性页................................................................................................................................................... 231
图 5-163 项目 Model 页...................................................................................................................................... 232
图 5-164 芯片型号页........................................................................................................................................... 233
图 5-165 工具启动卡主无法打开的现象........................................................................................................... 234
图 5-166 修改 build_win.cmd 文件中的部分配置.............................................................................................235
图 5-167 运行 build_win.cmd 文件.....................................................................................................................235
图 5-168 运行打印,下载卡顿........................................................................................................................... 235
图 5-169 download_prebuilt_dependencies.py.................................................................................................... 236
图 5-170 WindowsDownloadPrebuiltDependencies.cmake.................................................................................236
图 5-171 Caffe1.0 基础工程................................................................................................................................ 237
图 5-172 检测网的 ssd 网络................................................................................................................................238
图 5-173 nnie_ssd_deploy.prototxt 文件的 Normalize 层...................................................................................238
图 5-174 nnie_ssd_deploy.prototxt 文件的 Permute 层...................................................................................... 239
图 5-175 下载 caffe-ssd.zip 包.............................................................................................................................239
图 5-176 增加 NormalizeParameter 和 PermuteParameter 的定义(1).......................................................... 239
图 5-177 增加 NormalizeParameter 和 PermuteParameter 的定义(2).......................................................... 240
图 5-178 NormalizeParameter 和 PermuteParameter 层的代码文件路径......................................................... 240
图 5-179 添加代码 permute_layer.cpp 和 normalize_layer.cpp 到工程文件.....................................................241
图 5-180 添加代码 permute_layer.hpp 和 normalize_layer.hpp 到工程文件.................................................... 241
图 5-181 Release 模式编译................................................................................................................................. 242
图 5-182 在代码中增加扩展层........................................................................................................................... 242
图 5-183 打印 caffe 中间结果.............................................................................................................................243
图 5-184 成功得到 caffe 的中间输出.................................................................................................................243
图 5-185 main 方法中设置缓存 BUFFF 为 NULL............................................................................................ 244
图 5-186 Ruyi 工具选择插件库.......................................................................................................................... 245
图 5-187 新创建一个 C/C++工程....................................................................................................................... 247
图 5-188 添加 demo.cpp 文件............................................................................................................................. 248
HiSVP
开发指南
插图目录
文档版本 06 (2019-07-10) 版权所有 © 上海海思技术有限公司 xviii
剩余279页未读,继续阅读
2019-05-03 上传
2023-07-07 上传
2023-08-01 上传
2024-10-16 上传
manorn
- 粉丝: 2
- 资源: 88
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 新型智能电加热器:触摸感应与自动温控技术
- 社区物流信息管理系统的毕业设计实现
- VB门诊管理系统设计与实现(附论文与源代码)
- 剪叉式高空作业平台稳定性研究与创新设计
- DAMA CDGA考试必备:真题模拟及章节重点解析
- TaskExplorer:全新升级的系统监控与任务管理工具
- 新型碎纸机进纸间隙调整技术解析
- 有腿移动机器人动作教学与技术存储介质的研究
- 基于遗传算法优化的RBF神经网络分析工具
- Visual Basic入门教程完整版PDF下载
- 海洋岸滩保洁与垃圾清运服务招标文件公示
- 触摸屏测量仪器与粘度测定方法
- PSO多目标优化问题求解代码详解
- 有机硅组合物及差异剥离纸或膜技术分析
- Win10快速关机技巧:去除关机阻止功能
- 创新打印机设计:速释打印头与压纸辊安装拆卸便捷性
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功