搭建开发环境
当前的测试根据一下的步骤并修改源码是可以实现yolov8的板端运行,如果不想再搭建环境和测试代码bug上浪费更多的时间可以直接获取本人的测试虚拟机,所有的测试代码、虚拟环境和板端测试工程以全部打包到了虚拟机,需要的可以通过网盘获取:链接:https://pan.baidu.com/s/1VVlM4ry61tjEf45zpHgSwg?pwd=01hc 提取码:01hc
yolov8的环境搭建和测试
获取yolov8的工程:
https://github.com/ultralytics/ultralytics
搭建环境:
#进入到指定的路径
cd /home/kkx3/wyj/yolov8/ultralytics-main
#创建虚拟环境
conda create -n yolov8 python=3.7
#激活虚拟环境
conda activate yolov8
#安装Pytorch
pip install torch==1.12.1+cpu torchvision==0.13.1+cpu torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cpu
#安装ultralytics
pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple
#如安装过程中出现其他需要安装的请pip自行安装,本人测试过程中出现的问题未记录
#测试
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'
当前测试存在一个图片的网址路径无法访问的问题,所以需要先下载下来图片奥,source后面直接使用本地的路径就可以了。测试结果如下:
yolov8的模型转换(pt转onnx)
使用的转换脚本是yolov8官方的转换脚本
#测试的路径
cd /home/kkx3/wyj/yolov8/ultralytics-main
#使用的虚拟环境
conda activate yolov8
#模型转换的代码
python pt2onnx.py
测试结果如下:
模型的网络查看结果如下所示:
yolov8的pt模型
yolov8的onnx模型
需要对转换的onnx模型进行验证,这个是yolov8官方的转换工具,相信官方无需onnx模型的推理验证。
yolov8的模型转换(onnx转bin)
这部分可以基于yolov5的模型转转换进行修改,本人的测试就是将yolov5的复制出来一份进行的修改。
#进入到指定的路径
cd /home/kkx3/wyj/x3/TransModel/horizon_model_convert_sample/04_detection/08_yolov8s/mapper
#激活虚拟环境
conda activate x3model
#模型检查
bash 01_check.sh
#模型推理
bash 02_preprocess.sh
#模型编译
bash 03_build.sh
#模型验证
bash 03_build.sh
由于以上都是基于yolov5进行的修改具体执行脚本的修改内容如下所示(注:由于当前的yolov8的模型和原yolov5的的模型不一致后处理需要自行的更改,yolov8的输出是8400*84的向量)
将转换后的模型复制地平线X3派上测试。
python版本的yolov8测试
当前的测试也是基于Python的yolov5版本修改的,模型和测试路径如下
连接开发板执行一下指令测试
#进入到测试路径,之歌需要基于yolov5的修改后创建
cd /app/ai_inference/09_yolov8_sample/
#测试
sudo python3 ./test_yolov8.py
测试结果(与yolov5测试对比)
yolov5板端测试结果
yolov8板端测试结果
C++版本的yolov8测试
当前的测试也是基于C++的yolov5版本修改的,模型和测试路径如下
连接开发板执行一下指令测试
#进入到指定的路径,这个需要基于yolov5的修改并创建
cd /app/bpu_yolov8/src
#编译
sudo make
#进入到执行的路径
cd bin
#测试
sudo ./sample -f /app/model/basic/yolov8n_640x640_nv12.bin -m 0
运行时间是289ms 3-4fps(运行比较慢原因未知,可能和一下的报错有关,未进行后续的测试,欢迎给为大神指点)。
C++版本是可以实现读取mipi摄像头数据并使用hdmi输出检测结果,测试结果如下所示
测试图片:
测试视频(yolov8在地平线X3派上运行测试):
B站:https://www.bilibili.com/video/BV1EL411R7qi/?spm_id_from=888.80997.embed_other.whitelist