YolactEdge:首个开源边缘设备上的实时实例分割方法

YolactEdge:首个开源边缘设备上的实时实例分割

YolactEdge 是第一个可在小型边缘设备上以实时速度运行的有竞争力的实例分割方法。

在550×550分辨率的图像上,以ResNet-101为主干网的YolactEdge 在Jetson AGX Xavier上的运行速度高达30.8 FPS(在RTX 2080 Ti上的运行速度为172.7 FPS)。

YolactEdge: Real-time Instance Segmentation on the Edge (Jetson AGX Xavier: 30 FPS, RTX 2080 Ti: 170 FPS)

论文:https://arxiv.org/abs/2012.12259

代码:https://github.com/haotian-liu/yolact_edge

单位:亚马逊;加利福尼亚大学戴维斯分校

作者:Haotian Liu, Rafael A. Rivera Soto, Fanyi Xiao, Yong Jae Lee

该文主要在YOLACT算法基础上进行了两个方面的改进:

(1) TensorRT 程序优化,权衡速度和精度;

(2) 提出一种新的特征 warping 模块,以利用视频中的时间冗余。

作者已经提供了YouTube VIS 、COCO数据集上训练的众多模型:

YolactEdge:首个开源边缘设备上的实时实例分割
YolactEdge:首个开源边缘设备上的实时实例分割

可以直接跑起来。

对于做研究的同学来说,作者也提供了简单方便的在主流数据集上评估方法,方便改进后模型比较

YolactEdge:首个开源边缘设备上的实时实例分割

另外,该代码提供了详细的在已有和新数据集上的训练方法,方便做工程的同学自己训练。

相关演示Demo:

总之,对于做实例分割的同学来说,YolactEdge是近期非常值得参考的算法。

内容出处:,

声明:本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。文章链接:http://www.yixao.com/tech/18695.html

发表评论

登录后才能评论