点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
作者丨不是大叔@知乎
来源丨https://zhuanlan.zhihu.com/p/163696749
编辑丨极市平台
导读
作者对CenterNet进行了部分修改，以此进行旋转目标检测。本文介绍了这种工作的代码、数据处理和样例，供读者参考。
前段时间纯粹为了论文凑字数做的一个工作，本文不对CenterNet原理进行详细解读，如果你对CenterNet原理不了解，建议简单读一下原论文然后对照本文代码理解（对原版CenterNet目标检测代码进行了极大程度精简）。
基本想法就是直接修改CenterNet的head部分，但是是直接在长宽图上加一层通道表示角度，还是多引出一 路feature-map呢？实测是多引出一张feature map比较好，直接在长宽图上加一层通道很难收敛。具体原因我也是猜测，角度和尺度特征基本无共享特征，且会相互干扰（角度发生些许变化，目标的长宽可能就变了，如果角度是错的，长宽本来是对的呢？反之亦然）引出的feature-map只经历了一层卷积层就开始计算loss，对于这种复杂的关系表征能力不够，可能造成弄巧成拙。网络结构如下：
代码主要分为五个部分：
train.py：模型的训练
predict.py：模型的前向推理
backbone：模型的主干网，给了DLA和ResNet的DCN与普通版本，层数可以自定义
loss.py：模型的损失函数
dataset.py：模型的数据处理
原版CenterNet代码较多，我只需要做目标检测，所以把各种3D检测等都删了，模型架构也拆了只保留了有用部分，方便自己阅读以及魔改。
其次，因为只是加了一个角度检测，所以主要是修改了一下数据处理部分，用的还是VOC格式，只是在.josn文件里面加了一个角度信息，打标签的时候用[0,Π]表示，后续在loss内添加了角度的feature-map损失，用的Smooth-L1 loss，如果你不知道怎么打标签以及处理标签文件，可以在评论区留言或者私信我。
后处理部分把画标准检测框换成了旋转框，计算旋转IOU指标等代码后续会传上去。
画旋转框，修改主干网与损失函数，代码里面都有。
关于下面这些操作是我写过的，如果有需要可以留言：
如何对旋转目标打标签？
如何将角度信息添加到VOC格式标签？
如何计算旋转IOU指标？
其它
代码链接：
https://github.com/ZeroE04/R-CenterNetgithub.com
鉴于一些同学想知道模型训练完毕，怎么对比性能，比如旋转框怎么计算mIOU等，所以更新一个evaluation.py以及对应的案例图片和文件夹imgs。注意，这个.py和imgs文件夹不是必须的，只是模型训练结束计算性能用的。
1、有人说缺少vis模块，其实这一块是我自己写的可视化，其实是不需要的，所以直接注释掉所有相关代码就行(现在github已经删除)
2、有人询问旋转打标签工具，其实有很多，这里推荐：
chinakook/labelImg2github.com
如果你想要训练自己的数据，这个工具会把每张图片都生成一张.xml文件，你需要把每个.xml转化为.josn文件，然后把所有图片的.json文件合成一个.json文件，就是此网络训练格式文件了，也是CenterNet原版训练数据，然后每个图片里面的目标五个数值：
分别为目标中心点（x,y），以及宽度，长度，角度，角度是以12点钟为0°，顺时针旋转的角度，最大为179.99999°（旋转180°，相当于没转）。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
3Ｄ视觉工坊 认证博客专家 算法 3D视觉 个人公众号：３D视觉工坊。公众号特邀嘉宾及合伙人，先后就职于国内知名研究机构、自动驾驶公司、海康研究院，主要研究方向为深度学习、目标检测、语义分割、图像处理、自动驾驶感知算法等，博客专家。博主先后任职于国内知名研究院、知名大厂，致力于3D视觉算法、VLAM算法开发，涉及相机标定、手眼标定、结构光、点云后处理、三维重建等相关领域的研究，同时也是博客专家。3D视觉工坊坚持原创，近一年来输出了非常多的高质量文章，获得了粉丝的一致好评，我们将始终坚持走原创路线，打造一个铁杆粉丝的聚集区。