基于YOLO的无人机电力线路杆塔巡检图像实时检测郭敬东1，陈彬1，王仁书1，王佳宇2，仲林林21. 国网福建省电力有限公司电力科学研究院，福建 福州 350007；2. 东南大学 电气工程学院，江苏 南京 210096摘 要无人机巡检已成为电力线路灾后巡检的重要方式。然而，目前的无人机巡检仍主要通过人工方式评估线路灾损，不仅费时费力，而且准确率低。提出了一种基于深度学习算法（YOLO）的实时目标检测模型，用于灾后根据无人机巡检视频实时检测电力杆塔的状态。通过对倒断类杆塔图像进行数据增广，解决了杆塔类别不平衡问题。通过使用K-means算法对杆塔数据集的目标框进行重新聚类，改进了YOLO算法参数。测试结果表明，该模型能有效检测多种环境下多种尺度的杆塔目标。改进后的模型在测试集上的召回率和交并比（IoU）较改进前有所提高，且平均均值精度（mAP）达到94.09，检测速度达到20帧/s。此外，也对更快的简化版YOLO模型进行了测试，检测速度能达到30帧/s。关键词无人机巡检；电力杆塔；深度学习；YOLO；数据增广；人工智能与大数据应用中图分类号 TM755 文献标志码 A DOI 10.11930/j.issn.1004-9649.2018120280 引言为了能够及时发现电力线路的故障以便有效排除安全隐患，电力部门需要定期或不定期地对电力线路开展巡检。目前主要的电力线路巡检方式包括人工巡检、机器人巡检、载人直升机巡检、无人机巡检等[1]。由于电力线路经常穿越崇山峻岭、江河峡谷、无人区等特殊地理环境，尤其是在台风、暴雨、地震等自然灾害发生后，进行人工徒步巡检和载人直升机辅助巡检非常危险，且效率低下[2-3]。随着无人机技术的发展和无人机生产成本的下降，越来越多的电力公司开始开展无人机电力线路巡检[4-5]。中国是世界上遭受台风灾害最严重的国家之一。每年夏季沿海许多省份都会因电力线路遭受台风的破坏而导致大面积停电。据统计，2016年福建电网因台风袭击造成的损失占国家电网总损失的92.7[6]。为了在台风灾后快速开展故障排查与抢修，许多电力公司使用搭载摄像装置的无人机进行灾后电力线路巡检，获取灾后现场数据，并根据现场数据的评估情况采取适当的抢修措施。在灾后现场数据评估中，最重要的环节是从海量的无人机图像、视频数据中寻找并定位受损的电力杆塔，以便为电力线路的紧急维修提供辅助决策信息。然而，目前这项工作主要通过人工完成，不仅费时费力、效率低，而且准确性得不到保障。近年来随着人工智能技术的发展，基于巡检图像数据的电力线路状态智能评估已成为可能。例如，通过深度卷积神经网络（convolutional neuralnetworks，CNN）提取目标特征的目标检测算法可用于智能识别，并标注电力线路组件[7-9]。目前应用较为广泛的深度学习目标检测算法可分为两类一类为基于区域的目标检测算法，代表算法有Faster R-CNN[10]、Mask R-CNN[11]等，该类算法有较高的检测精度，但检测速度较慢；另一类为基于回归的目标检测算法，也被称为one-stage系算法，如YOLO[12-14]、SSD[15]等，它们的特点是采用端到端的检测，具有较快的检测速度。这些算法均可用于无人机图像数据的智能分析，如电力线组件检测、电力线植被覆盖监测、电力线路冰冻灾害监测等[3]。本文提出了一种基于深度学习算法（you only收稿日期2018−12−12； 修回日期2019−03−19。基金项目国家自然科学基金资助项目518070280；国家电网有限公司科技项目52130418000L。第 52 卷 第 7 期中国电力Vol. 52, No. 72019 年 7 月ELECTRIC POWER Jul. 201917look once，YOLO）的实时目标检测模型。该模型可从无人机灾后巡检视频数据中实时检测出正常和受损的线路杆塔，帮助电力运维部门开展电力线路灾损评估，快速确定受损杆塔的位置，从而为开展灾后抢修提供辅助决策信息。本文主要针对低压配电网进行了杆塔图像的采集、训练与检测，但该模型也可推广用于高压输电网等一般电力线路的杆塔目标检测。1 基于YOLO的实时目标检测模型YOLO是由Redmon和Divvala提出的一种实时目标检测算法[12-14]。目前该算法已经更新至第3代。YOLO是一种属于one-stage系列的目标检测算法，它将目标检测视为一类回归问题，直接从输入的图像中预测目标包围框的坐标和类别概率，从而实现端到端的识别，因此它的检测速度非常快，可以在保持较高准确率的同时实现实时目标检测。而传统的电力线路组件检测方法主要是通过人工设计特征来识别，如HOG（histogramof oriented gradient）算法[16]、SIFT（scale-invariantfeature trans）算法[17]、边缘检测算法[18]等，相比于深度学习模型，存在精度低、鲁棒性差等缺点[3]。考虑到原始的YOLO算法是为了检测动物、行人、汽车、植物等日常生活中的物体而设计的，本文根据其思路重新设计了该算法，提出了一种用于实时检测电力线路杆塔的YOLO模型。如图1所示，无人机拍摄的巡检视频将被处理成一帧帧图像输入到YOLO模型中，每帧图像首先按YOLO分辨率的要求放缩成608608像素大小，然后将放缩后的图像输入到由53个卷积层构成的基础深度神经网络Darknet-53[14]，该网络主要用于提取图像的深层特征和抽象特征。Darknet网络之后为YOLO神经网络的特征交互层，用于检测3个不同尺度的目标，每个尺度内，通过卷积核的方式实现局部的特征交互。3个YOLO交互层分别输出1919、3838和7676大小的特征图（feature map），然后在此基础上进行分类和位置回归。YOLO采用逻辑回归（logistic）方式预测目标边框，同时在最新的类别预测模型中，原来的单标签分类被改进为多标签分类，用于处理标签重叠等问题[14]。此外，本模型除目标包围框宽和高的损失函数采用均方和误差外，其他部分的损失函数使用二值交叉熵[14]。2 无人机电力杆塔图像数据集预处理2.1 数据集的增广本文无人机电力杆塔图像数据集来源于福建省电力公司无人机输电线路巡检视频数据，以及从互联网上收集的电力杆塔图像数据。如图2所示，配电线路常见的杆塔类型有2种，将处于正常状态的电力杆塔按类型分为2类（在目标检测图像中被标注为“normal_pole_1”和“normal_pole_2”），而倒断受损的杆塔全部被划分为一类（在目标检测图像中被标注为“abnormal_pole”）。卷积块卷积块卷积块上采样上采样卷积块卷积块卷积块卷积块卷积卷积卷积卷积块卷积块608 608 338 38 2419 19 2476 76 24张量连接张量连接卷积块8*残差块卷积块2*残差块卷积块1*残差块卷积块4*残差块卷积块8*残差块尺度1尺度2尺度3输入放缩Darknet-53 无全连接层图 1 用于电力线路杆塔状态实时检测的YOLO算法框架Fig. 1 YOLO algorithm framework for the real-time detection of power line poles status中国电力第 52 卷18由于电力线路杆塔通常都处于正常状态，只有在遭受人为或极端自然灾害后才可能出现倾斜、倒塌、断裂等非正常状态，因此无人机现场采集到的电力杆塔图像数据存在严重的样本类别不均衡问题[19]，即受损的电力杆塔图像占整个数据集的比例过小。而理想情况下，不同类别的样本数据所占比例应基本相同[20]。为了解决这一问题，本文通过对非正常杆塔图像应用图像增广的方法来扩充非正常杆塔数据集。图像增广技术通过对原始图像进行一系列随机改变，来产生相似但又有不同的训练样本，从而扩大训练数据集的规模，同时也可以降低模型对某些属性的依赖，从而提高模型的泛化能力[21]。如图3所示，本文采用的图像增广方法包括平移、缩放、水平翻转、颜色变化等，每张增广后的图片都是原图经过多种随机组合变换得到的。图像变换过程中产生的空白区域选用黑色填充，因为黑色的RGB值为（0，0，0），在卷积等计算过程中对目标特征的影响最小。最终，增广后3种类别的电力杆塔图像的数量比例约为1∶1∶1。此外，为了提高模型的识别能力，本文还在数据集中添加了部分无目标标注的图像（即负样本）。2.2 数据集目标框的聚类分析最初的YOLO算法采用回归的方法直接预测目标边界框的坐标值。为了简化问题，让神经网络学习起来更加容易，Faster R-CNN算法提出了锚（anchor）机制，即事先确定一组大小、横纵比各异的矩形框作为选取目标包围框时的参照物，通过预测目标框的偏移量取代直接预测坐标，有效降低了模型训练的复杂度。最新的YOLO算法借鉴了锚的思想，并对Faster R-CNN算法中手动设置锚框的方式进行了改进，通过K-means聚类的方法获得训练集的锚框集合。K-means算法是一种经典的基于距离的聚类算法，一般采用欧式距离作为判别依据。但采用欧式距离聚类获得的锚会使得大包围框产生的误差相比小包围框更大，而聚类的目的是为了获得更好的交并比（intersection over union，IoU），与包围框的大小无关。这里的交并比是指预测的目标框与真实目标框的重叠率，即检测结果（detection result）与真实值（ground truth）的交集比上它们的并集，用公式表示为IoU Detection Result\Ground TruthDetection Result[Ground Truth（1）综合以上考虑，在锚的聚类过程中使用通过交并比定义的距离公式为D box; centroid 1 IoU box; centroid（2）式中box表示样本；centroid表示聚类中心；IoU（box，centroid）表示聚类中心框和样本框的交并比。原YOLO算法中的锚参数是通过聚类图像识别、分类的标准数据集 Pascal VOC数据集和COCO数据集得到的，适用于该数据集中汽车、人类、猫等各类不同尺寸的目标。而本文要识别的目标为电力线路杆塔，多数目标框长宽比大，为长矩形，因此直接使用原算法中的锚参数并不合理。基于这样的考虑，本文对电力线路杆塔图像数据集重新进行了K-means聚类分析，聚类中心的数量设置为K9。聚类结果如图4所示，新的锚参数分别为（6，39）、（14，74）、（39，48）、（25，155）、（52，224）、（203，92）、（106，252）、（186，287）、（300，215）。a 正常杆塔类别1 b 正常杆塔类别2 c 受损杆塔 图 2 数据集中的电力杆塔类别Fig. 2 Classes of power line poles in dataseta 原始图像b 增广图像 图 3 非正常杆塔图像的数据增广Fig. 3 Data augmentation for abnormal poles第 7 期 郭敬东等基 于 YOLO的无人机电力线路杆塔巡检图像实时检测193 模型的训练与测试3.1 模型训练本文实验的软硬件平台如表1所示，训练集和测试集分别包含7 636和815张电力杆塔图片。由于无人机拍摄的图像和视频分辨率较高，为了更好地检测小目标，选择较大的608608分辨率作为统一的YOLO网络入口分辨率。训练阶段采用动量项为0.9的异步随机梯度下降算法，每批训练（即每个batch）包含64张图片，分16次送入训练器，权值的初始学习率设置为0.001，衰减系数设为0.000 5。训练过程中，随着迭代次数的增加，损失值、类别准确率、平均交并比和阈值为0.5时召回率的变化趋势散点图如图5所示。其中，召回率为被正确识别出来的目标数与目标总数的比值，用来衡量目标检测模型的漏检率。从图5可看出，随着迭代次数的增加，损失值（即损失函数值）迅速降低，逐渐收敛于0；类别准确率和召回率最终趋近于1；平均交并比也逐渐增大，趋近于0.8。从上述各参数的训练过程来看，模型的收敛结果较为理想。3.2 模型测试电力杆塔单目标检测的效果如图6所示，其中，实线包围框为YOLO电力线路杆塔检测模型预测出来的结果，虚线包围框是事先标注的目标真实值。如图7所示，本文模型还可以从1张图表 1 软硬件实验平台Table 1 Experimental plat of hardwareand software软硬件平台型号参数操作系统Ubuntu 16.04 LTS深度学习框架DarknetCPU Intel Xeon E5-2630 v4 2.20 GHz 30GPU NVIDIA TITAN Xpanchor 框的宽/像素anchor 框的长/像素40050030020010000 100 200 300 400 500图 4 基于K-means聚类算法的目标框分布Fig. 4 Distribution of anchor boxes based on K-meansclustering algorithm迭代次数/次c 平均交并比1.00.80.60.40.200 2 000 4 000 6 000 8 000 10 000平均交并比迭代次数/次d 召回率1.00.80.60.40.200 2 000 4 000 6 000 8 000 10 000召回率迭代次数/次损失值a 损失值1 7501 5001 2501 00075050025000 2 000 4 000 6 000 8 000 10 000迭代次数/次b 类别准确率1.00.80.60.40.200 2 000 4 000 6 000 8 000 10 000类别准确率图 5 网络训练参数收敛散点图Fig. 5 Scatter distribution of network parameters fortraining until convergence中国电力第 52 卷20像中同时检测出多个目标，并且对不同尺度、不同光照条件下的目标以及重叠和遮挡不全的目标也能有效识别。在本模型中，每张图像平均所消耗的处理时间约为30 ms，无人机巡检视频的处理速度可以达到20帧/s。本文还进一步通过计算交并比、召回率和平均精度均值（mean average precision，mAP）来衡量电力线路杆塔检测模型的性能。模型在使用改进锚参数前后的测试性能参数对比如表2所示。其中，平均精度均值是指各类别平均精度的平均值，它同时考虑了物体的分类和定位性能，是目标检测领域中一种常用的综合性能衡量指标。从表中可以看出，改进后的YOLO模型在测试集上的交并比提高了2.03个百分点，召回率提高了2.27个百分点，但平均精度均值下降了1.04个百分点。此外，为了提高检测的速度，降低实时目标检测对硬件的要求，本文还对简化版的YOLO算法进行了研究，建立了电力线路杆塔状态检测简b 正常杆塔类别2a 正常杆塔类别1normal_pole_2c 非正常杆塔normal_pole_1abnormal_pole图 6 电力杆塔单目标检测的预测值与真实值Fig. 6 Predicted boxes and ground-truth of single objectdetection of power line polesnormal_pole_2normal_pole_2normal_pole_2normal_pole_1b 高曝光率下目标normal_pole_2normal_pole_1normal_pole_1normal_pole_1c 重叠目标normal_pole_1d 遮挡目标normal_pole_1a 阴暗环境下目标图 7 多种环境下多尺度杆塔目标识别Fig. 7 Detection of multi-scale power line poles inmultiple environments第 7 期 郭敬东等基 于 YOLO的无人机电力线路杆塔巡检图像实时检测21化模型。该模型简化了YOLO的网络结构，从原来的106层网络缩减到了23层，只保留了2种尺度的输出，大大减少了权重参数的数量，降低了模型的处理时间。简化模型在本实验平台的视频检测速度可以达到30帧/s，较简化前提升了约50。但模型的检测精度有所下降，在测试数据集上得到的交并比为62.40，召回率为76.75，平均精度均值为71.19。4 结语本文基于最新的YOLO目标检测算法，提出了一种面向无人机巡检的电力线路杆塔状态实时检测模型。通过对非正常类杆塔的图像进行平移、缩放、水平翻转、改变颜色等数据增广变换，解决了杆塔样本类别不平衡的问题。通过使用K-means算法对杆塔数据集的目标框进行重新聚类，使得检测模型在测试集上的交并比和召回率有所提高，平均均值精度能达到94.09。该模型可以检测多种环境下多种尺度下的杆塔目标，同时可以实现对无人机巡检视频的实时检测，检测速度约为20帧/s。此外，基于简化YOLO模型的杆塔检测算法速度更快，检测速度可达到30帧/s。参考文献韩冰, 尚方. 面向无人机输电线路巡检的电力杆塔检测框架模型[J]. 浙江电力, 2016, 354 6–11.HAN Bing, SHANG Fang. Power tower detection framework modelfor UAV transmission line inspection[J]. Zhejiang Electric Power,2016, 354 6–11.[1]KATRASNIK, PERNUS, LIKAR. A survey of mobile robots fordistribution power line inspection[J]. IEEE Transactions on PowerDelivery, 2009, 251 485–493.[2]ROVERSO D, NGUYEN V N, JENSSEN R. Automatic autonomousvision-based power line inspection a review of current status and thepotential role of deep learning[J]. International Journal of ElectricalPower 2. Department of Electrical Engineering, Southeast University, Nanjing 210096, ChinaAbstract Unmanned aerial vehicles UAV-based inspection has become an important approach for power line inspection afterdisaster. However, the current UAV-based inspection is still pered manually for damage assessments, which is not only time-consuming but also poor in accuracy. In this paper a real-time detection model based on YOLO deep learning algorithm is presentedto detect the status of power line poles automatically from the UAV vision data after disaster. The data augmentation is pered forcollapsed towers to solve the class imbalance problem. To improve the parameters of YOLO, K-means algorithm is used to clusterobject frames of pole data. The experimental results show that the proposed model can effectively detect multi-scale towers inmultiple environments. The Recall and Intersection-over-Union IoU of the improved YOLO are improved, with the mean averageprecision mAP on the test set of 94.09 and the average processing speed of 20 frames per second FPS after improving theparameters. Moreover, we tested the simplified YOLO with faster speed, and the average processing speed reaches 30 FPS.This work is supported by National Natural Science Foundation of China No.51807028, and Science and Technology Project ofSGCC No.52130418000L.Keywords UAV inspection; power line poles; deep learning; YOLO; data augmentation; artificial intelligence and big dataapplication第 7 期 郭敬东等基 于 YOLO的无人机电力线路杆塔巡检图像实时检测23