优点

Darknet是一个比较小众的深度学习框架，没有社区，主要靠作者团队维护，所以推广较弱，用的人不多。而且由于维护人员有限，功能也不如tensorflow等框架那么强大，但是该框架还是有一些独有的优点：

1.易于安装：在makefile里面选择自己需要的附加项（cuda，cudnn，opencv等）直接make即可，几分钟完成安装；

2.没有任何依赖项：整个框架都用C语言进行编写，可以不依赖任何库，连opencv作者都编写了可以对其进行替代的函数；

3.结构明晰，源代码查看、修改方便：其框架的基础文件都在src文件夹，而定义的一些检测、分类函数则在example文件夹，可根据需要直接对源代码进行查看和修改；

4.友好python接口：虽然darknet使用c语言进行编写，但是也提供了python的接口，通过python函数，能够使用python直接对训练好的.weight格式的模型进行调用；

5.易于移植：该框架部署到机器本地十分简单，且可以根据机器情况，使用cpu和gpu，特别是检测识别任务的本地端部署，darknet会显得异常方便。


代码结构

下图是darknet源代码下载解压后文件夹的分布情况：



1.cfg文件夹内是一些模型的架构，每个cfg文件类似与caffe的prototxt文件，通过该文件定义的整个模型的架构

2.data文件夹内放置了一些label文件，如coco9k的类别名等，和一些样例图（该文件夹主要为演示用，或者是直接训练coco等对应数据集时有用，如果要用自己的数据自行训练，该文件夹内的东西都不是我们需要的）

3.src文件夹内全是最底层的框架定义文件，所有层的定义等最基本的函数全部在该文件夹内，可以理解为该文件夹就是框架的源码；

4.examples文件夹是更为高层的一些函数，如检测函数，识别函数等，这些函数直接调用了底层的函数，我们经常使用的就是example中的函数；

5.include文件夹，顾名思义，存放头文件的地方；

6.python文件夹里是使用python对模型的调用方法，基本都在darknet.py中。当然，要实现python的调用，还需要用到darknet的动态库libdarknet.so，这个动态库稍后再介绍；

7.scripts文件夹中是一些脚本，如下载coco数据集，将voc格式的数据集转换为训练所需格式的脚本等

8.除了license文件，剩下的就是Makefile文件，如下图，在问价开头有一些选项，把你需要使用的选项设为1即可




安装

1.点开Makefile，将需要的选项设置为1，如图，使用GPU和CUDNN



2.打开终端，进入到darknet文件夹根目录，输入make，开始编译

3.几分钟后编译完成，文件夹中会多出一些文件夹和文件，obj文件中存放了编译过程中的.o文件，其他的几个空文件夹也不需要太大关注，这里最重要的就是三个：名为darknet的exe文件，名为libdarknet.a的静态链接库和名为libdarknet.so的动态链接库。如果直接在本地进行模型调用尝试，可以直接运行darknet这个exe文件，如果需要移植调用，则需要用到libdarknet.so这个动态链接库，这个动态链接库中只包含了src文件夹中定义的框架基础函数，没有包含examples中的高层函数，所以调用过程中需要自己去定义检测函数


检测

运行如下代码


./darknet detector test data/detect.data data/yolov3.cfg data/yolov3.weight

其中./darknet表示运行编译生成的darknet.exe文件，darknet.exe首先调用example文件夹下的darknet.c，该文件中的main函数需要预定义参数，detector即为预定义参数，如下代码
else if (0 == strcmp(argv[1], "detector")){
        run_detector(argc, argv);

由‘detector’转而调用run_detector，run_detector存在于example文件夹下的detector.c中，再根据预定义参数，确定是调用检测函数，训练函数还是验证函数：
if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, outfile, fullscreen);
else if(0==strcmp(argv[2], "train")) train_detector(datacfg, cfg, weights, gpus, ngpus, clear);
else if(0==strcmp(argv[2], "valid")) validate_detector(datacfg, cfg, weights, outfile);
else if(0==strcmp(argv[2], "valid2")) validate_detector_flip(datacfg, cfg, weights, outfile);
else if(0==strcmp(argv[2], "recall")) validate_detector_recall(cfg, weights);
else if(0==strcmp(argv[2], "demo")) 

其中test表示检测，train表示训练，valid表示验证，recall表示测试其召回率，demo为调用摄像头的实时检测
命令最后的三个参数表示运行需要的文件，.data文件记录了模型检测的类别，类名文件等，如下：
classes= 1
train  = /media/seven/yolov3/data/plate2/train.list
#valid = data/coco_val_5k.list
names = data/plate/plate.names
backup = /media/seven/yolov3/data/plate2/models
#eval=coco

class表示检测类别，train为训练中需要用到的训练数据的列表，valid为验证集列表，names为检测类别的名称，backup为训练中用到的存放训练模型的路径
.cfg文件定义了模型结构，而.weight文件为调用的模型权重文件
运行以上命令，会在终端得到如下提示：
Enter Image Path: 

直接在终端输入图像的路径，就可以对该图像进行检测，并在darknet的根目录生成名为predictions.png的检测结果，如图：



分类

分类和检测类似，调用命令如下：

./darknet classifier predict classify.data classify.cfg classify.weights

与检测同理，./darknet运行darknet.exe，并调用example中的darknet.c文件，通过classfier调用classifier.c中的run_classifier函数：
else if (0 == strcmp(argv[1], "classifier")){
        run_classifier(argc, argv);

并通过predict进而调用predict_classifier函数：
 if(0==strcmp(argv[2], "predict")) predict_classifier(data, cfg, weights, filename, top);
 else if(0==strcmp(argv[2], "fout")) file_output_classifier(data, cfg, weights, filename);
 else if(0==strcmp(argv[2], "try")) try_classifier(data, cfg, weights, filename, atoi(layer_s));
 else if(0==strcmp(argv[2], "train")) train_classifier(data, cfg, weights, gpus, ngpus, clear);
 else if(0==strcmp(argv[2], "demo")) demo_classifier(data, cfg, weights, cam_index, filename);
 ...

而classify.data，classify.cfg，classify.weights分别表示分类对应的.data文件，模型定义cfg文件和模型权重.weights文件。

训练


检测模型的训练：

（1）数据准备：

首先，你需要将数据的groundtruth转化为darknet需要的格式，如果你的gt为voc格式的xml，可以通过如下脚本进行转换

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
classes = ["plate"]#类别改为自己需要检测的所有类别
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
def convert_annotation(image_id):
    in_file = open(xml_path)#与图片对应的xml文件所在的地址
    out_file = open(txt_save_path,'w') #与此xml对应的转换后的txt，这个txt的保存完整路径
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')  #访问size标签的数据
    w = int(size.find('width').text)#读取size标签中宽度的数据
    h = int(size.find('height').text)#读取size标签中高度的数据

    for obj in root.iter('object'):
        cls = obj.find('name').text
        if cls not in classes :#or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')   #访问boundbox标签的数据并进行处理，都按yolo自带的代码来，没有改动
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

上面的代码需要自行设置xml_path和txt_save_path

从上面的代码可以看到，对于object的位置x_min,x_max,y_min,y_max，先求得其中心点坐标center_x,center_y以及位置框的长宽width_rect,height_rect，再将这四个值分别除以长宽以将数据归一化，如果不是voc格式的数据可以按照这样的思路进行类似处理

如果是voc格式的数据可以参照我之前的博客进行一步一步的处理darknet用自己的数据进行训练

按照上面的流程，每张图像都生成了对应的txt文件来保存其归一化后的位置信息，如下图对应生成的txt如下：


0 0.250925925926 0.576388888889 0.1 0.0263888888889
0 0.485185185185 0.578125 0.0685185185185 0.0201388888889

图中共有车牌两个，每行保存一个车牌的信息，第一个0表示检测object的label，因为我只有一类，所以都是0

后面的四位即为归一化后的中心点坐标和位置框的长和宽

最后将图像和对应txt的文件名统一，并拷贝到同一个文件夹（a.jpg对应的txt为a.txt），如图：


注意，txt和对应jpg文件的名称除了最后.jpg,.txt的后缀不一样，其他的必须完全一样，且需要保存在同一文件夹，训练过程中会直接将a.jpg的名称替换为a.txt来寻找该图像对应的gt。对应的gt文件也不一定必须是txt格式，如果不是txt格式可以去源码中将这部分代码进行修改，将.jpg替换为你需要的格式后缀
（2）.data文件准备

前面已经贴过.data的图，训练的时候必须的项目有“class”，“train”，“backup”。“names”最好也设置上，方便以后调用。

“class”表示你要检测的类别个数，如检测类别为20则class=20

“backup”表示训练过程中的缓存和保存的模型。训练过程中，会在该路径下生成一个后缀为.backup的文件，该文件每100个step将模型更新一遍，以防止训练忽然终端而没有保存模型。并且，训练保存的模型也会存在该路径下。默认情况下，每10000step还是多少（记不太清了，我自己修改过）会保存一个模型，命名为yolov3_迭代次数.weights，最终训练完成还会保存一个yolov3_final.weights。这些模型都会保存在backup路径下

“names”为保存检测object名称的路径，names=plate.names

“train”为你训练集的list路径，如train=data/trainlist.txt，trainlist.txt中保存了所有训练集图像的路径，如下图



可以通过如下命令直接生成该文件：
find image_path -name \*.jpg > trainlist.txt

image_path为你数据集的路径
（3）.cfg文件准备

如果要调用yolo v3，可以直接使用cfg文件夹下的yolov3.cfg，但是需要做如下几个修改：

首先，将最上方的
# Testing
batch=1
subdivisions=1
# Training
# batch=64
# subdivisions=16

修改为
# Testing
#batch=1
#subdivisions=1
# Training
batch=64
subdivisions=16

其中batch表示batchsize，而subdivisions是为了解决想要大batchsize而显存又不够的情况，每次代码只读取batchsize/subdivisions 个图像，如图中设置为64/16=4，但是会将16次的结果也就是64张图的结果，作为一个batch来统一处理

（调用的时候再将testing部分解除注释，并将train部分注释）
然后，根据自己检测的类别，将每个[yolo]（共有三个[yolo]） 下方的classes修改为自己需要检测的类别，如果只检测一类则classes=1

然后将每个[yolo] 上方的第一个filters的值进行修改，计算方式为（5+classes）*3,如果classes为1，则为18，修改前后的对比：
[convolutional]
size=1
stride=1
pad=1
filters=255
activation=linear


[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=80
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1


[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear


[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=1
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1

图中的random表示论文中提及的resize network来增强网络的适应性，如果显存足够，最好设置为1，如果显存不够，也可以将其设置为0，即不进行network resizing
（4）weights文件准备

如果你使用的是作者提供的cfg模型结构，如yolov3，那么可以到其官网去下载预训练模型来初始化模型参数，这样可以加快收敛。当然，你也可以不使用预训练模型进行训练
（5）开始训练

如果使用预训练模型则使用如下命令
./darknet detector train data/detect.data data/yolov3.cfg data/yolov3.weight

否则，使用
./darknet detectortrain data/detect.data data/yolov3.cfg

命令类似与之前检测的调用命令，只是将test变为了train

分类模型的训练

（1）数据准备

和检测不一样，分类的gt只需要一个label即可，不再需要位置框的信息，所以不再需要单独的txt文件来保存gt，而是直接将label在图像名称上进行体现。所以需要对图像名称进行重命名，命名规则为：

（图片序号）_（标签）.（图片格式），如1_numzero.jpg

需要注意的是：

1.label不区分大小写，即 numzero和NumZero是一样的效果

2.label之间不能有包含关系，如ji和jin，不能出现这样的形式，可改为ji1和jin

（2）.data文件准备

和检测类似：
classes=65
train  = data/char/train.list
labels = data/char/labels.txt
backup = backup/
top=2

其中top不是在训练中使用，而是在分类调用时使用，表示输出Top个最高的可能值
（3）.cfg文件准备

可以从cfg文件夹中选择，也可以自行定义
（4）.weights文件

同上面的检测
（5）开始训练

使用命令：
./darknet classifier train cfg/cifar.data cfg/cifar_small.cfg （xxx.weights）

目录
1.安装darknet
2.测试
1) 测试yolov3
2) 测试yolov2
3) 测试yolov3-tiny

此文章仅测试使用
1.安装darknet
git clone https://github.com/pjreddie/darknet.git
cd darknet
make  #编译

2.测试
1) 测试yolov3
wget https://pjreddie.com/media/files/yolov3.weights
# 下载yolov3-weights
sudo ./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg
# 测试

如果测试正常且无误，则会出现类别机器百分比

但是由于内存不足，导致出现错误killed
2) 测试yolov2
wget https://pjreddie.com/media/files/yolo.weights
# 下载yolov2-weights
./darknet detect cfg/yolov2.cfg yolo.weights data/dog.jpg
# 测试

测试结果如下：


3) 测试yolov3-tiny
wget https://pjreddie.com/media/files/yolov3-tiny.weights
# 下载yolov3-tiny.weights
./darknet detect cfg/yolov3-tiny.cfg yolov3-tiny.weights data/dog.jpg
# 测试

测试结果如下：

文章来源

https://pjreddie.com/darknet/install/

应用环境

UBUNTU18.04

gcc和g++版本7.4.0

Installing The Base System

First clone the Darknet git repository here. This can be accomplished by:

git clone https://github.com/pjreddie/darknet.git
cd darknet
make

If this works you should see a whole bunch of compiling information fly by:

mkdir -p obj
gcc -I/usr/local/cuda/include/  -Wall -Wfatal-errors  -Ofast....
gcc -I/usr/local/cuda/include/  -Wall -Wfatal-errors  -Ofast....
gcc -I/usr/local/cuda/include/  -Wall -Wfatal-errors  -Ofast....
.....
gcc -I/usr/local/cuda/include/  -Wall -Wfatal-errors  -Ofast -lm....

If you have any errors, try to fix them? If everything seems to have compiled correctly, try running it!

./darknet

You should get the output:

usage: ./darknet <function>

Great! Now check out the cool things you can do with darknet here.

Compiling With CUDA

Darknet on the CPU is fast but it's like 500 times faster on GPU! You'll have to have an Nvidia GPU and you'll have to install CUDA. I won't go into CUDA installation in detail because it is terrifying.

Once you have CUDA installed, change the first line of the Makefile in the base directory to read:

GPU=1

Now you can make the project and CUDA will be enabled. By default it will run the network on the 0th graphics card in your system (if you installed CUDA correctly you can list your graphics cards using nvidia-smi). If you want to change what card Darknet uses you can give it the optional command line flag -i, like:

./darknet -i 1 imagenet test cfg/alexnet.cfg alexnet.weights

If you compiled using CUDA but want to do CPU computation for whatever reason you can use -nogpu to use the CPU instead:

./darknet -nogpu imagenet test cfg/alexnet.cfg alexnet.weights

Enjoy your new, super fast neural networks!

Compiling With OpenCV

By default, Darknet uses stb_image.h for image loading. If you want more support for weird formats (like CMYK jpegs, thanks Obama) you can use OpenCV instead! OpenCV also allows you to view images and detections without having to save them to disk.

First install OpenCV. If you do this from source it will be long and complex so try to get a package manager to do it for you.

Next, change the 2nd line of the Makefile to read:

OPENCV=1

You're done! To try it out, first re-make the project. Then use the imtest routine to test image loading and displaying:

./darknet imtest data/eagle.jpg
L2 Norm: 371.979095
Not compiled with OpenCV, saving to Original.png instead
Not compiled with OpenCV, saving to Gray.png instead
Not compiled with OpenCV, saving to C1.png instead
Not compiled with OpenCV, saving to C2.png instead
Not compiled with OpenCV, saving to C3.png instead
Not compiled with OpenCV, saving to C4.png instead

If you get a bunch of windows with eagles in them you've succeeded!

我没有安装CUBA和OpenCV。这样我们就可以当前目录下看到Original.jpg、Gray.jpg、C1.jpg、C2.jpg、C3.jpg和C4.jpg。惭愧，由于第一次使用darknet，也不知道图像进行了什么处理。

继caffe-fasterrcnn后，又一个yolo-darknet的配置教程，希望可以帮助大家。

注意：1、请严格按照我提供的安装顺序安装，即ubuntu-opencv2.4.10-darknet-cuda7.5-darknet-test

2、有些您复制的终端命令如果不能在终端运行，请注意英文全角半角问题，您可以将命令输入终端，无须复制粘贴命令

 

第一部分：Ubuntu14.04桌面版下载及安装

Ubuntu14.04桌面版下载地址：(链接：http://pan.baidu.com/s/1bnHkmy    密码：3o4m)

安装步骤：

1、制作u盘启动盘，工具UltraISO（下载地址：http://rj.baidu.com/soft/detail/11522.html?ald）、安装成功后运行，点击软件上的“继续试用”（适用可以满足要求）、按网上步骤制作（教程地址：http://jingyan.baidu.com/article/eb9f7b6d8536a8869364e813.html）。

2、u盘启动盘插入电脑usb1孔，运用电脑启动ctrl+F12里的bios设置为u盘启动。

3、进入安装界面，左边选择中文，右边点击安装（不是试装），联网时选择添加“安装这个第三方软件”（不良网就不用添加），点击继续，安装ubuntu点击现在安装，城市默认，键盘布局默认，输入名字和密码，点击继续，显示安装，安装后点击重启。

4、重启时等显示器黑屏u盘拔出（一定要拔出，不然会再次进入ubuntu安装界面），等待输入密码界面，最后输入密码，登录成功，出现界面。

 

第二部分：安装opencv2.4.10 （需要联网）

下载地址：http://download.csdn.net/detail/samylee/9467058

进入Ubuntu/2.4  目录, 给所有shell脚本加上可执行权限，即在终端输入命令：

chmod a+x *.sh

进入2.4目录，在终端输入：

sudo ./opencv2_4_10.sh

至此系统会编译并安装OpenCV2.4.10，整个过程大概半小时左右，请耐心等待。

 

第三部分：安装darknet

1、安装git

终端输入：sudo apt-get install git

2、安装darknet

在主文件下终端输入（即/home/***（您的服务器名字）这个目录）：

git clone http://github.com/pjreddie/darknet.git

cd darknet

修改makefile文件：

开头部分令opencv=1，同时令NVCC = /usr/local/cuda-7.5/bin/nvcc后保存退出

终端输入：make -j16

 

第四部分：安装cuda7.5

cuda7.5下载地址：https://developer.nvidia.com/cuda-downloads(下载顺序 Linux-*84_64-Ubuntu-14.04-deb(local)-Download(1.9GB))

安装步骤（过程需要联网）：

下载好后拷贝到“主文件夹”下，即/home/***（您的服务器名字）这个目录，并用终端在此目录输入代码：

sudo dpkg -i cuda-repo-ubuntu1404-7-5-local_7.5-18_amd64.deb 等待完成；

sudo apt-get update 等待完成；

sudo apt-get install cuda等待完成。

 

第五部分：再次修改darknet

进入darknet文件夹修改makefile文件夹：

令开头cpu=1，保存退出

终端输入：

cd darknet

make -j16

至此darknet配置完成

 

第六部分：下载模型

下载yolo-tiny.weight模型，地址：http://pjreddie.com/darknet/yolo/，打开网页在A Tiny Model下点击here（172MB），即可下载

下载yolo-samaller.weight和yolo.weight模型类似

下载完成后均放在darknet目录下

 

第七部分：测试yolo-darknet

测试tiny模型，将/darknet/data/文件夹下的dog.jpg图片复制于darknet文件夹下

终端输入：

./darknet yolo test cfg/yolo-tiny.cfg yolo-tiny.weight

如果终端显示NO such file or directory

则在darknet目录的终端下输入:

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

再在此目录下输入：

./darknet yolo test cfg/yolo-tiny.cfg yolo-tiny.weight

终端会出现Enter Image Path一行，在后面输入dog.jpg即可

显示结果为屏幕显示两张测试图片，一张为resized，一张为prediction，如后续图所示

至此测试部分结束，测试yolo-samaller.weight和yolo.weight模型类似操作，在此不做展示

resize图如下：

 

prediction图如下：



 

 

 

任何问题请加唯一QQ2258205918(名称samylee)  !!! 

或唯一VX：samylee_csdn