迄今为止最全的动物 图片分类材料库 刚刚发现分享给大家
语料库、corpus、机器学习、machine learning、图片识别训练、Image recognition training
https://github.com/skarl-api/corpus

原始出处：http://www.yeeyan.com/articles/view/47933/16954 
  

总冠军 
印度荷米斯国家公园（Hemis National Park），一头雪豹正隐蔽潜行。在美国摄影师史蒂芬·温特（Steve Winter）的这幅国家地理杂志获奖图片中，雪豹恰如其名。 
2008年10月30日，“暴风雪中的豹”在2008野生动物年度摄影家大赛中被评为所有组别最佳图片。这项赛事由伦敦自然史博物馆和BBC野生动物杂志举办。 
“这是我做过的最艰难的题材，因为山脉的海拔和险峻，”这位美国摄影师告诉国家地理，“夜里温度是零下30度（华氏温标）（摄氏温度约为零下34度，译者注）。” 
超过十个月的时间里，温特的14个“照相机陷进（camera traps）”拍摄了超过30，000张图像，以追踪这种濒危的大猫。 
野生的雪豹数量只剩下3500只左右。 

“水下世界”组别冠军 
这张人与鲸鱼体型相映成趣的图片获得了本次大赛水下世界组别的冠军。 
图片是作者布莱恩·斯克里（Brian Skerry）受国家地理杂志委派前往新西兰奥克兰群岛附近拍摄的。那里有一个南脊美鲸“原生态种群”，用斯克里的话来说，在10年前才刚刚被发现。 
这位美国摄影师说他安排了助手毛利西奥·汉德勒（图中人）作为这头友好的70吨重庞然大物的诱饵。 
“这些鲸对我们很好奇。他们中的许多之前还从没有见过人类。”斯克里告诉国家地理新闻。 

一个地球奖 
加蓬的一个非法野味市场上，一只黑疣猴正被烧烤待售。 
这张图片获得了“一个地球奖”（One Earth Award），该奖项“试图彰显出人类与自然世界间的相互作用”。 
“他们将皮毛烤掉，然后剥干净，整只完好地出售。”英国摄影师大卫·梅特兰解释道。 
图片拍摄于加蓬首都，利伯维尔。在那里海龟、鳄鱼、豪猪、羚羊还有其他保护动物被公开贩卖。 
“只有在我意识到这张图片多么震撼之后，”梅特兰说，“呆在那里变得让人十分苦恼。” 
 

“动物行为：其他动物”组别冠军 
一个实至名归的赢家，“僵局（Deadlock）”抓拍于伯利兹一个热带雨林的死亡之夜。 
根据地在英国的的大卫·梅特兰从午夜一直观察到凌晨三点，一只稀有的银瞬红眼蛙顽强地抗拒着，避免成为一条猫眼蛇的晚餐——结果尚未分晓。 
“我很想看到它们最终的去路，但我已经累趴了，”摄影师说，“青蛙一直在努力把蛇拉出来，但蛇就是不肯松口。” 
“这种青蛙极其罕见，给整个遭遇增添了古怪的色彩。”他说。 
 

“动物行为：哺乳动物”组别冠军 
法国摄影师西里尔·鲁沃索在坦桑尼亚贡贝国家公园的密林中追逐着捕猎中的黑猩猩的尖叫声——并拍下了这张2008野生动物年度摄影师大赛的获奖作品，奖项于10月30日在伦敦发布。 
中间那只处于统治地位的家伙，并不愿意分享他的半只野猪。这是一只31岁的雄性，唤作弗雷多，是他所在群体的领头猎手。 
“弗雷多是个战士，”鲁沃索说，“在80%的时间里是他抓住了猎物。” 
对于贡贝的黑猩猩来讲，像这样大的猎物是很少见的，他们的目标多是小猴子，鲁沃索说。 
 

 “动物肖像”组别冠军 
“他要扑向我，然后跑掉，”Stefano Unterthiner说的就是这只黑冠短尾猿，“他总是到处游荡。” 
Unterthiner在印度尼西亚苏拉威岛上跟了一群猴子六个星期，由于总是穿着同样的衣服，因而猴子们都能认出他。 
据Unterthiner所说，这种稀有的猴类99%的时间都在森林里觅食，很少会到沙滩上探险。直到最近本地人还有将其作为圣诞节晚餐食物的传统，他补充说。 
 

 “动物行为：鸟类”组别冠军 
波兰的冬天，一场白尾鹰之间的交锋在漫天飞雪中上演，也成就了这张获奖图片。 
在发现铁路旁有只麋鹿尸体后，摄影师安东尼·卡斯普夏克等候了五个小时，直到一老一少两只大鸟飞下来，并在尸体上展开争斗。 
“那只老的，经验更丰富的鹰获胜了，迫使年幼的鹰等候了一个多小时后才有得吃。”卡斯普夏克说。

深度学习动物识别

yolo动物识别

可以识别猫 狗等常见动物

自建数据集

源码交流加w  x

deeplearning_gogogo

识别率很高

远程运行好负责答疑有问题可以指导

多类别动物图片分类任务（上）
在学习了大约2周的机器学习和深度学习的基础知识，并跑了十多个模型之后，老师给我布置了一项真正的实际任务：利用已经收集到的图片信息，构建并训练模型，一期目标使得精度达到84%，二期目标使得精度达到90%。

一开始并没有认识到，真正的实际数据会和demo中最后的结果差距如此之大，使得自己消沉了一段时间，不过经过将近15天的努力，总算是完成了任务，亦有所收获。

故，在此把我这段时间踩过的坑都一一标注出来，希望可以帮助到那些初次接触卷积神经网络的新人（虽然我也是啦）

观察数据

拿到数据后，要做的第一件事绝不是直接建模（血的教训 ），而是观察数据的分布情况，在真正的实际任务中，数据往往不是你在猫狗大战这样的demo中那样，分布的那么均衡的。

比如我这次的任务数据，总计30064张彩色图片，分为168类，而最少的类图片只有103张，最多的有1684张，差距非常大。

解决方法：

过采样是一个很好的处理手段。
建立一个简单的卷积神经网络

无论你是否懂得如何利用已经与训练好的模型进行建模，自己写一个简单的卷积神经网络来测试下数据都是可行的。一般，我们采用2+2的形式来实现。

实现代码：

# 建立模型
model = Sequential()
# 这里使用卷积神经网络，传入100*100像素的彩色图片，传出时为94*94*32
model.add(Conv2D(32, (7, 7), strides = (1, 1), name = 'conv0', input_shape = (100, 100, 3)))
# 使用批标准化
model.add(BatchNormalization(axis = 3, name = 'bn0'))
# 激活函数为ReLU（线性整流函数）
model.add(Activation('relu'))
# 对于空间数据的最大池化
model.add(MaxPooling2D((2, 2), name='max_pool'))
model.add(Conv2D(64, (3, 3), strides = (1, 1), name="conv1"))
model.add(Activation('relu'))
# 对于空间数据的平均池化
model.add(AveragePooling2D((3, 3), name='avg_pool'))

model.add(Flatten())
model.add(Dense(500, activation="relu", name='rl'))
model.add(Dropout(0.5))
model.add(Dense(y.shape[1], activation='softmax', name='sm'))
# 编译模型
model.compile(loss='categorical_crossentropy', optimizer="adam", metrics=['accuracy'])

当然，在此之前我们要先处理图片数据和标签

实现代码：
train_df = pd.read_csv("input/train.csv")


# 这个函数用来预处理图片数据，把图片转化为100*100像素
# 的彩色图片，其中data是数据集，m是数据集中图片的数目，dataset是图片存放的目录
def prepareImages(data, m, dataset):
    print("Preparing images")
    X_train = np.zeros((m, 100, 100, 3))
    count = 0     # 这个count用来记录图片处理的数目，函数中实现了每处理500张就通报一声，其实没啥用

    for fig in data['Image']:
        # fig读到的是Image这一特征下的具体数据，也就是图片名（一个接一个的）
        img = image.load_img("input/" + dataset + "/" + fig, target_size=(100, 100, 3))
        x = image.img_to_array(img)
        # preprocess_input()函数完成数据预处理的工作
        x = preprocess_input(x)
        # 然后把处理过后的图片信息记录到x_train中去
        X_train[count] = x
        if count % 500 == 0:
            print("Processing image: ", count + 1, ", ", fig)
        count += 1

    return X_train


# 这个函数用来处理标签，返回两个输出，y和label_encoder,
# 前者是one-hot编码形式，如：[1;2;3]会编码成[1 0 0; 0 1 0; 0 0 1]。
# 后者是分组的组号，如：[1;2;2;4;2]会编码成[1;2;2;3;2]。
def prepare_labels(y):
    values = np.array(y)
    # 为标签分组，并用label_encoder记录，为以后测试集分好组之后重新从组号转变成对应的描述做准备
    label_encoder = LabelEncoder()
    integer_encoded = label_encoder.fit_transform(values)
    # print(integer_encoded)

    # 将分好组的标签转化为one-hot编码，并用y记录
    onehot_encoder = OneHotEncoder(sparse=False)
    integer_encoded = integer_encoded.reshape(len(integer_encoded), 1)
    onehot_encoded = onehot_encoder.fit_transform(integer_encoded)
    # print(onehot_encoded)

    y = onehot_encoded

    return y, label_encoder

# 处理训练数据，并归一化
X = prepareImages(train_df, train_df.shape[0], "train")
X /= 255
# 处理标签
y, label_encoder = prepare_labels(train_df['Id'])

值得注意的是，此时的图片数据分为两个文件夹，train和valication，其信息被写在两个.csv文件中。

而跑起来之后，我们会发现，最终的验证准确率非常低，仅仅有23.31%

确定部分参数

1).在之前观察原始数据的过程中，我发现问题不仅仅是图片的分布不均匀，不同的图片的分辨率也截然不同，最小的图片大约有250 * 400，最大的甚至达到4000 * 4250，这就使得将图片以怎样的大小传入网络显得尤为重要。

经过多次试验，最终在平衡了训练时间和验证集准确率之后，选定图片统一裁定到356*356。

2).而原始图片决定以7:3的比例，随机分配给train和valication。

3).batch_size的选择是一门艺术：

batch_size 太小，算法难以收敛。

随着 batch_size 增大，处理相同数据量的速度越快。

随着 batch_size 增大，达到相同精度所需要的 epoch 数量越来越多。

由于上述两种因素的矛盾，batch_size 增大到某个时候，达到时间上的最优。

由于最终收敛精度会陷入不同的局部极值，因此batch_size 增大到某些时候，达到最终收敛精度上的最优。

经过多次试验，最终选择batch_size为128。

此处，一般选择2^n的大小，据说是可以从某种程度上提高显卡对数据的处理速度。

一些确定的参数
class_num = 168
num_train_sample = 20967
num_validation_sample = 9097
img_width = 356
img_height = 356
epochs = 40
batch_size = 128

至此，第一阶段结束。

开始使用VGG16进行预训练模型

预训练网络（pretrained network）是一个保存好的网络，之前已在大型数据集（通常是大规模图像分类任务）上训练好。如果这个原始数据集足够大且足够通用，那么预训练网络学到的特征的空间层次结构可以有效地作为视觉世界的通用模型，因此这些特征可用于各种不同的计算机视觉问题，即使这些新问题涉及的类别和原始任务完全不同。

本次任务，我首先选用了VGG16来进行预训练。

实现代码

# 实例化一个VGG16卷积基
base_model = VGG16(weights='imagenet',
                   include_top=False,
                   input_shape=(img_width, img_height, 3))

# 冻结卷积基
base_model.trainable = False
# 自定义顶层网络
top_model = Sequential()
top_model.add(layers.Flatten(input_shape=base_model.output_shape[1:]))
top_model.add(layers.Dense(4096, activation='relu'))
top_model.add(layers.Dropout(0.5))
top_model.add(layers.Dense(1024, activation='relu'))
top_model.add(layers.Dropout(0.5))
top_model.add(layers.Dense(class_num, activation='softmax'))

# 实例化这个模型
model = Model(inputs=base_model.input,
              outputs=top_model(base_model.output))
# 编译模型
model.compile(loss='categorical_crossentropy',
              optimizer=optimizers.RMSprop(lr=2e-5),
              metrics=['acc'])

训练模型后，验证集的准确率只有54.52%

一些简单的调整

很明显，如此低的准确率完全无法满足任务的要求，我们需要对模型进行一定的调整，首先，要对数据进行预处理，此处为归一化。

代码实现

# 可以对训练集进行数据增强处理
train_datagen = ImageDataGenerator(rescale=1./255)


# 测试集不许动，归一化完了之后不许动
validation_datagen = ImageDataGenerator(rescale=1./255)

训练模型后，验证集的准确率上涨到60.17%。

进一步，我们可以调整学习率lr，经过多次调试，最终我们将初试学习率调整为lr = 1e-5。

训练模型后，验证集的准确率上涨到63.66%。

可以的话，我们可以在回调函数中加入对学习率的调整。

代码实现
# 回调函数用来监控val_loss，一旦超过5次迭代没有下降，降低学习率
callback_list = [
    keras.callbacks.ReduceLROnPlateau(
        monitor='val_loss',
        factor=0.1,
        patience=5,
        verbose=1,
    )
]

训练模型后，验证集的准确率上涨到66.34%。

至此，我们将自己能做的一些简单的调整执行完毕，很显然，不仅最终的结果依旧不能满足任务的要求，而且由于VGG16网络的特点，需要训练大量的参数，不仅让整个网路臃肿，而且训练效率很低。

故而，我选择换一种预训练网络，这里，就让我们请出本次任务的最大功臣：ResNet50。
有关ResNet50的内容太多，我们下一期慢慢讲

关于深度学习中的batch_size

https://www.cnblogs.com/gengyi/p/9853664.html