数据增强(Data Augmentation)

我们经常会碰到数据不敷的情况。比如，你碰到的一个使命，今朝只要小几百的数据，但是，你晓得今朝现在风行的最早辈的神经收集都是不计其数的图片数据。你晓得有人说起大的数据集是结果好的保证。对自己数据集小感应失望，你思疑在我的小数据集上能使我的“最早辈的”神经收集能表示好吗？

答案是：是！在我们起头是这件事发生之前，我们需要先深思几个题目。

1. 为什么需要大量的数据？

风行的神经收集的参数的个数

当你练习一个机械进修mode时辰，你真正做的就是调参以便它能将输入（比如图片）映照到输出（比如标签）。我们优化方针是追求我们模子损失较低的最好点，当参数以正确的方式调剂时就会发生这类情况。

最领先的神经收集有着数百万的参数！

明显，假如你有很多参数，你需要给你的模子充足比例的样本。一样，你需要的参数的个数与你使命的复杂度成比例。

2. 假如没有很大都据，我怎样去获得更大都据？

你不必寻觅新奇的图片增加到你的数据集合。为什么？由于，神经收集在起头的时辰并不是那末聪明。比如，一个欠练习的神经收集会以为这三个以下的网球是分歧、怪异的图片。

不异的网球，但被移位(translated)了

所以，为了获得更多的数据，我们只要对现有的数据集停止细小的改变。比如扭转（flips）、移位（translations）、扭转（rotations）等细小的改变。我们的收集会以为这是分歧的图片。

数据增强演示

一个卷积神经收集，假如可以对物体即使它放在分歧的地方也能妥当的分类，就被称为具有稳定性的属性。更具体的，CNN可以对移位（translation）、视角（viewpoint）、巨细（size）、照明（illumination）（大概以上的组合）具有稳定性。

这本质上是数据增强的条件。在现实场景中，我们能够会有一批在有限场景中拍摄的数据集。可是我们的方针利用能够存在于分歧的条件，比如在分歧的偏向、位置、缩放比例、亮度等。我们经过额外分解的数据来练习神经收集来诠释这些情况。

假如我有很多的数据，数据增强会有用吗？

是的。它能增加你数据集合相关数据的数据量。这与神经收集的进修方式有关。让我们用一个例子来论述它。

在我们的设想数据集平分为两类。左侧为品牌A（Ford），有车为品牌B（Chevrolet）

假定我们有一个数据集，含两种品牌的车，如上所示。我们假定A品牌的车都如上面左侧一样对其（一切的车头朝向左侧）。一样B如右侧（一切的都朝向右侧）。现在，你将你的数据集送入“最早辈的”神经收集，你希望等练习竣事后获得使人印象深入的成果。

Ford车（A品牌）却朝向右侧

当练习竣事后，你送入上面的品牌A车的图片。 可是你的神经收集却以为它是一辆B品牌的车！你很困惑。难道不是刚刚经过这个“最早辈的”神经收集获得了95%的正确率吗？我不是夸张，这个工作以往发生过[2]。

为什么发生了这件事？ 它的发生正是很多机械进修算法工作的院里。它会去寻觅最能区分两个种此外、最明显的特征。这里，A品牌与B品牌最明显的区分是A都是朝向左侧，B是朝向右侧。

你的神经收集会与你喂给它的数据质量一样好或坏。

我们若何去阻止这件事发生呢？ 我们不能不削减数据集合不相关的特征。对于上面的轿车模子分类器，一个简单的计划是增加别离朝向原始偏向反向的两种车的图片。更好的方式是，你可以从沿着水平偏向翻转图片以便它们都朝着反偏向！现在，在新数据集上练习神经收集，你将会获得你想要获得的性能。

经过履行数据增强，你可以阻止神经收集进修不相关的特征，从底子上提升整体性能。

3. 入门

在我们起头各类增强技术之前，有一题目我们必须斟酌清楚

在我们的机械进修管道（pipeline）的何处停止增强数据呢？

答案似乎很明显，在我们喂入模子之前，停止数据增强，对吧？是的，可是你有两个选项。一种是事前履行一切转换，本色上会增强你的数据集的巨细。另一种选项是在送入机械进修之前，在小批量（mini-batch）上履行这些转换。

第一个选项叫做线下增强（offline augmentation）。这类方式适用于较小的数据集（smaller dataset）。你终极会增加一定的倍数的数据集，这个倍数即是你转换的个数。比如我要翻转我的一切图片，我的数据集相当于乘以2。

第二种方式叫做线上增强（online augmentation）或在飞翔中增强（augmentation on the fly）。这类方式更适用于较大的数据集（larger datasets），由于你没法承受爆炸性增加的范围。别的，你会在喂入模子之进步行小批量的转换。一些机械进修框架支持在线增强，可以再gpu上加速。

4. 风行的数据增强技术

在本章节中，我们会展现一些根基的可是很强大的、风行的增强技术。在我们摸索这些技术之前，简洁起见，我们做一个假定，假定我们不需要斟酌图片鸿沟之外的工具。我们会利用以下技术，使我们的假定有用。

假如我们利用一种技术迫使我们猜出图像鸿沟之外的工具，会发生什么？在这类情况下，我们需要插入一些信息。在我们先容了增强范例以后，我们将具体味商这个题目。

对于这些技术中的每一种，我们还指定了数据集巨细增加的因子，也称为数据增强因子（Data Augmentation Factor）。

4.1 翻转（Flip）

可以对图片停止水和蔼垂直翻转。一些框架不供给垂直翻转功用。可是，一个垂直反转的图片同即是图片的180度扭转，然后再履行水平翻转。下面是我们的图片翻转的例子。

从左侧起头，原始图片，水平翻转的图片，垂直翻转的图片。

你可以利用你喜好的工具包停止下面的肆意号令停止翻转，数据增强因子=2或4

4.2 扭转（Rotation）

一个关键性的题目是当扭转以后图像的维数能够并不能连结跟本来一样。假如你的图片是正方形的，那末以直角扭转将会连结图像巨细。假如它是长方形，那末180度的扭转将会连结本来的巨细。以更邃密的角度扭转图像也会改变终极的图像尺寸。我们将鄙人一节中看到我们若何处置这个题目。以下是以直角扭转的方形图像的示例。

当我们从左向右移动时，图像相对于前一个图像顺时针扭转90度。

你可以利用你喜好的工具包履行以下的扭转号令。数据增强因子= 2或4。

4.3 缩放比例（Scale）

图像可以向外或向内缩放。向外缩放时，终极图像尺寸将大于原始图像尺寸。大大都图像框架重新图像中剪切出一个部分，其巨细即是原始图像。我们将鄙人一节中处置向内缩放，由于它会缩小图像巨细，迫使我们对超越鸿沟的内容做出假定。以下是缩放的示例或图像。

从左到右，原始图像，向外缩放10%，向外缩放20%

您可以利用scikit-image利用以下号令履行缩放。数据增强因子=肆意。

4.4 裁剪（Crop）

与缩放分歧，我们只是从原始图像中随机抽样一个部分。然后，我们将此部分的巨细调剂为原始图像巨细。这类方式凡是称为随机裁剪。以下是随机裁剪的示例。仔细观察，你会发现此方式与缩放之间的区分。

从左至右，原始图像，左上角裁剪的图像，右下角裁剪的图像。裁剪的部分被缩放为原始图像巨细。

你可以利用以下任何TensorFlow号令履行随机裁剪。数据增强因子=肆意。

4.5 移位（Translation）

移位只触及沿X或Y偏向（或两者）移动图像。鄙人面的示例中，我们假定图像在其鸿沟之外具有黑色布景，而且被适当地移位。这类增强方式很是有用，由于大大都工具几近可以位于图像的任何位置。这迫使你的卷积神经收集看到一切角落。

从左至右，原始图像，向右移位，向上移位

你可以利用以下号令在TensorFlow中履行转换。数据增强因子=肆意。

4.6 高斯噪声（Gaussian Noise）

当您的神经收集试图进修能够无用的高频特征（大量出现的形式）时，凡是会发生过度拟合。具有零均值的高斯噪声根基上在一切频次中具稀有据点，从而有用地扭曲高频特征。这也意味着较低频次的组件（凡是是您的预期数据）也会失真，但你的神经收集可以学会超越它。增加适当的乐音可以增强进修才能。

一个色彩较低的版本是盐和胡椒乐音，它表示为随机的黑白像素在图像中传布。这类似于经过向图像增加高斯噪声而发生的结果，但能够具有较低的信息失真水平。

从左至右，原始图形，加入高斯噪声图片，加入盐和胡椒噪声图片

您可以在TensorFlow上利用以下号令为图像增加高斯噪声。数据增强因子= 2。

5. 高级增强技术

现实天下中，自然数据照旧可以存在于上述简双方式没法诠释的各类条件下。例如，让我们承当识别照片中景观的使命。景观可所以任何工具：解冻苔原，草原，森林等。听起来像一个很是间接的分类使命吧？除了一件事，你是对的。我们疏忽了影响照片表示中的一个重要特征 - 拍摄照片的季节。

假如我们的神经收集不领会某些景观可以在各类条件下（雪，湿润，明亮等）存在的究竟，它能够会将冰冻的湖岸子虚地标志为冰川或湿地作为沼泽。

减缓这类情况的一种方式是增加更多图片，以便我们斟酌一切季节性变化。但这是一项艰难的使命。扩大我们的数据增强概念，设想一下野生天生分歧季节的结果有多酷？

条件匹敌神经收集（Conditional GANs）来救济！

在没有进入血腥细节的情况下，条件GAN可以将图像从一个域转换为图像到另一个域。假如你以为这听起来太模糊，那就不是;这就是这个神经收集的强大功用[3]！以下是用于将夏日风光照片转换为冬季风光的条件GAN的示例。

利用CycleGAN改变季节，来历于[3]

上述方式是妥当的，但计较麋集。更廉价的替换品将被称为神经气概转移（neural style transfer）。它抓取一个图像（又称“气概”）的纹理、空气、表面，并将其与另一个图像的内容夹杂。利用这类强大的技术，我们发生类似于条件GAN的结果（究竟上，这类方式是在cGAN发现之前引入的！）。

这类方式的唯一弱点是，输出看起来更具艺术性而非现实性。可是，有一些进步，以下面显现的深度照片气概转移（Deep Photo Style Transfer），有使人印象深入的成果。

深度照片气概转移。请留意我们若何在数据集上天生我们想要的结果。来历是[12]

我们没有深入摸索这些技术，由于我们并不关心它们的内在工作。我们可以利用现有的练习模子，以及转移进修的魔力，将其用于增强。

6. 关于插值（interpolation）的简要说明

假如您想要翻译不具有黑色布景的图像，该怎样办？假如你想向内扩大怎样办？大概以更邃密的角度扭转？在我们履行这些转换后，我们需要保存原始图像巨细。由于我们的图像没有关于其鸿沟之外的任何信息，我们需要做出一些假定。凡是，假定图像鸿沟之外的空间在每个点都是常数0。是以，当您停止这些转换时，会获得一个未界说图像的黑色地区。

从左至右，图像顺时针扭转45度，向右移位，向内缩放。

可是这是个正确的假定吗？在现实天下的情况下，它主如果否认的。图像处置和ML框架有一些标准方式，您可以利用它们来决议若何添补未知空间。它们的界说以下。

从左至右，常数，边沿，反射，对称和包裹形式

6.1 常数（Constant）

最简单的插值方式是用一些常数值添补未知地区。这能够不适用于自然图像，但可以用于在单色布景下拍摄的图像。

6.2 鸿沟（Edge）

在鸿沟以后扩大图像的边沿值。此方式适用于温顺移位。

6.3 反射（Reflect）

图像像素值沿图像鸿沟反射。此方式适用于包括树木，山脉等的持续或自然布景。

6.4 对称（Symmetric）

该方式类似于反射，除了在反射鸿沟处建造边沿像素的副本的究竟。凡是，反射和对称可以交换利用，但在处置很是小的图像或图案时会出现差别。

6.5 包裹（Wrap）

图像只是反复超越其鸿沟，就似乎它正在平铺一样。这类方式并不像其他方式那样普遍利用，由于它对很多场景都没成心义。

除此之外，你可以设想自己的方式来处置未界说的空间，凡是是这些方式对大大都分类题目都可以。

7. 所以，假如我利用上述技术，我的机械进修算法会很硬朗（robust），对吗？

假如你以正确的方式利用它，那末是的！你问的正确方式是什么？好吧，偶然并非一切的增强技术都对数据集成心义。再斟酌我们的汽车示例。以下是一些点窜图像的方式。

从左至右，原始图像，水平翻转，180度扭转，90度顺时针扭转

固然，它们是同一辆车的照片，但你的方针利用能够永久不会看到以这些偏向显现的汽车。

例如，假如你只是想在路上对随机汽车停止分类，那末只要第二张图像才能在数据集上停止分类。可是，假如你具有一家处置车祸的保险公司，而且你想要肯定倒车，破车的车型，那末第三张图片就成心义了。对于上述两种情况，最初一张图像能够没成心义。

关键是，在利用增强技术时，我们必须确保不增加不相关的数据。

8. 真的值得尽力吗？

你能够期待一些成果来激励你走得更远。很公允;我也有这个题目。让我用小的示例证实增强确切有用。您可以复制此尝试以停止考证。

让我们建立两个神经收集，将数据分类为四类中的一类：猫，狮子，山君或豹子。题目是，一个不会利用数据增加，而另一个则不会。您可以今后处下载数据集链接[4]。

假如你已经检查了数据集，你会发现每个类只要50个图像用于练习和测试明显，我们不能对其中一个分类器利用扩大。为了使机遇更公允，我们利用迁移进修（Transfer Learning)[5]为模子供给了更少的数据量。

数据集合的四个种别

对于没有增强的阿谁，让我们利用VGG19收集。我在这里写了一个TensorFlow实现[6]，它基于这个实现[7]。一旦你克隆了我的仓库[6]，你可以从这里获得数据[4],而且vgg19.npy（用于迁移进修）在这里[8]。你现在可以建模考证表示了。

我赞成，编写额外的数据扩大代码确切是需要功夫。所以，为了建立我们的第二个模子，我转向Nanonets[9]。他们在内部利用迁移进修和数据扩大，以利用最少的数据供给最好成果。你需要做的就是在他们的网站[10]上传数据，并期待它们在他们的办事器上练习（凡是大约30分钟）。你晓得什么，它对我们的比力尝试来说是完善的。

假如已完成培训，您可以请求挪用其API来计较测试正确性。检察我的仓库以获得示例代码段（不要忘记在代码段中插入您的模子ID）。

使人印象深入，不是吗？究竟上，大大都模子在更大都据的情况下表示杰出。所以为了供给一个具体的证实，我已经提到了下表。它显现了Cifar 10（C10）和Cifar 100（C100）数据集上风行神经收集的毛病率。 C10 +和C100 +列是数据增强的毛病率。

Cifar

感激您阅读本文！假如你这样击中阿谁拍手按钮！希望它可以为数据扩大供给一些启迪。假如您有任何疑问，可以在交际媒体[11]上给我打电话或给我发电子邮件（bharathrajn98@gmail.com）。

更多领会请参考[1]。

参考材料

1. https://medium.com/nanonets/how-to-use-deep-learning-when-you-have-limited-data-part-2-data-augmentation-c26971dc8ced
2. https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai
3. https://junyanz.github.io/CycleGAN/
4. https://drive.google.com/drive/folders/1GpIpbqBQ_ak1Z_4yAj7t6YRqDDyyBbAq?usp=sharing
5. https://medium.com/nanonets/nanonets-how-to-use-deep-learning-when-you-have-limited-data-f68c0b512cab
6. https://github.com/thatbrguy/VGG19-Transfer-Learn
7. https://github.com/machrisaa/tensorflow-vgg
8. https://mega.nz/#!xZ8glS6J!MAnE91ND_WyfZ_8mvkuSa2YcA7q-1ehfSm-Q1fxOvvs
9. https://nanonets.com/?utm_source=Medium&utm_campaign=data%20augmentation/
10. https://nanonets.com/#demo
11. https://thatbrguy.github.io/
12. https://arxiv.org/abs/1703.07511
13. http://yucc.me/p/4a960c0