您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能 正文
发私信给skura
发送

0

小数据处理的 7 个技巧

本文作者:skura 2019-09-07 19:23
导语:在没有最基本的数据的情况下,我们如何才能原型化和验证机器学习的想法?

雷锋网 AI 科技评论按,本文作者是 Kanda 的机器学习工程师 Daniel Rothmann,他对一切具有变革性的事物都感兴趣,这里是他在和客户合作的过程中总结出的小数据处理方法。雷锋网整理。

我们经常听说大数据是构建成功的机器学习项目的关键。这里有一个大问题:许多组织没有你需要的这么多数据。

在没有最基本的数据的情况下,我们如何才能原型化和验证机器学习的想法?当资源稀缺时,我们如何有效地获取和利用数据创造价值?

在我的工作场所,我们为客户生产了许多功能原型。因此,我经常需要使用小数据。在本文中,我将分享 7 个改进使用小数据集进行原型设计结果的小技巧。

小数据处理的 7 个技巧

1 .认识到你的模型不能很好地泛化

这应该是第一步。你正在构建一个模型,它是建立在宇宙的一小部分知识之上的,而这应该是唯一一个可以期望它能很好地工作的情境。

如果你正在建立一个基于室内照片选择的计算机视觉原型,不要期望它在室外工作得很好。如果你有一个基于聊天室的语言模型,不要指望它适用于幻想小说。

确保你的经理或客户理解这一点。这样,每个人都可以根据你的模型应该提供的结果,调整实际期望。它还创造了一个机会来提出一个新的有用的关键指标,以量化原型范围内外的模型性能。

小数据处理的 7 个技巧

2 .建立良好的数据基础架构

在许多情况下,客户机没有你需要的数据,公共数据也不合适。如果原型的一部分需要收集和标记新数据,请确保基础架构,尽可能减少摩擦。

你要确保数据标签对技术和非技术人员来说都是非常容易的。我们已经开始使用 Prodigy,我认为这是一个很好的工具:既可访问又可扩展。根据项目的大小,你可能还需要设置一个自动数据接收功能,它可以接收新数据并自动将其输入到标签系统。

如果将新数据导入系统既快捷又简单,你将获得更多数据。

小数据处理的 7 个技巧

3 .做一些数据扩充

你通常可以通过增加所拥有的数据来扩展数据集。但这只是对数据进行细微更改,它不应显著地改变模型的输出。例如,如果旋转 40 度,猫的图像仍然是猫的图像。

在大多数情况下,增强技术允许你生成更多的「半唯一」数据点来训练你的模型。首先,你可以尝试在你的数据中加入少量的高斯噪声。

对于计算机视觉,有许多简洁的方法来增强图像。我对 Albumentations 库有过丰富的使用经验,它可以在保持标签不受损的同时进行许多有用的图像转换。

小数据处理的 7 个技巧

图片来源:Github 上的 Albumentations

许多人认为另一种有用的增强技术是「Mixup」。这种技术实际上是将两个输入图像混合在一起并组合它们的标签。

小数据处理的 7 个技巧

图片由 Cecilia Summers 和 Michael J.Dinneen 拍摄

在扩充其他输入数据类型时,需要考虑哪些转换会损害标签,哪些不会。

小数据处理的 7 个技巧

4. 生成一些合成数据

如果你已经用尽了增加真实数据的方法,你可以开始考虑创建一些假数据。生成合成数据也是一种很好的方法,它可以用来覆盖一些实际数据集中不会出现的边缘情况。

例如,许多机器人强化学习系统在部署到真正的机器人之前,都是在模拟的 3D 环境中进行训练的。对于图像识别系统,你可以类似地构建 3D 场景,它可以提供数千个新的数据点。

小数据处理的 7 个技巧

15 个模拟的 Dactyl 并行训练实例

创建合成数据有许多方法。在 Kanda,我们正在开发一个基于转盘的解决方案来创建用于对象检测的数据。如果你有非常高的数据需求,你可以考虑使用通用的生成对抗网络来创建合成数据。要知道 GAN 是出了名的难以训练,所以你要确保它是值得的。

小数据处理的 7 个技巧

NVIDIAs GauGAN

有时你可以结合使用这些方法:苹果有一个非常聪明的方法,用一个 GAN 来处理 3D 模型人脸的图像,使其看起来更逼真。如果有时间的话,可以使用这个扩展数据集的绝妙技术。

小数据处理的 7 个技巧

5. 小心「幸运的分割」

在训练机器学习模型时,通常将数据集按一定比例随机分割成训练集和测试集。通常情况下,这很好。但是,在处理小数据集时,由于训练示例数量较少,因此噪音风险较高。

在这种情况下,你可能会意外地得到一个幸运的分割:一个特定的数据集分割,在这个分割中,你的模型将很好地执行并在测试集中效果很好。然而,在现实中,这可能仅仅是因为测试集中没有困难的例子(巧合)。

在这种情况下,k-fold 交叉验证是一个更好的选择。本质上,你将数据集拆分为 k 个「folds」,并为每个 k 训练一个新的模型,其中一个 fold 用于测试集,其余的用于训练。这可以控制你看到的测试结果,而不仅仅是由于幸运(或不幸运)的拆分。

小数据处理的 7 个技巧

6 .使用迁移学习

如果你使用的是某种标准化的数据格式,如文本、图像、视频或声音,那么你可以使用其他人在这些域中用迁移学习所做的所有先前工作。这就像站在巨人的肩膀上。

当你进行迁移学习时,你会采用其他人建立的模型(通常,「其他人」是 google、Facebook 或一些主要的大学),并根据你的特殊需求对它们进行微调。

迁移学习之所以有效,是因为大多数与语言、图像或声音有关的任务都具有许多共同的特征。例如,对于计算机视觉来说,它可能是检测某些类型的形状、颜色或图案。

最近,我为客户开发了一个目标检测原型,这个客户对精度的要求非常高。我可以通过微调一个 MobileNet 单镜头探测器来大大加快开发速度,该探测器已经在 google 的开放式图像 v4 数据集(约 900 万张标签图像)上接受过训练。. 经过一天的训练,我能够使用大约 1500 张标记图像生成一个相当健壮的目标检测模型。

小数据处理的 7 个技巧

7. 试一试「weak learners」

有时候,你只需要面对这样一个事实:你没有足够的数据去做任何想做的事情。幸运的是,有许多传统的机器学习算法,你可以考虑使用这些算法,它们对数据集的大小不太敏感。

当数据集较小,数据点维数较高时,支持向量机等算法是一种很好的选择。

不幸的是,这些算法并不总是像最先进的方法那样精确。这就是他们之所以被称为「weak learners」的原因,至少与高度参数化的神经网络相比是如此。

提高性能的一种方法是将这些「weak learners」(这可能是一组支持向量机或决策树)组合在一起,以便它们「协同工作」生成预测。这就是组合学习的全部意义。

via: https://www.kdnuggets.com/2019/07/7-tips-dealing-small-data.html

雷锋网(公众号:雷锋网)雷锋网

雷锋网版权文章,未经授权禁止转载。详情见转载须知

小数据处理的 7 个技巧

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说