您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能学术 正文
发私信给杨鲤萍
发送

0

Facebook开源视觉、语言多任务深度学习框架——Pythia

本文作者:杨鲤萍 编辑:黄善清 2019-05-22 18:57
导语:Pythia是什么?能做什么?又有什么意义?

雷锋网 AI 科技评论按:Facebook 人工智能研究院最近推出 Pythia ——一个深度学习框架,支持视觉和语言领域的多任务处理。其模块化的即插即用设计能够帮助使用者快速构建、复制和基准人工智能模型。

Facebook开源视觉、语言多任务深度学习框架——Pythia【 图片来源:GitHub  所有者:Facebook 】


Pythia是什么?

Pythia 是一个视觉和语言多模式研究的模块化深度学习框架,它建立在PyTorch之上,具有以下特点:

  • Model Zoo:最先进的视觉和语言模型的参考实现,这些模型包括 LoRRA(SoQ on VQA 和 TextVQA)、Pythia模型(VQA 2018 挑战获胜者)和 BAN

  • 多任务:支持多任务,允许同时训练多个数据集

  • 数据集:包括对内置的各种数据集的支持,如 VQA、VizWiz,TextVQA 、VisualDialog 等

  • 模块:为视觉和语言领域中的各种常用图层提供实现方式

  • 分布式:支持基于 DataParallel 和 DistributedDataParallel 的分布式训练

  • Unopinionated:对基于它构建的数据集和模型实现不受任何影响的功能

  • 定制化:包括自定义损失、指标、调度、优化器、张量板等


Pythia能做什么?

即插即用的模块化设计,能够使研究人员快速构建、复制并基准 AI 模型。你可以使用 Pythia 为您的下一个视觉和语言多模式研究项目提供引导程序,也可以用作视觉和语言数据集挑战赛的入门代码库(TextVQA 挑战,VQA 挑战);还可以用它来回答与视觉数据相关的问题和自动生成图像注释。

Pythia加入了近期的AI比赛(VQA Challenge 2018和Vizwiz Challenge 2018)中获奖作品的元素。功能包括通过参考实现来展示之前的模型如何完成相关基准测试结果,以及迅速评估新模型性能。 除了多任务处理,Pythia还支持分布式训练和各种数据集,以及自定义损失、指标、调度和优化器。 


Pythia的意义?

Pythia使得进入视觉和语言子领域的过程变得更简单,也使研究人员能够专注于更快的原型设计和实验。通过提高这些模型和结果的可重复性来加速研究进程,将使得社区更容易成功构建系统并进行基准测试。

通过消除这些障碍,研究人员能更快地为人们和智能机器开发新的交流方式。 同时,这项工作还将帮助研究人员开发自适应人工智能,使得多种理解更好融合到多情境的多模理解中。除了这个开源版本,Facebook还计划继续添加工具、任务、数据集和参考模型。 


具体开源链接:

GitHub 地址

https://github.com/facebookresearch/pythia


Pythia 官方文档

https://learnpythia.readthedocs.io/en/latest/


安装教程

https://colab.research.google.com/drive/1Z9fsh10rFtgWe4uy8nvU4mQmqdokdIRR


雷锋网AI 科技评论 雷锋网

雷峰网原创文章,未经授权禁止转载。详情见转载须知

Facebook开源视觉、语言多任务深度学习框架——Pythia

分享:
相关文章
当月热门文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说