本周为将门技术社群第185期线上分享,也是AI青年科学家联盟·梧桐汇「A 班计划」成员系列分享第·3·期。
北京时间1月9日(周四)晚8点,在将门技术社群,我们很开心邀请到麻省理工学院在读博士生胡渊鸣,他与大家分享的主题是“Taichi编程语言:高性能稀疏视觉计算与可微编程”。
届时,他将介绍自己设计的Taichi编程语言,包括设计思想及其内部实现。昨天我门也分享了相关文章《99行代码的冰雪奇缘—闲聊Taichi编程语言》,预习起来!
活动信息
▼
主题:Taichi—高性能稀疏视觉计算与可微编程
嘉宾:麻省理工学院在读博士生 胡渊鸣
时间:北京时间 1月9日 (周四) 20:00
地点:将门创投斗鱼直播间
分享提纲
▼
计算机图形学的研究面临着生产力难题:出于对性能和物理真实感的极致追求,大家不得不进行大量费时费力的底层软件工程。这样的现状一定程度上导致图形学成了众所周知的“硬核”学科:起步难、开发难、应用难。胡渊鸣个人认为,从高性能系统角度入手,重新构建图形学的基础设施,可以解放与发展图形学的生产力,因此设计了Taichi编程语言。
在这次报告中,他会分享Taichi编程语言的设计思想及其内部实现,具体分为两部分:
1、面向稀疏视觉计算的Taichi编程语言设计及其优化编译器实现
2、可微编程扩展DiffTaichi及其在深度学习中的应用
预习资料
▼
1、Taichi (SIGGRAPH Asia 2019)
三维体积数据通常具有空间稀疏性。为了利用这种性质,计算机图形学社区开发了层级体素稀疏数据结构,如SPGrid、VDB和八叉树等。但是,由于其内在复杂性和额外开销,开发、应用这些高性能数据结构有很多挑战。研究人员提出Taichi,一个新的面向(稀疏)数据的编程语言,大大降低了空间稀疏数据结构的开发、使用成本。
由于Taichi实现了算法和数据结构的解耦,使用者可以快速尝试不同数据结构,以在特定问题和体系结构上找到最优数据结构。语言前端提供给用户易用的接口,使得用户可以以访问稠密数据结构的方式访问稀疏数据结构,大大提高了代码可读性和生产力。
Taichi编译器使用对数据结构的语义和下标分析来优化程序的局部性,移除多余数据结构遍历,以及进行自动内存管理和并行化、向量化。在x86_64和CUDA体系结构上,只需要1/10的代码,Taichi程序就能比手动优化的稀疏计算基准程序快4.55倍,测试程序包括物质点法、有限元模拟、多重网格泊松方程求解,真实感渲染,和3D稀疏卷积神经网络等。
论文:http://taichi.graphics/wp-content/uploads/2019/09/taichi_lang.pdf
代码:https://github.com/yuanming-hu/taichi
视频:https://www.bilibili.com/video/av81369175/
2、 DiffTaichi (ICLR 2020)
基于Taichi,他们提出可微编程语言DiffTaichi,用于构建端到端可微程序。和目前常用的可微编程工具如TensorFlow、PyTorch相比,DiffTaichi更适合构建比常用操作(如卷积、BN等)更不规则的可微运算符,比如可微物理引擎中的粒子网格交互,网格采样等等。
DiffTachi的自动微分系统使用“两个尺度”设计:底层通过源代码变换保持并行性和算术强度(arithmetic intensity),上层通过一个轻量级的磁带(Tape)来记录大内核(Megakernel)的启动。由于省去了枯燥的手动求导过程,DiffTaichi程序比CUDA短4.2倍并具有相同的性能;同时由于其Megakernel的设计,在编写复杂可微程序时,DiffTaichi比TensorFlow快188倍、比PyTorch快13.4倍。
我们用DiffTaichi实现了10个不同的可微物理引擎。将神经网络嵌入其中,控制器优化可以在几十个梯度下降迭代中完成,这比增强学习(RL)收敛速度快若干数量级。
论文:https://arxiv.org/abs/1910.00935
代码:https://github.com/yuanming-hu/difftaichi
视频:https://www.bilibili.com/video/av81369261/
嘉宾介绍
▼
胡渊鸣
麻省理工学院在读博士生
胡渊鸣,麻省理工学院三年级博士生,研究方向是高性能编程语言、计算机图形学、物理仿真和计算摄影学,在SIGGRAPH/TOG/ICLR/NeurlPS/CVPR/ICRA发表论文十余篇。他设计、实现了Taichi编程语言及其优化编译器。
主页:http://taichi.graphics/me
Ask Me Anything
▼
赶不上直播也想向嘉宾提问?
希望嘉宾提供最佳解答?
扫描下方二维码就能提问!在直播中被嘉宾选中回答的小伙伴将获得一个红包奖励!
(截止时间:直播前一小时)
观看直播或加群
▼
关于「A班计划」
▼
“A班计划”是由AI青年科学家联盟·梧桐汇发起,旨在挖掘、培养AI学术研究人才和创业人才的精英计划。“A班计划”聚焦于全球顶尖学府的人工智能方向博士生,在联盟现有资源基础上实现产、学、研、政深度整合,成为未来学术和产业领军人物的“加速器”。
A 班计划在遴选之初,目标即为全球范围内的优秀博士生和初创企业创始人,而「硬性条件」包括年龄在 20-30 岁之间,世界顶级学术会议的认可度,创业方向的科技含量等。首批15位成员在今年的世界人工智能大会上完成了集结,他们均是来自全球顶尖学府的 PhD,平均年龄为26 岁。
将门作为AI青年科学家联盟·梧桐汇的副秘书处单位,未来,我们也会不断邀请更多A班计划的优秀成员们来分享自己的新工作,敬请期待哦!
第一期分享回顾:Recurrent.ai 联合创始人杨植麟:自然语言理解模型—XLNet
第二期分享回顾:浙江大学助理教授况琨:因果推理和稳定学习
-The End-
将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构,旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。
将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。
将门创投基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在近四年的时间里,将门创投基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”: bp@thejiangmen.com
本文来自投稿,不代表本人立场,如若转载,请注明出处:http://www.sosokankan.com/article/2095036.html