【校企课程共建】Deep Learning Performance Modeling on GPU

企4月19日上午,微纳电子学系“2022年春季校企共建课程第四讲”采用线上形式顺利开展,讲座由杨志老师和孙亚男老师主持进行。本次课程有幸邀请到了英伟达公司的刘义臣专家作为主讲人。
        企首先,孙亚男老师对讲座内容及专家信息做了简要介绍。刘义臣专家2002年毕业于浙江大学信息与电子工程学系,并于2017年加入英伟达公司,在Compute Arch部门担任架构师一职,他在信号处理和ASIC设计等方面经验丰富。
        校企讲座开始,刘义臣专家从深度学习的历史引入,向我们介绍了人工智能到机器学习、再到深度学习的整体发展过程。随后刘专家深入分析了在GPU上运行神经网络的过程中,性能建模的重要性,例如可预测运行时间、了解系统瓶颈等等。刘专家从最简单的性能模型入手,详细讲述了深度学习性能建模的工作原理,黑盒模型和白盒模型的对比等。刘义臣专家又从算法角度出发,向同学们展示了深度学习网络的常用算法及其应用领域,并对Transformer和卷积神经网络等具体算法进行了解释说明。

1

图1.深度学习发展历程

然后,刘义臣专家又跟同学们分享了一些硬件层面的知识。他从英伟达的GPU发展出发,通过一个简单的GPU逻辑示意图,通俗易懂地阐释了GPU的工作原理和性能模型的构建流程。刘专家从网络层面为同学们介绍了性能模型在加速深度学习算法时所发挥的作用,以及Fusion、Memory behavior等因素对模型的影响。

2

图2.GPU简单逻辑示意图

讲座最后,刘义臣专家带领同学们一起将今天的内容做了简单回顾和总结,并对性能建模的作用和前景进行了展望,同时积极与大家互动,耐心解答同学们的各种问题。通过此次讲座,同学们收获良多,不仅在深度学习算法和GPU知识方面有了深刻理解,而且对性能建模及其作用也有了更新的认识。

3

图3.讲座内容总结回顾