// 引
///
AI+科学计算
未来论坛首次出品“AI+科学汇编",集合七个主题章节及两篇人工智能主题附录,涵盖AI+脑科学、科学计算、化学与制药、创意设计、材料科学、基因科学、再生医学。期望此汇编刊物能为有意踏入人工智能领域或在不同学科应用人工智能进行科学研究的从业者和研究生提供一份入门指南,发挥启发性和引导性的作用。
本文收录“AI+科学计算”学术编委、北京大学北京国际数学研究中心长聘副教授董彬对篇章内容的介绍以及跨界讨论和主题问答实录。
感兴趣的同学可以关注公众号,在后台回复关键词“AI+”,填写资料获取「AI+科学汇编」完整刊物。
// 编者按——董彬
///
AI+科学计算
以深度学习为代表的人工智能已经取得令人瞩目的进展,在包括图像识别、语音识别、棋类游戏等任务中超过了人类。然而,当前的人工智能算法机理不明,缺乏理论基础,也会犯人类不会犯的奇怪错误,这严重制约了它在科学、医疗、军事等领域的应用。与之相比,科学计算的基石是物理机理和数学理论,在诸多科学与工程领域已经建立了强大而准确的分析框架,通常可以同时保证高精度和高安全性。然而,单纯基于物理机理和数学理论的科学计算在面对复杂系统时,传统的处理方式表现出精度欠缺、不够灵活、难以计算等困难。因此,人工智能与科学计算的有机结合,一方面可以给人工智能提供必要的理论指导,另一方面也会为科学计算注入新鲜血液,推动学科的进一步发展。
未来论坛青创联盟线上研讨会(YOSIA Webinar)有幸邀请到四位来自北京大学、清华大学和中国科学院的青年科学家,围绕AI+科学计算进行前沿探讨。同时也邀请到了联科集团创办人兼首席执行官、美国华盛顿大学终身教授、香港中文大学荣誉教授孙纬武,厦门大学教授熊涛作为讨论嘉宾。
研讨会期间,来自北京大学的李若教授分享了《智能时代的科学计算:低维表达与高维问题的自然融合》,深入探讨在人工智能时代,面对高维的挑战,传统科学计算领域“新的可能性”。同样来自北京大学的杨超教授分享了《浅论超级计算、人工智能与科学计算的融合发展》,围绕计算和数据,探讨了超级计算、科学计算和人工智能之间的联系并展望未来发展趋势。中国科学院的明平兵教授分享了《多尺度问题:科学计算+人工智能》,介绍了多尺度这一在自然界普遍存在的现象,列举了多尺度建模与计算中的困难与挑战,以及人工智能给多尺度问题的求解带来的新思路。清华大学的史作强教授分享了《基于流行和偏微分方程的机器学习数学模型》,从偏微分方程和微分几何角度出发,为深度学习模型提供一个完整的理论框架,同时也展示了该理论框架如何诱导出新的有效的深度学习模型。最后,在讨论环节,四位主讲嘉宾与讨论嘉宾回答了听众的问题,并围绕前沿方向、学科建设和人才培养展开了深入的讨论。
董彬
北京大学北京国际数学研究中心长聘副教授
未来论坛青创联盟成员
▍ 跨学科讨论
问题一:怎么用机器学习来解决科学计算,同样怎么用科学计算来解决机器学习的问题,评价标准又是怎么样,两者的互通之处以及交叉研究时要注意什么?
李若:大家现在对机器学习有怀疑,主要怀疑其可靠性,因为它实验表现的可靠性在数学理论上没有支撑。从模型优化的角度,我们不必把目标定在解决形式上,而可以关心在具体的问题,将低维的结构融合到可靠的科学模型中。
史作强:科学计算领域非常大,存在各种不同的问题。从大的角度来看,科学计算的这些研究人员想做一些机器学习的问题,最重要要有转化的过程,即把机器学习问题转化成熟悉的科学计算的语言或者数学工具。转化是重要的一步,有了它,其他问题迎刃而解。
什么样的机器学习问题“最好”?答案是因人而异,标准是能够转化成研究者熟悉的领域问题是最好问题。因为每个人的背景不同,看问题的角度不一样。
什么样的问题不适合科学计算?一个标准是,机器学习领域研究的比较透彻的问题不适合科学计算。举例而言,神经网络一直在追求精度,在各种数据集上“刷”精度,那么科学计算就不需要太关注精度。另外,如果神经网络在模型鲁棒性和速记隐私方面有待加强,那么科学计算应该用什么角度切入,是研究者所要考虑的。
明平兵:用机器学习解决科学计算问题有没有评价标准,这个很难回答。但是能解决以前工具不能解决的问题的工作,我认为就是好工作。例如德国Ruhr-Bochum大学的J. Behler的工作,在2016/2017年,他们研究水的特性,在他们研究的那个问题中,没有可用的经验势函数。然而,Ab-initio的模拟又太昂贵了。他们用机器学习得到了一个势函数,然后通过MD模拟揭示了水分子的某种新奇特性。
孙纬武:在业界,更多的是需要把人工智能以及科学计算融合在一起才能解决真实世界的问题。例如股票的预测,美元的汇率等,都是需要大数据处理/人工智能和高性能计算的结合。又例如在天气预报,卫星观测等领域,数据需要有效整合,才能利用科学计算处理数据。这处理中间涉及到人工智能的分析。在大部份情况之下,都是需要两者整合使用的。
问题二:如何把科学计算和机器学习结合,更好的解决实际问题。
熊涛:科学计算前面有一个很重要的过程是数学建模。在传统的科学计算中,数学建模和计算是相互独立,但因为现在研究的问题越来越复杂,因此建模和计算也逐渐地融到一起。
建模一方面可以基于物理规律,另一方面,例如社会模型(股票等),没有物理的机理做支撑,在数学建模过程中采用一些实验或者个人经验的数据,适用范围并不广泛。因此,这部分依据经验和特定场景下总结出来的规律,可以将人工智能、机器学习和科学计算结合到一起。
董彬:我自己做的研究也是希望机器学习和科学计算能够融合。如何融合?其实,在模型设计、算法设计阶段,其主体结构大致是确定的,例如做图像处理,主体可以是一些PDE,也可以是一些优化模型。所以在主体结构方面,无需用神经网络这一黑盒子学习。借用神经网络的方面,主要是尚未明确的问题。例如超参数调节,自动调参比人工手动调参高效很多。
另外,方程的主体结构虽然能大致确定,但还有一些非常微妙的项或者待定的系数难以确定。这时候可以基于大数据,用神经网络做为一个拟设,把它嵌入到模型里面,然后用数据确定模型的参数值。
李若:基于数据的步骤目标就是为了构建解空间的结构。例如我们做的每一次实验,做的每一次模拟得到的数据,都是在为寻求解空间做观察。每做一次观察之后,就对解空间的了解更加清晰一些,我们根据正确的一般性原理到小的解空间去解。
杨超:我从应用角度补充一下。实际应用中存在实时性要求,例如短时天气预报,从实时性角度来说,这种问题用传统科学计算手段处理难度较大,因为科学计算要解方程,很难在极短时间内完成模拟。
而机器学习有先训练再预测的特点,训练过程可能开销很大,但它预测的过程往往极快,所以,在实时性要求比较强的问题,机器学习非常适合。
董彬:以往科学计算的研究,其设计的方法比较普适,但实际问题中又非常具体,存在很强的低维结构,这时不如用神经网络把完成这类任务。虽然神经网络的泛化能力比不上传统的科学计算,但从解决实际问题角度来看,已经足够。
有些时候,主流科学计算希望能设计“包打天下”的算法,现在我们希望能够针对具体问题把性能推到极致,要达到这个目的,科学计算可以借鉴机器学习领域的经验和技术。
问题三:从产业界角度谈谈高性能计算与人工智能计算融合有什么应用路径和价值?
孙纬武:现实世界里出现的一些需要解决的问题, 往往是大数据/人工智能与科学计算两方面都同时需要的。与科研不相同, 业界不选择问题,而是问题存在,我们要整合出一个最有效的解决方案, 然后把问题解决掉。
实际上需要融合的不仅是人工智能、大数据与科学计算等科技,还包括软件、讯息储存/调动/排查/传递、可视化等等技术,除了技术之外, 还要有对现实世界问题的理解、对客户需要的理解等软能力。也包括工程能力,在业界,要解决客户的问题,就需要把解决方案与客户现有的系统融合的工程能力,这些科技和工程能力都要配套,然后才能解决真实世界里出现的问题。真实问题常常牵涉的很多方面,对这些方面的集成才是最大的挑战。
杨超:我理解产业界可能更强调技术的价值和技术的落地,从这个角度来看,人工智能技术已经为高性能计算所采用。反过来从高性能计算角度来看,应该适当地优化我们的计算。高性能计算领域有一些传统发展的观念:人工智能这个领域这几年有这么大的影响,有人觉得高性能计算应当适当的坚守,其实有些问题需要科学计算和人工智能两种手段结合去解决问题。
问题四:对于机器学习+AI+科学计算的学生培养,有什么建议?
董彬:我先抛砖引玉,在2016年底,我接触到深度学习、机器学习,至今乐此不疲。建议学生,特别计算数学或应用数学领域的学生,很多时候要释放思想,勇敢一些,不要对严谨性有过度的执着。数学系的学生,都对严谨性有不同程度的执念,这是学科特点,这种执念既是优势,有也是包袱。所以,接触机器学习的数学专业学生一定要大胆做尝试,也要去学习机器学习里看起来毫无道理的小技巧。
如果是数学专业的学生,刚入手机器学习新手,先巩固机器学习的基础,建议阅读MIT Press的那本《Foundations of Machine Learning》,了解机器学习主要关注的问题都有哪些,基本的概念都是什么,时刻思考这些概念和数值分析、函数逼近、PDE之间有什么联系。思考概念间的联系很重要,不仅能够深刻理解概念,还能够产生科研上的新想法。
孙纬武:两个角度,第一,学生如何学?首先学生要明确目标,是想继续科研, 还是进入业界。这两条路都是非常有意义,但是在学习的时候侧重点不同。科研人员,以科研作为目标的,往往深入研究问题,当然也需要有大局观,才能找到好的研究题目;从业界的角度考虑,广度比深度更重要, 真实世界的问题常常牵涉很多方面,这些方面的集成才是最大的挑战, 在和其他领域的同事讨论时,最基本要明白别人在说什么,才能合作解决问题。所以,学生如果将来想要进入业界,首先要有广泛的知识基础,也要建立自己的专长。
董彬:其实,不只是业界,现在在学术圈,即便是在基础数学内部也要跨学科。只掌握一门技术现在可能已经不太“够用“了,在学术圈里非常出色的学者、领军人物,他们的知识面非常广,能力也是非常多元的。
▍ Q&A
问题一:如何看待类脑计算和量子计算,它们会成为科学计算的发展方向吗?
杨超:我认为无论是类脑计算还是量子计算,或者其他新型计算技术,目的都是输出计算能力。从这个角度来说,哪项技术能够真正实用化,哪项技术就可以被纳入超级计算的范畴。目前来看,已经看到了不少曙光,现在已经有人把传统的超算和类脑计算结合,也有人探索经典超算和量子计算结合的手段,这可能是未来一个趋势。
问题二:亮盒子参数是怎么变化的?它们变化的原理是什么?
李若:这个问题相当于:我们想知道我们真的的解空间的低维流形到底怎么参数化。报告中提到了后验误差,其实这就意味着我们可以对解流形本身一无所知,可以通过不断地犯错,不断地加进新参数然后进行改进,然后逐渐可以获得对真正解流形的一个更加好的逼近。在这个过程中,我们就会了解到参数的模样。这些参数将会不断地从你所给的近似的流形,带到方程里面提取出来。
问题三:请明老师简要介绍一下分子动力学模拟的原理和过程,它是怎样模拟分子的复杂动力学的。其与分子真实动力学的相符程度如何?
明平兵:分子动力学从计算的角度来讲,就是求解一个大型的非线性常微分方程组,但是和通常求解常微分方程组又有显著的不同,它关注的是大量粒子的长时间系统平均量,而不是单个粒子的运动状态。一般来说,只要模拟时间足够长,粒子数足够多的话,势函数又足够精确的话,分子动力学模拟结果总会趋于粒子的真实动力学。
问题四:史作强老师,PDE刻画以后用SDE求解怎么保证精确性,为什么不用SDE直接刻划呢?
史作强:其实我们不太在乎SDE的精度。要记住我们现在解决的问题是机器学习问题,PDE只是一个工具,没有必要把PDE求解到精度很高,用PDE建立数学模型本身有误差,这个误差还可能会非常大,因此PDE求解的精度高到一定程度后就开始没有意义了。
另一方面,机器学习领域对误差的要求和传统的科学计算领域的对误差的要求不一样。传统的科学计算领域的误差一般是10的负的多少次方,但机器学习里10%的误差在很多时候已经非常令人满意了。所以,处理机器学习问题时,PDE只是一个工具,目的并不是精确地求解PDE,而是解决机器学习的问题,只要误差能够达到机器学习的要求就可以。
第二个问题,为什么不用SDE直接建模?我个人对PDE更熟悉一点,所以我们倾向于用PDE建模。因此,这个问题的答案取决于个人研究背景。
问题五:从事传统的数值计算方法研究目前还有用武之地吗?是否需要融入机器学习和人工智能?
李若:无论是传统的数值计算,还是机器学习方法研究,但凡研究类工作,目标都是发展,扩展你所研究的方法。从业界的角度来看,价值更加容易评估,可能就是产品。而在研究领域,判断贡献标准是方法的新能力,也很大程度考虑与现实结合的价值,因此,科研要追求人类知识发展永恒的价值。
孙纬武:听众可能想问的是:现在哪里是风口?哪一个方向是最容易飞起来的?我的建议是:无论是从事学术研究或者进入业界,最关键的不是去找风口,最关键的是找出让你兴奋的方向。如果传统数值计算能够让你兴奋,那么请放手去干,这远比找风口更容易成功。所以对于选什么方向, 最要紧是什么事情让你自己最兴奋, 最废寝忘餐。
董彬:非常认同。我们要做自己觉得好玩儿的研究。不少伟大的工作,最开始都是好奇心驱动的。
问题六:AI是用来建模的还是解方程的?是不是两个都有?
明平兵:可以用AI解方程,也可用来建模,前提是有很多高质量的数据,然后从数据里学习某些规律、机制。
李若:从概念上来讲,建模和解方程这两件事情似乎也没有那么大的区别。解方程也可以看成是建模,把一个微分方程模型最后变成代数模型,然后求解,所有这个过程也可以看作是建模。
明平兵:我谈到的多尺度建模、多尺度计算、多尺度问题求解,其实不分的,都是理解现实世界、理解某个问题的一种方式。
董彬:从反问题建模角度来看,可以用AI进行建模,为什么又和解方程分不开呢?如果你建模了,要想知道这个模型准不准,肯定要去求解,并和数据进行对比。做建模的时候要不停地求解正问题和反问题,反复迭代,跟神经网络训练一样,要前传反传,前传观察是否匹配数据,如果不匹配数据反传再调节你的参数。所以,反问题建模中的建模和解方程是联动的,很难区分。
问题七:科学计算的超参数能否用AI算法解决?
董彬:答案是可以,例如进行一些求解大规模线性方程组,用代数多重网格方法进行求解,会遇到算法中中超参数选取的问题;图像处理过程中,传统做法总会有超参数,那要怎么调节?人工调节效率低,很多时候基于经验,或者比较粗糙的假设。但,这些都可以用机器学习的方法来解决,例如元学习中有很多相关的工作,是关于超参数的自动选择,这也是AutoML的一个重要环节。
更为具体一点,例如,我们不清楚如何选择图像反问题中的那个控制正则化的超参数λ,以前都是基于经验手动调节,现在可以训练一个神经网络,让网络基于观测数据自适应的去推断最佳的λ。这个做法是机器学习和科学计算结合的一个例子,当你在设计数学模型的时候发现一些环节的设计比较凭手感、靠经验,但同时又有大量的数据的时候,可以用神经网络来逼近这些环节,即通过端到端训练,把藏在数据中的未知的“知识”拟合成网络进行表达。
相关阅读:
福利:
· 查看「AI+X科学」完整报告,请在公众号后台回复关键词“AI+”填写资料免费获取。
可点击文末阅读原文观看视频
欢迎在留言区回复你感兴趣的的AI+主题
延伸阅读
关注未来论坛
一个承载人类科技梦想
用科学改变未来的公益平台
一个连接前沿科技
解读未来趋势的思想平台
