人工智能正在改变世界,而关键是人类应该如何塑造人工智能。我们在“热”推进的同时,必须进行“冷”思考。本文立足于哲学视域,来探讨智能化社会有可能带来的十大挑战。
挑战之一:人工智能有弱版本、强版本和超版本三种形式,目前大力发展的弱人工智能,使人类生活的世界处于快速变化之中,这在概念建构上使人类措手不及。如何重构概念框架,丰富现有的概念工具箱,是人类面临的概念挑战。
关键词:机器学习、重构哲学社会科学框架
21世纪以来,随着大数据、云计算、图像识别以及自然语言处理等技术的发展,以深度学习为基础的联结主义范式得到快速发展。这种范式在观念上把计算机看成是类人脑,在方法上不再求助于形式化的知识推理,不再通过求解问题来体现智能,而是求助于统计学,通过模拟神经网络的联结机制,赋予计算机能够基于大样本数据进行自主学习的能力,来体现智能。这就把人工智能的研究,从抽象的知识表征转向实践中的技能提升,从原子主义的主客二分的理性分析方式,转向能动者与其所在的世界彼此互动的感知学习方式。
能动者的技能提升是在学习过程中进行的。技能不能被等同于操作规则或理论体系,而是能动者在其世界中或特定的域境(context)中知道如何去做的技术能力。这种范式恰好与来自胡塞尔、海德格尔、梅洛-庞蒂和德雷福斯的现象学相吻合。这也是为什么威诺格拉德于20世纪80年代曾在斯坦福大学的计算机科学课程中讲授海德格尔哲学、麻省理工学院的第二代人工智能科学家也不像第一代人那样排斥德雷福斯的哲学主张的原因所在。
人工智能发展的这种范式转换,不仅揭示了人类体验世界、与世界互动,以及在理解世界并赋予其意义上,使世界语义化的新方式,而且正在全方位地改变着过去习以为常的一切架构。
一方面,基于统计学和随机性的算法建模,赋予智能机器在不断实践中能够自主提高技能的能力,使得机器学习的不确定性和不可解释性成为智能机器的基底背景,而不再是令人担忧的认识论难题;
另一方面,机器智能水平的高低,取决于其学习样本的体量或规模,这强化了体知型认知(embodied cognition)的重要性。智能机器在学习过程中表现出的不确定性,以及人工智能所带来的世界的瞬息万变,要求我们重构现有的规则与概念。因此,全方位地丰富和重构哲学社会科学的概念框架,是我们迎接智能化社会的一个具体的建设目标,而不是一个抽象的理论问题。
挑战之二:人工智能是由大数据来驱动的,如何理解数据之间的相关性所体现出的预测或决策作用,是人类面临的思维方式的挑战。
关键词:相关性思维方式、数字环境适应人
大数据具有体量大、类型多、结构杂、变化快等基本特征。然而,当数据成为我们认识世界的界面时,我们已经无意识地把获取信息的方式,交给了搜索引擎。在搜索算法的引导下,我们的思维方式也就相应地从重视寻找数据背景的原因,转向了如何运用数据本身。这就颠覆了传统的因果性思维方式,接纳了相关性思维方式。
因果性思维方式追求的是,如果A,那么B;而相关性思维方式追求的是,如果A,那么很有可能是B。这时,A并不是造成B的原因,而只是推出B的相关因素。就起源而言,因果性思维方式是与牛顿力学相联系的一种决定论的确定性思维方式,而相关性思维方式则是与量子力学相联系的一种统计决定论的不确定性思维方式。
相关性思维与因果性思维,属于两个不同层次的思维方式,不存在替代关系。前者是面对复杂系统的一种横向思维,后者则是面对简单系统的一种纵向思维。比如,在城市管理中,智能手机的位置定位功能有助于掌握人口密度与人员流动信息,共享单车的使用轨迹有助于优化城市道路建设等。这些在过去都是无法想象的。
另一方面,随着数据实时功能的不断增强和推荐引擎技术的不断发展,人与数据环境之间的适应关系也发生了倒转:不是人来适应数字环境,而是数字环境来适应人。这种新的适应关系也是由相关关系引领的。
挑战之三:在一个全景式的智能化社会里,如何重新界定隐私和保护隐私,如何进行全球网络治理,是人类面临的新的伦理、法律和社会挑战。
关键词:电子档案、信息删除权
当人类生存的物质世界成为智能化的世界时,常态化的在线生活使人具有了另外一种身份:数字身份或电子身份。
一方面,无处不在的网络,即使是私人空间或私人活动,也成为对公共空间或公开活动的一种重要延伸。过去属于私人的信息或国家机密,现在会在不被知情的情况下,被复制和传播,甚至被盗用;另一方面,编码逻辑的活动越来越标准化和碎片化,自动算法系统作为新的认知层面,建构了个人的电子档案,能够实时地解读和编辑个人行为、筛查个人的心情、追踪个人的喜好,甚至能够抓取个人对信息的感知趋向,进行有针对性的信息推送。
而这种推送服务,不仅会加固社会分层,而且具有利用价值,比如,保险公司有可能在掌握了个人病史的情况下,提高保费;大学招生部门有可能把个人网络档案作为决定是否录用学生的参考依据,等等。与传统的社会化和社会控制机制相反,在智能化时代,人的社会化成为无形的和不可解释的。这就增加了社会现象的不透明性和人的透明性。
对于个人而言,网络数据和信息的不可删除性,个人注意力的货币化,人的行为随时被置于网络监视之中,以及无法保证技术的匿名性,都会导致人的隐私权的丧失,还会强化信息的不对称和权力的不对称,因而对传统的隐私观提出了巨大的挑战。
传统的隐私观包括两个方面:一是个人对希望呈现的信息有控制权,二是个人对属于或关于自己的信息有删除权。当人的数字化生存使得人们失去了对自己信息的控制权的同时,也就失去了对自己信息的删除权。在欧盟关于数据保护条例的讨论中,从互联网中消除信息的决定权,是一个最有争议的话题,其中,技术性的问题比我们想象的更加复杂。
挑战之四:随着人的网络痕迹不断留存,应该如何对待很有可能出现的数字人,是人类面临的对现有生命观的挑战。
关键词:数字人、拓展生命观
物联网创造了把人、物和世界或自然界联系起来的网格,智能化技术的发展又进一步使得数据、信息和知识,还有思想和行为痕迹,成为永存的。这已经为数字人的出现创造了条件。
数字人不仅能永生,而且更重要的是,它能够模仿出之前只有生命才具有的许多特性。这就对传统的生命观提出了挑战,并带来了许多需要重新思考的问题。
如果未来有一天,数字人能够借助于自然语言处理技术和深度学习技术,来模仿真人的发音,通过计算机视觉、图像识别等技术,来模仿真人的行为。那么,是否允许未来会出现专门定制数字人的公司呢?应该制定什么样的道德法律来规范数字生命呢?
进一步设想,如果未来有一天技术允许一个人的心灵在他的身体死亡后,在一个不同的主人(比如,限于一块硅电路或一个分布式网络)的体内继续运行,将会发生怎么样的情况呢?这样的实体依然满足用来描述人还活着的标准吗?两者将会拥有相同的心灵吗?而且,就所有的实践考虑而言,它会将永远有能力学习、反应、发育和适应吗?这将会违背活的有机体是由细胞组成的这一必要条件。但是,如果我们选择坚持这个必要条件,我们将如何拓展我们的生命观呢?这还会涉及法律、医疗、伦理、经济、政治乃至军事等方面的问题。
挑战之五:增强现实技术、生物工程技术以及量子计算的发展,应该如何对待有可能出现的生化电子人,是人类面临的关于身体观的挑战。
关键词:技术人造物、自由意志
在智能化的社会里,当芯片技术、生物工程技术和量子算法等整合起来时,将会出现名目繁多的增强型技术。这些技术的人造物,比如生物芯片,不只是具有医疗的作用,更重要的是具有强化人体功能的作用,那么,我们应该如何规范这些器件的使用范围呢?不论是为了医疗的效果,还是为了增强的效果,当人体的主要功能性器官有可能被全部替换时,这个人还是原来的那个人吗?
当技术发展到人的主要器官可以被替换时,就可能出现生化电子人,那么,生化电子人仍然是人吗?我们如何划定人类和非人类之间的界线?
更令人担忧的是,随着医疗技术的发展,也许有一天内置于我们体内的纳米机器人能修复任何需要修复的器官或组织,而不会影响人的生命或身份。但是,如果这些机器人是受外部控制的,就必然会带来许多问题,比如,如何看待自由意志;从动物伦理的视域来看,当人类有可能在生物上成为永生的时,对环境和可持续性来说将是毁灭性的;人类是否有权比其他生物活得更长久,人类是否应该建立规则和条件来终止生命或同意安乐死,以及如何决定谁应该活着和死去。
挑战之六:人的数字化生存,有可能使得理性—自主的、与身体无关的自我意识,被第三空间中的社会—关系的、与身体相关的自我意识取而代之,这是人类面临的重构自我概念的挑战。
关键词:第三空间、关键自我
在智能化的社会中,人的在线生活使得在线交流成为人类交往的一种习惯方式,人们把这种交流的网络空间称之为“第三空间”。这是由共享的群体意识所塑造的一个空间,现在流行的微信朋友圈就是典型一例。这种空间是位于严格意义上的个人隐私和大规模公开化之间的一个共享的交流空间。
第三空间中的自我概念强调的正是这种与他者的“关系性”或“社会性”。人类自由的这种语境依赖性,把自我定义为是通过多重关系来构成的。在多重关系的交织中,人们往往从坚固的个人隐私观念,转向了各类新媒体上的信息共享:既包括私下公开个人信息,也包括共享受版权保护的学术资料,还有小道消息,甚至不加证实的各类谣言等。因此,人的网络化生活一方面使人类从信息匮乏的时代,转变为信息过剩的时代,另一方面又把人类带到一个信息混杂、难辨真伪的时代。
关系自我之所以强调在与他者的交流互动中来彰显自己,是因为人不仅是目标的追求者,也是意义的塑造者,人与人之间的彼此互动也会产生新的意义和新的可供性。因此,如何重塑社会—关系自我,成为我们面临的关于自我概念的挑战。
挑战之七:人工智能向各行各业的全面渗透,使人类有可能摆脱就业压力,获得时间上的自由。然而,如何利用充足的自由支配时间,却成为人类面临的比为生存而斗争还要严峻和尖锐的挑战。
关键词:改变财富观
随着计算机的运算能力与储存能力的不断提升,特别是有朝一日随着量子计算机的出现,人工智能不只是局限于模拟人的行为,而且还拓展到能够解决复杂问题。人工智能的这些应用前景,越来越受人重视。然而,我们面临的问题,不应该是因恐惧失业而阻止人工智能的发展,而是反过来,应该前瞻性地为人工智能的发展可能带来的各种改变,做好思想准备和政策准备。事实上,问题的关键并不是人工智能的发展会导致大量人员失业那么简单,而涉及更加根本的问题:如何改变人类长期以来形成的就业观和社会财富的分配观?
随着人工智能的发展,当程序化和标准化的工业生产、基于大样本基数的疾病诊断、法律案件咨询,甚至作曲、绘画等工作都由机器人所替代时,当人类的科学技术有可能发展到编辑基因时,地球的发展将会面临着第三次大转折,那就是迎来人机协同,乃至改变人体基因结构的时代。
到那时,有望从繁重的体力劳动与脑力劳动的束缚中完全解放出来的人类,应该如何重新调整乃至放弃世世代代传承下来的以劳取酬的习惯和本能的问题,以及人类如何面对改造自己基因的问题,就成为至关重要的问题。
也就是说,当人类的休闲时间显著地增加,而我们所设计的制度与持有的观念,还没有为如何利用休闲时间做好充分的思想准备时,当科学技术的发展使我们能够设计自己的身体时,我们将会因此而面临着一种“精神崩溃”吗?对诸如此类问题的思考,使我们不得不面对更加现实的永久性问题:我们在摆脱了就业压力而完全获得自由时,如何利用充足的自由支配时间,如何塑造人类文明,成为人类文明演进到智能化社会时,必然要面临的比为生存而斗争还要严峻而尖锐的挑战。
挑战之八:当人类社会从由传统上求力的技术所驱动的工业社会,转向由求智的技术所驱动的智能化社会时,如何在智能技术的研发中,把人类的核心价值置入到设计过程之中,使人工智能有助于塑造人的意义,是人类面临的关于技术观的挑战。
关键词:技术伦理
从总体上讲,人类创造技术人造物,在主观上,虽然不是为了改变人,而是为了满足人的需求,但在客观上,却反过来又在无形中重塑了人,也就是说,人在使用技术的同时,也被技术所改变。
特别是,当我们生活在“智能环境”中时,一方面,物质环境本身具有了社会能力,成为一种环境力量,能够起到规范人的行为和重塑公共空间的作用,甚至还能起到社会治理的作用。
比如,城市交通要道上架设摄像头,能够约束司机的驾驶行为,使他们不得不把遵守交通规则内化为一种良好的驾驶习惯;在智能手机中下载地图app,不仅能实时掌握道路拥堵情况,方便出行,而且有助于缓解主干道上的交通压力;许多重要场合在安装上人脸识别系统之后,不相关的人员将无法入内,从而变成了一项加强安保与监管的自动措施;用人单位在记录职工考勤时,如果用人脸识别系统取代传统的电子打卡方式,就能够避免替人打卡现象,如此等等。
但另一方面,智能手机携带的地理定位功能,让人的行踪成为透明的,网络活动留下的各种数据,让人的兴趣、爱好、生活习惯以及社会交往等成为透明的,人脸不仅是名字的标签,还承载了许多可以机读的网络信息,这些信息既能造福于人类(比如,用于病理诊断),也会损坏人的利益(比如隐私泄露)。
因此,在智能化的社会中,技术善恶的天平将会偏向哪个方向,不再只是取决于使用者,而且更取决于设计者。
当代人已经生活在人造物的世界中,无法离开技术而生存,而是应该讨论如何在智能技术的研发中把人类的核心价值置入到设计过程,如何发展与人工智能的良性互动,如何树立一种嵌入伦理责任的技术观等问题。
挑战之九:在知识生产领域内,软件机器人的普遍使用,将会为科学家提供科学认知的新视域,如何对待有软件机器人参与的分布式认知,是人类面临的对传统科学认识论的挑战。
关键词:分布式认知
网络化、数字化与智能化的结合,既是平台,也是资源。它们不仅创设了无限的发展空间,具备了很多可供开发的功能,而且为我们提供了观察世界的界面。特别是,对于那些希望从互联网的知识库里“挖掘”有用信息的人来说,搜索引擎或软件机器人成为唾手可得的天赐法器,既便捷,又快速。
问题在于,当搜索结果引导了人类的认知趋向并成为人类认知的一个组成部分时,人类的认知就取决于整个过程中的协同互动:既不是完全由人类认知者决定的,也不是完全由非人类的软件机器人或搜索引擎决定的,而是由相互纠缠的社会—技术等因素共同决定的。弗洛里迪称之为“分布式认知”。一种分布式认知的形式体现在维基百科中。另一种分布式认知的形式体现在新型的科学研究中。
因此,当科学研究的结果也依赖于机器人的工作时,我们的认识论就必须由只关注科学家之间的互动,进一步拓展到关注软件机器人提供的认知部分,形成“分布式认识论”。这是对传统认识论的挑战。
挑战之十:当整个人类成为彼此相连的信息有机体,并且与人造物共享一个数字化的信息空间时,认识的责任就必须由人类的能动者和非人类的能动者来共同承担。如何理解这种分布式的认识责任,是人类面临的对传统责任观的挑战。
关键词:责任观、摆脱恐惧
智能化的网络世界永远是一个包罗万象的地方,既让人着迷,又令人忧虑。着迷之处在于,它有可能让我们极大程度地从体力与脑力劳动中解放出来,有时间从事成就人的工作;忧虑之处在于,它同时也会带来了无尽的问题:身份盗用、垃圾邮件、网络欺诈、病毒攻击、网络恐怖主义、网络低俗文化等。这说明,我们的认识系统已经是一个与社会—技术高度纠缠的系统。
在智能环境中,智能化程度的提高,造成了我们对承担责任的恐惧。比如,在个人数据处理、无人驾驶、算法交易等事件中,如果发生问题,应该由谁来负责呢?
这种恐惧把认识关系变成了一种权力关系。也就是说,在认识过程中,不同的认识能动者(不论是人类的,还是非人类的),具有不同的权力。当非人类的算法或软件机器人过滤和引导了我们的认识视域时,就提出了我们如何成为负责任的认识者的问题。
比如,我们已经习惯于通过百度来查找所需要的一切信息,习惯于通过参考他人的评分或评论,来决定预定哪家宾馆、在哪个餐饮吃饭、购买哪件衣服,等等。问题在于,我们为什么要相信这些评论或评分?如果我们被欺骗,我们应该如何问责呢?对这个问题的思考,涉及到关于搜索引擎这样的智能人造物的伦理和道德责任的问题。
比如,汽车发生碰撞事故,交警通常会判定要么由司机来负责,要么由厂商来负责。在这种思路中,汽车是被当作孤立的技术人造物来看待的。可是,如果是一辆无人驾驶的汽车发生了碰撞事故,那么,我们就需要追究这辆车的责任,因为无人驾驶车应该被当作是属于社会—技术—认识高度纠缠的人造物来看待的。
然而,如何解决这样一个把伦理学、本体论和认识论高度纠缠在一起的问题,在现有的规章制度中和交通法规中依然无章可循。因此,从如何重塑社会—技术—认识系统中的问责机制来看,如何确立分布式责任观是我们面临的对传统问责机制的挑战。
综上所述,智能化社会是由人工智能驱动的社会,是信息文明的高级阶段。这个社会必然会全方位地打破我们习以为常的生活方式、生产方式、思维方式、概念框架乃至当前在现代性基础上形成的方方面面。在我们势不可挡地迈向智能化社会的道路上,面临着有必要重构一切的情况下,哲学社会科学的出场,很可能比技术与资本的出场更迫切、更重要。因为只有这样,才能有助于前瞻性地重构一系列战略方针,做到防微杜渐,才能有助于扩大人工智能带来的恩惠,规避人工智能可能带来的危害,降低发展人工智能付出的代价。也许,摆脱恐惧,迎接挑战,是人类文明无法回避的宿命。
数据科学研究的现状与趋势
摘 要
大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系;其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题;接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。再次,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视、模型集成及元分析的兴起、数据在先,模式在后或无模式的出现、数据一致性及现实主义的回归、多副本技术及靠近数据原则的广泛应用、多样化技术及一体化应用并存、简单计算及实用主义占据主导地位、数据产品开发及数据科学的嵌入式应用、专家余及公众数据科学的兴起、数据科学家与人才培养的探讨。最后,结合本文工作,为数据科学研究者给出了几点建议和注意事项。
大数据正在改变着人们的工作、生活与思维模式[1],进而对文化、技术和学术研究产生了深远影响[2]。一方面,大数据时代给各学科领域带来了新的机遇——认识论和研究范式的转变[3],出现了一种区别于传统科学研究中沿用至今的“知识范式”的新研究范式——“数据范式”。“数据范式”的广为应用成为现代科学研究的一个重要转变。另一方面, 大数据带来的挑战在于数据的获得、存储、计算不再是瓶颈或难题,各学科领域中的传统知识与新兴数据之间的矛盾日益突出,传统知识无法解释和有效利用新兴的大数据,进而促使传统理论与方法的革命性变化。
目前,大数据已受到各学科领域的高度关注,成为包括计算机科学和统计学在内的多个学科领域的新研究方向,表现出不同专业领域中的数据研究相互高度融合的趋势,进而即将独立出一门新兴学科——数据科学。同时,大数据研究中仍存在一些误区或曲解,如片面追求数据规模、过于强调计算架构和算法、过度依赖分析工具、忽视数据重用、混淆数据科学与大数据的概念以及全盘否定大数据等[4]。因此,现代社会需要一门新学科来系统研究大数据时代的新现象、理念、理论、方法、技术、工具和实践,即“数据科学”。
本文第1节探讨数据科学的内涵、发展简史、学科地位和知识体系等四个基本问题,并提出了数据科学的两个基本类型——专业数据科学和专业中的数据科学。第2节提出现阶段数据科学研究的特点——本质问题的系统研究较少,反而周边问题的讨论较多,并分别分析了专业数据科学、专业中数据科学以及大数据生态系统中的相对热门话题。第3节探讨数据科学研究中的10个争议——思维模式的转变(知识范式还是数据范式)、对数据的认识视角(主动属性还是被动属性)、对智能的认识侧重点(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)和人才培养(数据工程师还是数据科学家),并分别提出了研究挑战。第4节分析了数据科学研究的10个发展趋势——预测模型及相关分析的重视、模型集成及元分析的兴起、数据在先,模式在后或无模式的出现、数据一致性及现实主义的回归、多副本技术及靠近数据原则的应用、多样化技术及一体化应用并存、简单计算及实用主义占据主导地位、数据产品开发及数据科学的嵌入式应用、专家余及公众数据科学的兴起以及数据科学家与人才培养的探讨。最后总结全文,并对数据科学研究者提出了几点建议。
“数据科学”与“大数据”是两个既有区别又有联系的术语,可以将数据科学理解为大数据时代一门新科学[5],即以揭示数据时代,尤其是大数据时代新的挑战、机会、思维和模式为研究目的,由大数据时代新出现的理论、方法、模型、技术、平台、工具、应用和最佳实践组成的一整套知识体系。
1.1 数据科学的内涵及兴起
1974年,著名计算机科学家、图灵奖获得者Peter Naur在其著作《计算机方法的简明调研(Concise Survey of Computer Methods)》的前言中首次明确提出了数据科学(Data Science)的概念,“数据科学是一门基于数据处理的科学”,并提到了数据科学与数据学(Datalogy)的区别——前者是解决数据(问题)的科学(the science of dealing with data),而后者侧重于数据处理及其在教育领域中的应用(the science of data and of data processes and its place in education)[6]。
Peter Naur首次明确提出数据科学的概念之后,数据科学研究研究经历了一段漫长的沉默期。直到2001年,当时在贝尔实验室工作的William S. Cleveland在学术期刊International Statistical Review上发表题为《数据科学——拓展统计学技术领域的行动计划(Data Science: an Action Plan for Expanding the Technical Areas of the Field of Statistics》的论文,主张数据科学是统计学的一个重要研究方向[7],数据科学再度受到统计学领域的关注。之后,2013年,Mattmann C A[8]和 Dhar V[9]在《自然(Nature)》和《美国计算机学会通讯(Communications of the ACM)》 上分别发表题为《计算——数据科学的愿景(Computing: A vision for data science)》和《数据科学与预测(Data science and prediction)》论文,从计算机科学与技术视角讨论数据科学的内涵,使数据科学纳入计算机科学与技术专业的研究范畴。然而,数据科学被更多人关注是因为后来发生了三个标志性事件:一是Patil DJ和 Davenport T H于2012年在哈佛商业评论上发表题为《数据科学家——21世纪最性感的职业(Data scientist: the sexiest job of the 21st century)》[10];二是2012年大数据思维首次应用于美国总统大选,成就奥巴马,击败罗姆尼,成功连任[11];三是美国白宫于2015年首次设立数据科学家的岗位,并聘请Patil DJ作为白宫第一任首席数据科学家[12]。
Gartner的调研及其新技术成长曲线(Gartner's 2014 Hype Cycle for Emerging Technologies)[13]表示,数据科学的发展于2014年7月已经接近创新与膨胀期的末端,将在2~5年之内开始应用于生产高地期(plateau of Productivity)。同时,Gartner的另一项研究揭示了数据科学本身的成长曲线(Hype Cycle for Data Science)[14],如图1所示。从图1可以看出,数据科学的各组成部分的成熟度不同:R的成熟度最高,已广泛应用于生产活动;其次是模拟与仿真、集成学习、视频与图像分析、文本分析等,正在趋于成熟,即将投入实际应用;基于Hadoop的数据发现可能要消失;语音分析、模型管理、自然语言问答等已经渡过了炒作期,正在走向实际应用;公众数据科学、模型工厂、算法市场(经济)、规范分析等正处于高速发展之中。
图1 数据科学的成长曲线(2016)
1.2 数据科学的学科地位
2010年,Drew Conway 提出了第一张揭示数据科学的学科地位的维恩图——《数据科学维恩图(The Data Science Venn Diagram)》(图2),首次明确探讨了数据科学的学科定位问题[15]。在他看来,数据科学处于统计学、机器学习和领域知识的交叉之处。后来,其他学者在此基础上提出了诸多修正或改进版本,如图3是Jerry Overton于2016年给出的数据科学维恩图[16]。但是,后续版本对数据科学的贡献和影响远不及Drew Convey首次提出的数据科学维恩图。

图2 Drew Conway的数据科学韦恩图(2010) |
图3 Jerry Overton的数据科学韦恩图(2016) |
从Drew Conway的《数据科学维恩图》的中心部分可看出,数据科学位于统计学、机器学和某一领域知识的交叉之处,具备较为显著的交叉型学科的特点,即数据科学是一门以统计学、机器学习和领域知识为理论基础的新兴学科。同时,从该图的外围可看出,数据科学家需要具备数学与统计学知识、领域实战和黑客精神,说明数据科学不仅需要理论知识和实践经验,而且还涉及黑客精神,即数据科学具有三个基本要素:理论(数学与统计学)、实践(领域实务)和精神(黑客精神)。
1.3 数据科学的知识体系
从知识体系看,数据科学主要以统计学、机器学习、数据可视化以及(某一)领域知识为理论基础,其主要研究内容包括数据科学基础理论、数据加工、数据计算、数据管理、数据分析和数据产品开发,如图4所示[17]。
图4 数据科学的知识体系
(1)基础理论:主要包括数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。需要特别提醒的是,“基础理论”与“理论基础”是两个不同的概念。数据科学的“基础理论”在数据科学的研究边界之内,而其“理论基础”在数据科学的研究边界之外,是数据科学的理论依据和来源。
(2)数据加工(Data Wrangling 或Data Munging):数据科学中关注的新问题之一。为了提升数据质量、降低数据计算的复杂度、减少数据计算量以及提升数据处理的精准度,数据科学项目需要对原始数据进行一定的加工处理工作——数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据归约和数据标注等。值得一提的是,与传统数据处理不同的是,数据科学中的数据加工更加强调的是数据处理中的增值过程,即如何将数据科学家的创造性设计、批判性思考和好奇性提问融入数据的加工活动之中。
(3)数据计算:在数据科学中,计算模式发生了根本性的变化——从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。比较有代表性的是Google三大云计算技术(GFS、BigTable和MapReduce)、Hadoop MapReduce、Spark和YARN。计算模式的变化意味着数据科学中所关注的数据计算的主要瓶颈、主要矛盾和思维模式发生了根本性变化。
(4)数据管理:在完成“数据加工”和“数据计算”之后,还需要对数据进行管理与维护,以便进行(再次进行)“数据分析”以及数据的再利用和长久存储。在数据科学中,数据管理方法与技术也发生了重要变革——不仅包括传统关系型数据库,而且还出现了一些新兴数据管理技术,如NoSQL、NewSQL技术和关系云等。
(5)数据分析:数据科学中采用的数据分析方法具有较为明显的专业性,通常以开源工具为主,与传统数据分析有着较为显著的差异。目前,R语言和Python语言已成为数据科学家较为普遍应用的数据分析工具。
(6)数据产品开发:“数据产品”在数据科学中具有特殊的含义——基于数据开发的产品的统称。数据产品开发是数据科学的主要研究使命之一,也是数据科学区别于其他科学的重要区别。与传统产品开发不同的是,数据产品开发具有以数据为中心、多样性、层次性和增值性等特征。数据产品开发能力也是数据科学家的主要竞争力之源。因此,数据科学的学习目的之一是提升自己的数据产品开发能力。
1.4 专业数据科学及专业中的数据科学
数据科学是一门与领域知识和行业实践高度交融的学科。从目前的研究现状看,数据科学可以分为两类:专业数据科学与专业中的数据科学。其中,“专业数据科学”是以独立学科的形式存在,与其他传统学科(如计算机科学、统计学、新闻学、社会学等)并列的一门新兴科学;“专业中的数据科学”是指依存于某一专业领域中的大数据研究,其特点是与所属专业的耦合度较高,难以直接移植到另一个专业领域,如数据新闻(Data Journalism)[18]、材料数据科学(Materials Data Science)[19]、大数据金融(Big Data Finance)[20]、大数据社会、大数据伦理(Big Data Ethics)[21]和大数据教育(Big Data Education)[22]等。
专业数据科学与专业中的数据科学的联系如下:专业数据科学聚集了不同专业中的数据科学中的共性理念、理论、方法、术语与工具;相对于专业中的数据科学,专业数据科学更具有共性和可移植性,并为不同专业中的数据科学研究奠定了理论基础;专业中的数据科学代表的是不同专业中对数据科学的差异性认识和区别化应用。
目前,数据科学的研究特点是对本质问题的系统研究少,然而对周边问题的讨论较多,可从以下四个方面进行分类分析。
2.1 周边问题仍为研究热点
从文献分布看,数据科学的研究主题可以分为两类:核心问题和周边问题。前者代表的是数据科学的基础理论——数据科学特有的理念、理论、方法、技术、工具、应用及代表性实践;后者代表的是数据科学的底层理论(理论基础,如统计学、机器学习等)、上层应用(应用理论,如数据新闻、大数据金融、大数据社会、大数据生态系统等)以及相关研究(如云计算、物联网、移动计算等)。文献数量和研究深度表明,现阶段的数据科学研究热点仍聚焦在周边问题的讨论之上,而对数据科学的核心问题的研究远远不够。数据科学的周边问题的研究主要集中在:
(1)大数据挑战及数据科学的必要性。在大数据时代,挑战和机会并存[23]:挑战不仅来自于数据量(Volume),而且还涉及其多个V特征,如种类多(Variety)、速度要求高(Velocity)和价值密度低(Value)[24][25]。因此,社会与科技的发展亟待一门新的学科——数据科学,并对大数据时代的新问题和新思路进行系统研究[26]。
(2)数据科学对统计学和计算机科学的继承与创新。一方面数据科学作为新的研究方向,进一步拓展了统计学[27]和计算机科学与技术[28]的研究范畴;另一方面,数据科学不仅继承了统计学和计算机科学等基础理论,而且对其进行了创新与发展,逐渐成为一门独立学科[29]。
(3)新技术在数据科学中的重要地位。云计算、物联网、移动计算等新技术的兴起拓展了人的数据获取、存储和计算能力,促使大数据时代的到来,成为数据学科诞生的必要条件。同时,数据科学中需要重点引入Spark[30]、Hadoop[31]、NoSQL[32]等新兴技术,从而更好地面对大数据挑战。新技术的应用意味着数据科学对数据及其管理的认识发生了根本性变化——不仅开始接受了数据的复杂性,而且数据管理的理念从传统的完美主义者转向现实主义,“数据在先,模式在后或无模式”的数据管理范式、BASE原则以及CAP理论[33]等新理念已成为数据科学的基本共识。
(4)数据科学对特定领域的影响。大数据及其背后的数据科学在特定领域的应用是近几年的热门话题,尤其在生命科学[34]、医疗保健[35]、政府治理[36]、教学教育[37]和业务管理[38]等领域的广泛应用,出现了量化自我[39]、数据新闻[40]、大数据分析学[41]等新的研究课题。
(5)数据科学领域的人才培养。与传统科学领域不同的是,数据科学领域人才培养目的是培养学生的“以数据为中心的思考能力”[42]。目前,相关研究主要涉及四个主题:数据科学课程的建设、相关课程的教学改革[43]、跨学科型人才培养[44]以及女性数据科学家的培养[45]。从总体上看,数据科学的人才培养目的并不是数据工程师,而是数据科学家,尤其培养具有3C精神的数据科学家——原创性(Creative)设计、批判性(Critical)思考和好奇性(Curious)提问[46]。
2.2 专业数据科学研究中相对热门话题
从研究视角看,数据科学的研究可以分为两类:专业数据科学和专业中的数据科学。前者代表的是将数据科学当作一门独立于传统科学的新兴学科来研究,强调的是其学科基础性:后者代表的是将数据科学当作传统学科的新研究方向和思维模式来研究,强调的是数据科学的学科交叉性。从目前的研究现状看,专业数据科学研究的热热门话题有:
(1) DIKW模型。DIKW模型刻画的是人类对数据的认识程度的转变过程[47]。通常认为,数据科学的研究任务是将数据转换成信息(Information)、知识(Knowledge)或(和)智慧(Wisdom), [48]。从数据到智慧的转变过程是一种从不可预知到可预知的增值过程,即数据通过还原其真实发生的背景(Context)成为信息,信息赋予其内在含义(Meaning)之后成为知识,而知识通过理解转变成智慧。
(2)数据分析学(Data Analytics)。大数据分析研究正在成为一门相对成熟的研究方向——数据分析学。需要注意的是,数据分析(Data Analysis)与数据分析学是两个不同的概念:前者强调的是数据分析活动本身,而后者更加强调的是数据分析中的方法、技术和工具。目前,大数据分析研究中的热门话题有两个:一是大数据分析学,尤其是大数据分析算法和工具的开发;另一个面向特定领域的大数据分析,如面向物流与供应链管理[49]、网络安全[50]以及医疗健康[51]的大数据分析学。论文[52]给出了数据分析的主要类型及常见错误。
(3)数据化(Datafication)。数据化是将客观世界以及业务活动以数据的形式计量和记录,形成大数据,以便进行后续的开发利用。除了物联网和传感器等公认的研究课题,量化自我(Quantified Self)[53][54]也在成为数据化的热门话题。数据化是大数据时代初级阶段的主要关注的问题,随着大数据的积淀,人们的研究焦点将从业务的数据化转向数据的业务化,即研究重点将放在“基于数据定义和优化业务”之上。
(4)数据治理(Data Governance)。数据治理是指数据管理的管理。目前,相关研究主要集中在顶层设计[55]、实现方法[56]、参考框架[57]以及如何保证数据管理的可持续性[58]。此外,数据治理作为数据能力成熟度评估模型(Data Maturity Model)的关键过程域,重点关注的是如何通过数据治理提升组织数据管理能力的问题。DMM中定义的关键过程域“数据治理”包括3个关键过程:治理管理(Governance Management)、业务术语表(Business Glossary)和元数据管理(Metadata Management)[59]。
(5)数据质量。大数据的质量与可用性之间内在联系的讨论已成为现阶段数据科学的热点问题之一,主要研究议题集中在大数据中的质量问题会不会导致数据科学项目的根本性错误[60]以及大数据时代背景下的数据可用性的挑战及新研究问题[61]。但是,传统数据管理和数据科学对数据质量的关注点不同。传统数据管理主要从数据内容视角关注质量问题,强调的是数据是否为干净数据(Clean Data)/脏数据(Dirty Data) [62];数据科学主要从数据形态视角关注质量问题,重视的是数据是否为整齐数据(Tidy Data)/混乱数据(Messy Data)。所谓的整齐数据是指数据的形态可以直接支持算法和数据处理的要求。例如,著名的数据科学家Hadley Wickham 提出了整齐数据和数据整齐化处理(Data Tidying)的概念,并主张整齐数据应遵循三个基本原则: 每个观察占且仅占一行、每个变量占且仅占一列以及每一类观察单元构成一个关系表[63]。
除了上述问题之外,大数据的安全[64]、大数据环境下的个人隐私保护[65]、数据科学的项目管理及团队建设[66]、公众数据科学(Citizen Data Science)[67]等是目前在专业数据科学研究中讨论较多的问题。
2.3 专业中的数据科学研究的相对热门话题
相对于专业数据科学,专业中的数据科学研究具有差异性和隐蔽性。差异性主要表现在各学科领域对数据科学的关注点和视角不同;隐蔽性是指专业中的数据科学研究往往间接地吸收和借鉴数据科学或类似于数据科学的思想,而并不明确采用或直接运用数据科学的规范术语。从目前的研究看,以下几个专业中的数据科学研究尤为活跃:
(1)数据新闻(Data Journalism):新闻学领域的新研究方向之一,主要研究的是如何将大数据和数据科学的理念引入新闻领域,实现数据驱动型新闻(Data-driven Journalism)[68]。
(2)工业大数据:主要研究如何将大数据应用于工业制造领域,进而实现工业制造的创新。比较有代表性的是德国工业4.0(Industrie 4.0)、美国工业互联网(Industrial internet)和中国制造2025(Made in China)。
(3) 消费大数据:与工业大数据不同的是,消费大数据更加关注的是产品生命周期的末端,即如何将已生产出的产品推销给更多的用户,主要包括精准营销[69]、用户画像(User Profiling)[70]以及广告推送[71]。
(4)健康大数据:主要关注大数据在健康与医疗领域的广泛应用,包括生命日志(Life Logging)[72]、医疗诊断、药物开发、卫生保健[73]等具体领域的应用。
(5)生物大数据:将大数据的理念、理论、方法、技术和工具应用于生物学领域,从而生物学从知识范转向数据范式[74]。
(6)社会大数据:综合运用大数据和数据科学的理论,探讨如何在大数据时代进行舆情分析、社会网络分析以及热点发现[75]。
(7)机构大数据:如何将大数据和数据科学的思想引入企业[76]、政府 [77]以及公益部门[78]的日常业务、战略规划与可持续改进。
(8)智慧类应用:如何将大数据应用于智慧城市、智慧医疗、智慧养老、智慧交通、智慧教育等领域,发挥数据的驱动作用,进而实现更高的智慧。
(9)敏捷类应用:如何将大数据思维用于软件开发、项目管理以及组织管理之中,进而实现敏捷软件开发、敏捷项目管理和敏捷组织,提升其应变能力和可持续发展能力。
2.4 大数据生态系统研究中相对热门话题
数据科学生态系统(Big Data Ecosystem)是指包括基础设施、支撑技术、工具与平台、项目管理以及其他外部影响因素在内的各种组成要素构成的完整系统。例如,大数据全景图(Big Data Landscape)[79]较为全面地展示了大数据生态系统中的主要机构及产品。现有相关研究主要从组成要素及其相互关系两个方面进行。就目前而言,相关研究中的热门话题集中在:
(1)基础设施:主要关注云计算、物联网、移动计算、社交媒体在内的基础设施对数据科学的影响以及数据科学中如何充分利用上述基础设施。
(2)支撑技术:建立在基础设施上的关键技术,现有研究主要讨论机器学习、统计学、批处理、流计算、图计算、交互计算、NoSQL、NewSQL和关系云等支撑技术在数据科学的应用;
(3)工具与平台:支撑技术的具体实现,目前的主要研究热点集中在R、Python、Hadoop、Spark、MongoDB、HBase、Memcached、MongoDB、CouchDB和Redis等工具与平台在数据科学中的应用;
(4)项目管理:涉及数据科学项目的范围、时间、成本、质量、风险、人力资源、沟通、采购及系统管理等9个方面的管理;
(5)环境因素:大数据时代对法律、政策、制度、文化、道德、伦理产生的影响与新需求。其中,大数据权属立法研究主要讨论大数据权属立法的必要性、可行性以及对策建议。从大数据的重要性的认识看,大数据不再是一种资源,更是一种资产。大数据权属的立法已经成为大数据时代信息资源开发利用的必要条件。
在不同的学科领域,大数据时代的科学研究所面临问题、挑战和关注点不同。从计算机科学视角看,新的数据处理需求已经超出了现有的存储与计算能力[80];从统计学视角看,大数据挑战在于样本的规模接近总体时,如何直接在总体上进行统计分析[1];从机器学习角度看,训练样本集接近测试样本集时,如何用简单模型及模型集成方法实现较高的智能水平[81];从数据分析角度看,如何从海量数据中快速洞察有价值的数据,并通过试验设计和模拟仿真,实现数据到智慧的转变[82]。但是,从数据科学视角看,其研究中的常见争议及背后的研究挑战可以归纳为10个方面:
3.1 思维模式——知识范式还是数据范式
在传统科学研究中,由于数据的获得、存储和计算能力所限,人们往往采取的是知识范式(“数据→知识→问题”的范式),从数据,尤其是样本数据中提炼出知识之后,用知识去解决现实问题。大数据时代的到来及数据科学出现为人们提供了另一种研究思路,即数据范式(“数据→问题”范式),在尚未从数据中提炼出知识的前提下,用数据直接解决问题。数据范式强调的是在尚未将数据转换为知识的前提下,直接用数据去解决现实世界中的问题。以机器翻译为例,传统机器翻译方法是基于自然语言理解,准确说是基于语言学和统计学的知识进行,属于知识范式的范畴。但是,这种传统机器翻译效果一直并不理想,且尚无突破性进展。然而,近几年兴起的机器翻译方法改变了传统机器翻译的思维模式,采取的是“数据范式”——直接从历史跨语言语料库中快速洞见所需结果。上世纪五十年以来的IBM 机器翻译的缓慢发展以及2000以后的Google机器翻译的迅速兴起也反映了这种思维模式的变革。
与传统认识中的“知识就是力量”类似,在大数据时代,数据也成为一种重要力量。如何组织、挖掘和利用数据成为现代组织的核心竞争力。目前,思维模式变革的主要挑战在于如何完成以数据为中心的设计、数据驱动型决策[83]和数据密集型应用[84]。
3.2 数据的认识——主动属性还是被动属性
在传统科学研究中,数据一直被当作是被动的东西,人们主要从被动属性方面去对待数据。以关系数据库为例,人们先定义关系模式,然后将数据按照关系模式的要求进行强制转换后放入数据库中,完成数据挖掘和分析任务。
在大数据思维模式的背后,一个根本性的变革在于人们开始意识到数据的主动属性——不再简单认为数据是一种死的、被动的东西,而更加重视数据的积极作者用,提出了数据在先、模式在后或无模式、让数据说话、数据驱动型应用、数据业务化、数据洞察和以数据为中心的思维模式等新术语。
因此,如何正确认识数据及如何充分发挥数据的主动属性成为数据科学的重要研究任务。目前,相关研究的主要挑战在于如何实现数据洞察、以数据为中心的设计、敏捷软件开发、数据驱动型决策以及智慧类应用研发。
3.3 智能的认识——更好的算法还是更多的数据
在传统学术研究中,智能主要来自于算法,尤其是复杂的算法。算法的复杂度随着智能水平得到提升。例如,KNN算法是机器学习中常用的分类算法,其算法思想非常简单。人们根据不同应用场景提出多种改进或演化方案,虽然智能水平有所提高,但随之而来的问题是算法复杂度的提升[85]。但是,数据范式表明,数据也可以直接用于解决问题,引发了一场关于“更多数据还是更好模型(More data or Better Model debate)”的讨论[86],经过这场大讨论,人们得出了相对一致的结论——“更多数据+简单算法=最好的模型(more data+ simple Algorithem= the best model)”。
因此,如何设计出简单高效的算法以及算法的集成应用成为数据科学的重要挑战。目前,关于智能的实现方式的挑战在于算法设计、算法集成、维度灾难和深度学习。
3.4 研发瓶颈——数据密集型还是计算密集型
传统的软件开发与算法设计的重点是解决计算密集型的问题,计算是研究难点和瓶颈。但是,随着大规模分布式计算,尤其是云计算的普及,计算不再是人们需要解决的首要瓶颈。因此,软件开发与算法设计的主要矛盾从计算转向数据,出现了数据密集型应用。在数据密集型应用中,数据是主要关注点与瓶颈[87]。数据密集型问题的研究将进一步推动以数据为中心的研究范式。
目前,数据密集型应用的主要挑战在于副本数据技术、物化视图、计算的本地化、数据模型的多样化和数据一致性保障。
3.5 数据准备——数据预处理还是数据加工
在传统数据研究中,数据准备主要强调的是将复杂数据转换为简单数据,对脏数据进行清洗处理后得到干净数据,从而防止“垃圾进垃圾出”现象的出现,主要涉及重复数据的过滤、错误数据的识别以及缺失数据的处理。可见,数据预处理主要关注的是数据的质量维度的问题。但是,由于从小数据到大数据之间存在质量涌现现象——个别小数据的质量问题(如缺失数据、错误数据或重复数据)不影响整个大数据的可用性,大数据处理中关注的并非为传统意义上的数据预处理,而其关注点转向另一个重要课题——数据加工。
在数据科学中,数据加工是指数据的创造性增值过程,包括两种表现形式:数据打磨(data wrangling)或数据改写(data munging)。与数据预处理不同的是,数据加工更加强调的是如何将数据科学家的3C精神融入数据处理工作之中,从而达到数据增值的目的。因此,数据加工并不仅限于技术工作的范畴,而且还涉及到艺术层面的创造,如需要采用数据柔术(Data Jujitsu)和整齐化处理(Data Tidying)的方法进行数据加工处理。
数据加工概念的提出意味着人们对数据复杂性的认识发生了重要的变革,即开始接受数据的复杂性特征,认为复杂性是数据本身的固有特征。与此同时,数据准备的关注点转向另一个重要问题,即如何发挥人的增值作用。目前,数据加工的研究主要挑战集中在:
· 数据打磨或数据改写理念的提出:如何在数据科学项目中充分发挥数据科学家的作用,进而实现数据处理活动的增值效果;
· 数据打磨或数据改写技术的实现:基于Python、R以及大数据技术实现数据加工的理念与方法;
·数据柔术:如何有艺术性地将数据转换为产品;
·整齐化处理:将数据转换为大数据算法和大数据技术能够直接处理的形态。
3.6 服务质量——精准度还是用户体验
查全率和查准率是传统数据研究中评价服务质量的两个核心指标。但是,当总体为未知、数据量迅速增长、数据种类不断变化和数据处理速度要求高时,查全率和查准率的追求成为不可能。因此,在大数据环境下,更加重视的是用户体验,而不是查全率和查准率。在用户体验的评价中,响应速度是最为重要指标之一。Aberdeen Group的调查发现“页面的显示速度每延迟1秒,网站访问量就会降低11%,从而导致营业额减少7%,顾客满意度下降16%”Google发现“响应时间每延迟0.5秒,查询数将会减少20%”;Amazon发现“响应时间延迟0.1秒,营业额下降1%[88]。
目前,用户体验研究的主要挑战在于如何确保较快的响应速度、设计人机交互、实现服务虚拟化以及提供按需服务。
3.7 数据分析——解释性分析还是预测性分析
理论完美主义者认为只有掌握了因果关系才能正确认识和有效利用客观现象。传统数据分析往往是理论完美主义的指导下完成,试图通过对历史数据进行深度分析之后,达到深刻理解自我或解释客观现象的目的,侧重的是因果分析,即以解释型分析为主。
在大数据环境下,数据分析的重点从因果分析转向相关分析,更加重视的是事物之间的相关关系[89]。然而,在这种变革的背后是数据分析指导思想的根本性变化——从理论完美主义转向现实实用主义,侧重于数据分析的实用性,更加重视对未来的预测,即预测型分析。相对于解释性分析,预测性分析具有更强的时效性,可以迅速洞见事物之间的内在联系以及其商业价值。
因此,数据科学的一个重要特点是预测性分析和解释性分析的分离。预测性分析主要由数据科学家完成,一般不需要领域知识;解释性分析则发生在预测性分析之后,数据科学家将预测性分析中的洞察结果转交给领域专家,由领域专家负责完成解释性分析。可见,数据科学家一般不做解释性分析,或者说,解释性分析往往超出数据科学家的能力范畴,需要由具体领域的专家完成。预测性分析和解释性分析的分离也是数据科学家和领域专家之间协同工作的主要实现方式。
大数据分析的主要挑战源自于数据的复杂性、噪声数据的分析、数据的依赖度[90]。提出面向大数据分析的新方法、技术与工具,尤其是大数据分析方法的动态演化、实时计算和弹性计算成为相关研究中亟待解决的问题。
3.8 算法评价——复杂度还是可扩展性
复杂度,尤其是时间复杂度和空间复杂度,是传统算法的两个重要评价指标 [91],分别代表的是算法的运行所需的时间成本和内存成本。但是,在大数据环境下,算法设计的一个重要特点是上层需求和底层数据处于动态变化之中,因此,算法应支持按需服务和数据驱动型应用。例如,谷歌于2008年推出预测流感疫情工具——谷歌流感趋势(Google Flu Trends,GFT),及时准确预测了当时H1N1在全美范围的传播[92],但是,2013年1月的估计比实际数据高两倍,主要原因之一是缺乏算法动态性(Algorithm Dynamics)和用户使用行为习惯的变化[93]。
在大数据时代,算法的可扩展性主要代表的是算法的可伸缩能力。目前,相关研究的主要挑战在于低维度算法在高维数据中的应用、维度灾难、数据规约以及数据密集型应用。
3.9 研究范式——第三范式还是第四范式
图灵奖获得者Jim Gray 曾提出,人类科学研究活动已经历过三种不同范式的演变过程(原始社会的“实验科学范式”、以模型和归纳为特征的“理论科学范式”和以模拟仿真为特征的“计算科学范式”),目前正在从“计算科学范式”转向“数据密集型科学发现范式(Data-intensive Scientific Discovery)”。第四范式,即“数据密集型科学发现范式”的主要特点是科学研究人员只需要从大数据中查找和挖掘所需要的信息和知识,无须直接面对所研究的物理对象。例如,在大数据时代,天文学家的研究方式发生了新的变化——其主要研究任务变为从海量数据库中发现所需的物体或现象的照片,而不再需要亲自进行太空拍照[94]。
第四范式的提出反映了人们对世界的固有认识发生了根本性的变化——从二元认识(精神世界/物理世界)转向三元认识(精神世界/数据世界/物理世界),即在原有的“精神世界”和“物理世界”之间出现了一个新的世界——数据世界。因此,科学研究者往往直接面对的是数据世界,通过对数据世界的研究达到认识和改造物理世界的目的。对于科学研究者而言,数据世界中已积累的“历史数据”往往足以完成一项科研任务,数据科学家不需要亲自到物理世界采用问卷和访谈的方法收集数据——“调研数据”。同时,与“调研数据”相比,“历史数据”更具有客观性和可信度。目前,相关研究主要挑战在于第三范式与第四范式的区别、第四范式的内涵、理论深入研究以及领域应用。
3.10 人才培养——数据工程师还是数据科学家
传统科学领域中,数据相关的人才培养的目标定位于数据工程师——从事数据的组织、管理、备份、恢复工作的人才。但是,在大数据时代,数据工程师无法胜任数据科学的研究任务,需要的是一类全新的人才——数据科学家。二者的主要区别在于:数据科学家负责的是数据的管理,而数据科学家擅长的是基于数据的管理,如基于数据的决策、产品开发、业务定义等。
目前,关于数据科学家的研究及人才培养的挑战在于正确分析岗位职责与用人需求、数据科学家的素质与能力要求、数据科学项目管理以及数据科学家的职业规划。
在梳理研究热点、争议及挑战的基础上,我们需要进一步分析数据科学研究的发展趋势。从整体上讲,数据科学研究的主要发展趋势可以总结为:
· “思维模式的多样化和研究范式的变迁”是根本趋势。其中,思维模式的多样化主要体现在数据范式的兴起以及其与传统的知识范式并存;研究范式的变迁是指科学研究范式从“计算科学范式”转向“数据密集型科学发现范式”,进而改变人们对世界的二元认识,相关研究重点将转变为通过数据世界的研究认识和改造物理世界。思维模式的多样化和研究范式的变迁对数据科学研究产生深远影响,将改变人们对数据的认识视角、开发动因和利用方式。
· “专业中的数据科学”是研究热点。大数据时代,各专业领域面临的主要挑战在于如何解决新兴数据与传统知识之间的矛盾,即数据已经变了,但知识没有更新,各学科中的传统知识无法解决大数据带来的新问题。因此,大数据时代的机遇与挑战即将成为各学科领域研究的新方向,也就是说,专业中的数据科学成为相关研究的热点问题。
· “专业数据科学”是研究难点。“专业中的数据科学”从不同专业视角解读数据科学,存在研究兴趣点和研究发现(如理论、方法、技术、工具和典型实践等)的差异性,甚至可能出现相互重叠与冲突的现象。在这种背景下,如何将分散不同学科领域中的共性问题及通用结论提炼成一门新的学科——“专业数据科学”,进而为各个学科领域的研究提供新的理论基础是未来研究的难点所在。
· “数据生态系统的建设”是终极问题。数据学科是一门实践性极强的学科,其研究和应用均不能脱离具体领域。数据科学的研究和应用将会超出技术范畴,还涉及到发展战略、基础设施、人力资源、政策、法律与文化环境等诸多因素。因此,数据科学需要解决的终极问题是将大数据放在一个完整的生态系统之中去认识与利用,从生态系统层次统筹和规划,避免片面认识数据问题,进而推动数据、能源和物质之间的相互转化。
4.1 预测模型及相关分析的重视
数据科学的研究责任在于预测模型而不在于解释模型。以预测模型为中心的数据科学更偏向于实用主义,更加关注的是“对未来的预测能力”,而不是“对过去的解释水平”[95]。因此,数据科学的研究更加重视的是“现在能为未来做什么?”,而不是“过去对现在的影响是什么?”
数据科学中重视预测模型而不是解释模型的另一个现实基础在于“人们往往先发现规律,后发现原因”[96]。从方法论层次看,以发现预测模型为目的的研究往往提倡的是假设演绎(Hypothetico-Deductive)研究范式[97],先提出研究假设,然后采用试验设计和演绎分析方法论证研究假设成立与否。然而,一个好的研究假设的提出需要研究者,尤其是数据科学家的特有素质——创造力、批判性思考和好奇心。
与解释模型不同的是,预测模型更加重视的是模型的简单性,而不是复杂性,主要原因有两个,一是预测模型对计算时间的要求较高,甚至需要进行实时分析,然而简单模型的计算效率往往高于复杂模型;二是经验证明,正如奥卡姆剃刀定律(Occam's razor)[98]所言,在其他条件相同的情况下,就预测而言,简单模型比复杂模型更可靠。
预测模型往往建立在相关关系,而不是因果关系。通常,相关关系可以帮助我们预测未来,而因果关系有助于进一步理解和控制未来。从表面上看,预测模型依赖的是相关关系的分析,但在本质上属于一种数据驱动型的“数据范式”,与基于知识范式的解释模型有着本质性的区别。
4.2 模型集成及元分析的兴起
传统数据分析的通用做法是用一个数据模型即可解决一项数据处理任务。在这种以单一模型为基础的数据分析中,为了提升数据处理的信度和效度,需要对模型进行优化和调整,导致数据模型复杂度的增长。也就是说,传统数据分析中的数据模型有两个基本特征:单一性和复杂性。
但是,在大数据背景下,人们很难找到一个能够处理动态且异构数据的单一模型,因此,开始寻求多个模型的集成应用。与传统数据分析不同的是,大数据分析中所涉及的模型往往是极其简单,即大数据分析中的数据模型也有两个基本特征:多样性和简单性。
可见,模型集成成为数据科学研究的一个新问题。通常,大数据分析采用多个较为简单的数据模型,将数据分析任务分解成分散在多个层次,多个活动的小任务,并通过简单模型及其集成方法达到最终数据处理目的。例如,在深度学习之中,由多处理层组成的计算模型可通过多层抽象来学习数据表征[99]。
模型集成的背后是元分析的兴起。传统统计学重视的基于零次或一次数据的基本分析,包括描述性统计、参数估计和假设检验。在大数据环境下,二次数据和三次数据的分析显得更为重要,数据分析工作往往在众多小模型的分析结果的基础上进行二次分析,即元分析。
4.3 数据在先,模式在后或无模式的出现
传统数据管理,尤其是关系型数据库中采用的是“模式在先、数据在后(Schema First,Data Later)”的建设模式[100],即先定义模式,然后严格按照模式要求存储和管理数据;当需要调整模式时,不仅需要重定义数据结构,而且还需要修改上层应用程序。然而,在大数据环境下,无法沿用“模式在先、数据在后(Schema First,Data Later)”的建设模式,主要原因有两个:一是数据模式可能为不断变化或根本不存在;二是按照预定模式进行数据的存储和处理时容易导致信息丢失。
因此,“数据在先,模式在后或无模式(Data First, Schema Later or Never)”成为数据产品设计的主要趋势。以NoSQL为例,采用非常简单的键值数据模型,通过模式在后(Schema Later)或无模式(Schemaless)的方式确保数据管理系统的敏捷性。当然,模式在后或无模式也会带来新问题,如限制数据管理系统的处理能力及加大应用系统的开发难度。
在“数据在先,模式在后或无模式”的兴起背后是信息系统建设模式的历史性变革——从先行支付(Pay-before-you-go)转向现收现付(Pay-as-you-go)的建设模式。信息系统建设中的先行支付模式的特点是根据特定时间点的需求定义信息系统,信息系统一旦开发完毕,在一定时间内相对稳定。先行支付模式的缺点在于无法适应底层数据的复杂性和上层应用的动态变化。
4.4 数据一致性及现实主义的回归
在传统数据管理中,对数据一致性的要求是接近于完美主义——强一致性,即任何时候从任何地方读出的任何数据均为正确数据。为了保证数据的一致性,在关系数据库中引入了事务、两端封锁协议和两端提交协议等方法或机制。强一致性的优点在于不仅可以保证数据质量,而且可以降低后续计算的成本。但是,强一致性不符合大数据时代的数据管理要求——高扩展性、高性能、高容错性、高伸缩性和高经济性。
因此,NoSQL等新兴数据管理技术从根本上改变了人们对数据一致性的传统认识,主要表现在提出CAP理论和BASE原则等新兴数据管理理念,引入弱一致性、最终一致性等概念,并提供了不同的解决方案,如更新一致性、读写一致性和会话一致性等。可见,在数据科学研究中,数据的一致性出现了多样化趋势,即根据不同应用场景,有针对性地选择具体的一致性及其实现方法。
在数据一致性的多样化认识的转变反映了们对数据数据管理目标的根本转折——从完美主义回归至现实主义。以CAP理论[101]为例,人们对分布式系统的设计目的发生了改变,不再追求强一致性(Consistency)、可用性(Availability)和分区容错性(Partition Tolerance)三个指标的同时最优,反而意识到了三者中的任何两个特征的保证(或争取)可能导致另一个特征的损失(或放弃)。例如,Cassadra和Dynamo 为了争取可用性和分区容错性而放弃了一致性。
4.5 多副本技术及靠近数据原则的应用
传统关系数据库更加看重的是数据冗余的负面影响——冗余数据导致的数据一致性保障成本较高。与此不同的是,数据科学中更加重视的是冗余数据的积极作用,即冗余数据在负载均衡、灾难恢复和完整性检验中的积极作用。同时,还通过引入多副本技术和物化视图的方法丰富冗余数据的存在形式,缩短用户请求的响应时间,确保了良好用户体验。以Google搜索为例,采用缓存和照相(images)技术,重复利用搜索结果。
同时,在计算和应用系统的部署上,改变传统的“数据靠近计算的原则”,反而开始采取了“计算靠近数据的原则”。例如,在Spark系统提供了操作getPreferredLocations(),支持RDD的本地化计算[102];在MapReduce中,尽量将Map任务调度至存放副本数据数据的机器上。可见,多副本技术和靠近数据原则均表明传统的“以计算为中心”的产品部署模式正向“以数据为中心”的产品部署模式的转变。
4.6 多样化技术及一体化应用并存
传统关系数据库类产品虽多,但标准化程度较高,如均采用关系模型和SQL语言。但是,新兴的NoSQL数据库代表的不是一种特定技术,而是包括基于不同数据模型和查询接口的多种数据管理技术,如Key-Value、Key-Document和Key-Column和图存储模型等。可见,在技术实现层次上,新兴技术表现出了多样化发展及高度专业化的趋势,即一项新技术专注于一个问题、一项功能或一种应用场景。例如,MapReduce、Tez、Storm、Druid等技术的定位相对单一,分别专注于分布式批处理、Map/Reduce过程的拆分与组合、实时处理和面向OLAP的列存储等较为单一功能的实现。当然,Spark、YARN等较为通用性技术的出现也为技术层次上的高度专业化趋势提供了一种补充的解决方案。
同时,在传统数据计算/管理环境中,不同数据产品的界限是比较清楚的,所依赖的技术也是单一的,要么关系模型,要么层次或网状模型。但是,大数据时代的到来导致不同计算/管理技术的高度融合,出现一些支持多种数据计算/管理技术集成产品,甚至显现出了软硬件一体化或嵌入式应用趋势。例如,Oracle大数据解决方案(Big Data Appliance)[103]集成了HDFS、Oracle NoSQL、Cloudera CDH、数据仓库、内存计算和分析型应用。
可见,在数据科学研究中一体化应用和专业化趋势并存。在产品与服务的实现层次上,一体化趋势越来越显著,一种产品的实现往往涉及多种不同技术的集成应用;在技术本身的实现层面,专业化趋势成为主流,一项新技术专注于解决相对单一问题。
4.7 简单计算及实用主义占据主导地位
“简单”是数据科学的基本原则之一,代表着采用相对简单的技术来应对复杂的基础数据及不断变化的应用场景。与此不同的是,传统数据管理中采用的技术实现往往较为复杂。例如,传统关系数据库技术采用Join运算实现了多表查询等复杂操作。但是,这些复杂操作反而成为了关系数据库在提升数据管理能力的一个重要瓶颈,如Join操作要求被处理数据不能分布在不同节点。为此,NoSQL放弃了Join等复杂处理操作,突出了简单计算较高的效率和效果。
从复杂计算到简单计算的转变表明人们对数据产品开发的理念从完美主义回归至实用主义。数据科学是一门实践性很强的学科,现阶段其研究主要关注的是实用性,即解决当前社会亟待解决的实际问题,而不是复杂计算的实现。
4.8 数据产品开发及数据科学的嵌入式应用
作为数据科学的特有研究内容,数据产品开发将成为未来研究重要课题。在数据科学中,所谓的数据产品(Data Products)并不限于“数据形态”的产品,而泛指“能够通过数据来帮助用户实现其某一个(些)目标的产品”[104]。可见,数据产品是指在数据科学项目中形成,能够被人、计算机以及其他软硬件系统消费、调用或使用,并满足他们(它们)某种需求的任何产品,包括数据集、文档、知识库、应用系统、硬件系统、服务、洞见、决策及它们的各种组合。以Google眼镜为例,虽然其产品形态上看似乎是“眼镜类产品”,但从其主要竞争力之源看,确实属于“数据产品”。
数据产品开发主要关注的是如何将数据科学的理论融入传统产品开发实践之中,进而实现产品的更新换代和用户体验的提升。未来,数据产品开发将嵌入至传统产品的研发之中,二者的界限越来越模糊。如何将数据科学家的创造性设计、批判性思考和好奇性提问的职业素质融入产品研发之中,从而实现传统产品的增值和核心竞争力的提升是未来数据产品开发的难点所在。在此背景下,以数据为中心的设计思维将会是数据产品开发的主要思维模式。同时,良好的用户体验将成为产品开发的主要评价指标之一。
数据产品开发的兴起将推动数据科学的嵌入式应用。数据科学将作为传统产品的创新点、增值点和竞争力之源,成为产品开发的必要环节,数据科学与领域实呈现出了高度融合的趋势。
4.9 专家余及公众数据科学的兴起
在传统数据分析中,专家,尤其是领域专家是知识的主要来源之一。例如,本体的建设需要由领域专家完成;专家系统中的知识库建立在专家的知识之上。但是,在大数据时代,专家余(ProAm)[105]成为数据处理项目的主要贡献者。与专家不同的是,专家余是指其能力在专家与业务之间的准专家型人群。近年来,众包(包括众创、众筹等)成为大数据时代的重要数据处理模式,其主要参与者均为专家余,而并非是严格意义上的专家或业余人群。例如,与传统意义上的专家编写的百科全书不同,Wikipedia是由来自各领域的专家余共同完成的知识库。
众包的广泛应用为传统知识库建设中的数据量与形式化程度之间的矛盾提供了新的解决方案。在传统知识库建设中,要么形式化程度高,但数据量不够,反之亦然。众包数据处理模式的出现使位于数据链长尾的专家余成为知识的主要贡献者和积极参与者。从协同方式看,众包中大规模协同可以分为机器协同、人机协同和人际协同三种表现形式。其中,人机协同是数据科学研究的重要课题。例如,混合智能——人与机器的互补型智能正成为人工智能的新课题。再如,语义Web技术的出现为人机协同提供了一种重要的技术支撑。
公众数据科学(Citizen Data Science)是专家余和大规模协同在数据科学领域的应用的主要表现形式之一。所谓的公众数据科学属于公众科学(Citizen Science),是指公众参与的数据科学,与数据科学(Data Science)的区别在于参与研究者以非职业的兴趣爱好者和志愿者为主。也就是说,公众数据科学是一种基于众包和专家余的准数据科学,也是在数据科学成为一门广为接受的正式科学之前的过渡型理论。
4.10 数据科学家与人才培养的探讨
数据科学项目任务往往是富有挑战性的工作,每一项任务都是独一无二的,对工作人员的要求超出数据工程师的能力范畴,亟待由一类新型人才——数据科学家来承担。从Drew Convey的数据科学维恩图[106]可看出,数据科学具有三个基本要素,即理论(统计学与数学知识)、实践(领域实战)和精神(黑客精神)。可见,数据科学与传统科学的人才需求不同,前者不仅要求传统科学中的理论与实践,而且还需要有数据科学家的“精神”素质,即原创性设计、批判性思考和好奇心地提问的能力。
因此,如何培养“理论、实践和精神为一体”的综合性人才是未来研究的重要课题。相关研究主要以下四个层面开展:1)办学层次,如何培养本科[107]、硕士[108]和博士[109]层次的数据科学人才。目前,国内和国外对数据科学人才培养层次的关注点不同,分别关注的是本科层次和硕士层次人才的培养,但对博士层次的人才的讨论相对少;2)专业设置:是否需要设立数据科学专业?例如,国内主要讨论的是如何建设“数据科学与大数据技术”专业。3)学科方向的选择:如何将数据科学与传统学科向结合,确定数据科学的学科地位;4)课程改革[110]:如何完成传统课程的改革以及数据科学新课程的创造性设计。
数据科学是一门极其特殊的新兴学科,具有与其他学科不同的新特征,例如思维模式的转变(从数据范式到知识范式的转变)、对数据认识的变化(从数据的被动属性到主动属性的转移)、指导思想的变化(实用主义和现实主义的回归)、以数据产品开发为主要目的(数据成为传统产品的主要创新点)、专业数据科学与专业中的数据科学的差异性以及数据科学的三要素(不仅涉及理论和实践,而且还包括精神素质)。因此,数据科学的研究不能简单照搬传统学科的经验,应尊重其特殊使命和属性。为此,我们对数据科学研究者提出如下几点建议:
(1)正确认识数据科学。正确认识数据科学的内涵是有效学习和规范研究数据科学的前提。目前,部分学者误以为“数据科学=统计学+机器学习”,过于强调统计学和机器学习,而忽略了数据科学本身。其实,统计学和机器学习是数据科学的理论基础,而并非其核心内容。数据科学具有区别与其他学科的独特的研究使命、研究视角、思维模式、做事原则和知识体系。如果脱离了这些独到之处,数据科学的学习和研究将发生方向性的误读和本质性的扭曲。
(2)突出数据的主动属性。数据科学的一个重要贡献或价值就在于改变了人们对数据的研究方向,即从被动属性转向主动属性。一直以来,人们习惯性地把数据当做被动或死的东西,关注的是“你能对数据做什么?”,如模式定义,结构化处理和预处理,都试图将复杂数据转换成简单数据。但是,大数据时代更加关注的是数据的另一个属性——主动属性,强调的是“数据能给你带来什么?”,如数据驱动型应用、以数据为中心的设计、让数据说话、数据洞见等,将复杂性认为数据的自然属性,开始接受数据的复杂性。研究方向从数据的被动属性到主动属性的转变是学习和研究这一门新学科的基本出发点。如果忽略了这一点,容易将数据科学当成数据工程来学习和研究。
(3)平衡数据科学的三个要素。与其他课程,尤其是技术类课程不同的是,数据科学既包括理论和实践,更需要精神——原创性设计、批判性思考和好奇性提问的素质。因此,数据科学的学习中不仅要强调理论联系实际,而且还不能忽略对数据科学家精神的培养。积极参与数据科学相关的开源项目和竞赛类项目是兼顾数据科学的三个基本要素的两个重要捷径。
(4)侧重培养信心和兴趣,学会跟踪数据科学的最新动态。一方面,数据科学建立在统计学和机器学习等基础理论之上,学习门槛较高,因此,培育自己对数据科学的学习信心和兴趣尤为重要;另一方面,数据科学仍属于一门快速发展的新兴学科,其理念、理论、方法、技术和工具在不断变化之中,要求我们必须掌握动态跟踪数据科学领域的国际顶级会议、重要学术期刊、主要研究机构、代表性人物和标志性实践的能力。
(5)重视试验设计及假设检验。试验设计是数据科学项目的重要活动之一。数据科学家应根据数据科学项目的研究目的,有创造性地提出研究假设,并设计对应的试验,最终通过这些试验达到假设检验的目的。以华盛顿大学和加州大学伯克利分校的数据科学专业人才培养方案为例,分别开出了课程《应用统计与试验设计(Applied Statistics & Experimental Design)和《试验与因果分析(Experiments and Causality)》,重点培养学生的试验设计和假设检验的能力。
(6)不要忽视因果分析。在大数据时代,很多人误以为“因果分析不再重要了”,并把研究重点仅限在相关分析。相关分析只能用于识别事物之间的关联关系,而无法指导如何优化和干预这种相关关系。因此,当相关关系发生变化或需要人为干预相关关系时,必须进一步研究其因果关系。在数据科学项目中,数据科学家的关注重点是发现各种可能的关联关系,而关联关系的产生机制和优化方法需要由领域专家完成。加州大学伯克利分校和哥伦比亚大学分别开设《实验与因果分析(Experiments and Causality)》和《因果推理与数据科学(Causal Inference for Data Science)》,均反映了因果分析在数据科学中的重要地位。
(7)以数据产品开发为主要抓手。数据产品开发是学习与研究数据科学的主要抓手之一。需要注意的是,数据产品不限于数据形态的产品,任何用数据来帮助目标用户实现其某一目的的产品都可视为数据产品。数据是未来产品的创新点和增值点。因此,向数据产品的转变是传统产品的重要发展趋势。以Google眼镜[111]为例,其创新源自数据,而不在于其外观和选材,以数据为中心的产品设计才是该产品与传统的眼镜类产品的根本区别。可见,数据产品开发是数据科学的最为直接且最为普遍的应用。
(8)准确定位人才培养目的。数据科学的学习和人才培养的目的是培养数据科学家而不是数据工程师。二者的区别在于,数据工程师负责的是“数据本身的管理”,而数据科学家的主要职责是“基于数据的管理”,包括基于数据的分析、决策、流程定义与再造、产品设计和服务提供等。因此,相对于数据工程师,数据科学家对人才的要求更高,不仅要有理论功底和实践经验,而且还要求有精神素质,即创造性设计、批判性思考和好奇性提问的能力。
参考文献
[1] John Walker S. Big data: A revolution that will transform how we live, work, and think[J]. 2014.
[2] Boyd D, Crawford K. Critical questions for big data: Provocations for a cultural, technological, and scholarly phenomenon[J]. Information, communication & society, 2012, 15(5): 662-679.
[3] Kitchin R. Big Data, new epistemologies and paradigm shifts[J]. Big Data & Society, 2014, 1(1): 2053951714528481.
[4] Jagadish H V. Big data and science: myths and reality[J]. Big Data Research, 2015, 2(2): 49-52.
[5] Provost F, Fawcett T. Data science and its relationship to big data and data-driven decision making[J]. Big Data, 2013, 1(1): 51-59.
[6] Naur P. Concise survey of computer methods[M]Studentlitteratur AB: 1974.
[7] Cleveland W S. Data science: an action plan for expanding the technical areas of the field of statistics[J]. International statistical review, 2001, 69(1): 21-26.
[8]Mattmann C A. Computing: A vision for data science[J]. Nature, 2013, 493(7433): 473-475.
[9]Dhar V. Data science and prediction[J]. Communications of the ACM, 2013, 56(12): 64-73.
[10] Patil T, Davenport T. Data scientist: the sexiest job of the 21st century[J]. Harvard Business Review, 2012.
[11] Kitchin R. Big data and human geography: Opportunities, challenges and risks[J]. Dialogues in human geography, 2013, 3(3): 262-267.
[12] Smith M. The White House names Dr. DJ Patil as the first US chief data scientist[J]. The White House Blog, 2015.
[13] Gartner J. Gartner’s 2014 hype cycle for emerging technologies maps the journey to digital business[OL]. http://www.gartner.com/newsroom/id/2819918.
[14] Gartner J. Hype Cycle for Data Science, 2016 [OL]. https://www.gartner.com/doc/3388917/hype-cycle-data-science-.(25 July 2016 )
[15] Schutt R, O'Neil C. Doing data science: Straight talk from the frontline[M]. O'Reilly Media, Inc., 2013:7.
[16] Jerry Overton.Going Pro in Data Science [M].O’Reilly Media, Inc,2016:12.
[17] 朝乐门.数据科学理论与实践[M].北京:清华大学出版社,2017:15.
[18] Gray J, Chambers L, Bounegru L. The data journalism handbook: how journalists can use data to improve the news[M]. " O'Reilly Media, Inc.", 2012.
[19] Kalidindi S R, De Graef M. Materials data science: current status and future outlook[J]. Annual Review of Materials Research, 2015, 45: 171-193.
[20] Fang B, Zhang P. Big Data in Finance[M]//Big Data Concepts, Theories, and Applications. Springer International Publishing, 2016: 391-412.
[21] Davis K. Ethics of Big Data: Balancing risk and innovation[M]. " O'Reilly Media, Inc.", 2012.
[22] West D M. Big data for education: Data mining, data analytics, and web dashboards[J]. Governance Studies at Brookings, 2012, 4: 1-0.
[23] Labrinidis A, Jagadish H V. Challenges and opportunities with big data[J]. Proceedings of the VLDB Endowment, 2012, 5(12): 2032-2033.
[24] Kaisler S, Armour F, Espinosa J A, et al. Big data: Issues and challenges moving forward[C].System Sciences (HICSS), 2013 46th Hawaii International Conference on. IEEE, 2013: 995-1004.
[25] Chen H, Chiang R H L, Storey V C. Business intelligence and analytics: From big data to big impact[J]. MIS quarterly, 2012, 36(4).
[26] Provost F, Fawcett T. Data science and its relationship to big data and data-driven decision making[J]. Big Data, 2013, 1(1): 51-59.
[27] Cleveland W S. Data science: an action plan for expanding the technical areas of the field of statistics[J]. International statistical review, 2001, 69(1): 21-26.
[28] Mattmann C A. Computing: A vision for data science[J]. Nature, 2013, 493(7433): 473-475.
[29] Schutt R, O'Neil C. Doing data science: Straight talk from the frontline[M]. " O'Reilly Media, Inc.", 2013.
[30] Shanahan J G, Dai L. Large scale distributed data science using apache spark[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2015: 2323-2324.
[31] Holmes A. Hadoop in practice[M]. Manning Publications Co., 2012.
[32] Sharma S, Shandilya R, Patnaik S, et al. Leading NoSQL models for handling Big Data: a brief review[J]. International Journal of Business Information Systems, 2016, 22(1): 1-25.
[33] Sadalage P J, Fowler M. NoSQL distilled: a brief guide to the emerging world of polyglot persistence[M]. Pearson Education, 2012.
[34] Marx V. Biology: The big challenges of big data[J]. Nature, 2013, 498(7453): 255-260.
[35] Raghupathi W, Raghupathi V. Big data analytics in healthcare: promise and potential[J]. Health information science and systems, 2014, 2(1): 3.
[36] Kim G H, Trimi S, Chung J H. Big-data applications in the government sector[J]. Communications of the ACM, 2014, 57(3): 78-85.
[37] Daniel B. Big data and analytics in higher education: Opportunities and challenges[J]. British journal of educational technology, 2015, 46(5): 904-920.
[38] George G, Haas M R, Pentland A. Big data and management[J]. Academy of Management Journal, 2014, 57(2): 321-326.
[39] Swan M. The quantified self: Fundamental disruption in big data science and biological discovery[J]. Big Data, 2013, 1(2): 85-99.
[40] Lewis S C. Journalism in an Era of Big Data: Cases, concepts, and critiques[J]. 2015.
[41] Rahm E. Big Data Analytics[J]. it-Information Technology, 2016, 58(4): 155-156.
[42] Baumer B. A data science course for undergraduates: Thinking with data[J]. The American Statistician, 2015, 69(4): 334-342.
[43] Hardin J, Hoerl R, Horton N J, et al. Data science in statistics curricula: Preparing students to “think with data”[J]. The American Statistician, 2015, 69(4): 343-353.
[44] Cassel L N, Posner M, Dicheva D, et al. Advancing data science for students of all majors[C]//Proceedings of the 2017 ACM SIGCSE Technical Symposium on Computer Science Education. ACM, 2017: 722-722.
[45] Berman F D, Bourne P E. Let's make gender diversity in data science a priority right from the start[J]. PLoS biology, 2015, 13(7): e1002206.
[46] Lemen Chao.Data Science [M].Tsinghua University Press,2016.
[47] Cooper P. Data, information, knowledge and wisdom[J]. Anaesthesia & Intensive Care Medicine, 2014, 15(1): 44-45.
[48] Erl T, Khattak W, Buhler P. Big data fundamentals: concepts, drivers & techniques[M]. Prentice Hall Press, 2016.
[49] Wang G, Gunasekaran A, Ngai E W T, et al. Big data analytics in logistics and supply chain management: Certain investigations for research and applications[J]. International Journal of Production Economics, 2016, 176: 98-110.
[50] Cardenas A A, Manadhata P K, Rajan S P. Big data analytics for security[J]. IEEE Security & Privacy, 2013, 11(6): 74-76.
[51] Raghupathi W, Raghupathi V. Big data analytics in healthcare: promise and potential[J]. Health information science and systems, 2014, 2(1): 3.
[52] Jeffery T. Leek, Roger D. Peng.What is the question? Mistaking the type of question being considered is the most common error in data analysis[J].Science,2015,374(6228):1314-1315.
[53] Swan M. The quantified self: Fundamental disruption in big data science and biological discovery[J]. Big Data, 2013, 1(2): 85-99.
[54] Ruckenstein M, Pantzar M. Beyond the quantified self: Thematic exploration of a dataistic paradigm[J]. new media & society, 2017, 19(3): 401-418.
[55] Khatri V, Brown C V. Designing data governance[J]. Communications of the ACM, 2010, 53(1): 148-152.
[56] Khatri V, Brown C V. Designing data governance[J]. Communications of the ACM, 2010, 53(1): 148-152.
[57] Thomas G. The DGI data governance framework[J]. The Data Governance Institute, Orlando, FL (USA), 2006.
[58] Lee S U, Zhu L, Jeffery R. Design Choices for Data Governance in Platform Ecosystems: A Contingency Model[J]. arXiv preprint arXiv:1706.07560, 2017.
[59] CMMI Institute.Data Management Maturity (DMM)℠ Model[OL].http://cmmiinstitute.com/ data-management-maturity
[60] Liu J, Li J, Li W, et al. Rethinking big data: A review on the data quality and usage issues[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 115: 134-142.
[61] 李建中, 王宏志, 高宏. 大数据可用性的研究进展[J]. 软件学报, 2016, 27(7): 1605-1625.
[62] Rahm E, Do H H. Data cleaning: Problems and current approaches[J]. IEEE Data Eng. Bull., 2000, 23(4): 3-13.
[63] Wickham H. Tidy data[J]. Journal of Statistical Software, 2014, 59(10): 1-23.
[64] Lafuente G. The big data security challenge[J]. Network security, 2015, 2015(1): 12-14.
[65] Perera C, Ranjan R, Wang L, et al. Big data privacy in the internet of things era[J]. IT Professional, 2015, 17(3): 32-39.
[66] Patil D, Noren A. Building Data Science Teams: The Skills, Tools and Perspectives Behind Great Data Science Groups[M]. O'Reilly, 2011.
[67] Banerjee S. Citizen Data Science for Social Good: Case Studies and Vignettes from Recent Projects. doi: 10.13140/RG. 2.1. 1846.6002[J]. URL https://www. researchgate. net/publication/283119007_Citizen_Data_Science_for_Social_Goo d_Case_Studies_and_Vignettes_from_Recent_Projects, 2015.
[68] Parasie S, Dagiral E. Data-driven journalism and the public good:“Computer-assisted-reporters” and “programmer-journalists” in Chicago[J]. New media & society, 2013, 15(6): 853-871.
[69] Du D, Li A, Zhang L. Survey on the applications of big data in Chinese real estate enterprise[J]. Procedia Computer Science, 2014, 30: 24-33.
[70] Middleton S E, Shadbolt N R, De Roure D C. Ontological user profiling in recommender systems[J]. ACM Transactions on Information Systems (TOIS), 2004, 22(1): 54-88.
[71] Marshall P, Todd B, Rhodes M. Ultimate Guide to Google AdWords[M]. Entrepreneur Press, 2014.
[72] Gurrin C, Smeaton A F, Doherty A R. Lifelogging: Personal big data[J]. Foundations and Trends® in Information Retrieval, 2014, 8(1): 1-125.
[73] Raghupathi W, Raghupathi V. Big data analytics in healthcare: promise and potential[J]. Health information science and systems, 2014, 2(1): 3.
[74] Marx V. Biology: The big challenges of big data[J]. Nature, 2013, 498(7453): 255-260.
[75] Bello-Orgaz G, Jung J J, Camacho D. Social big data: Recent achievements and new challenges[J]. Information Fusion, 2016, 28: 45-59.
[76] Mohanty S, Jagadeesh M, Srivatsa H. Big data imperatives: Enterprise ‘Big Data’warehouse,‘BI’implementations and analytics[M]. Apress, 2013.
[77] Bertot J C, Gorham U, Jaeger P T, et al. Big data, open government and e-government: Issues, policies and recommendations[J]. Information Polity, 2014, 19(1, 2): 5-16.
[78] Aggarwal A. Opportunities and Challenges of Big Data in Public Sector[J]. Managing Big Data Integration in the Public Sector, 2015: 289.
[79] Matt Turck.Big Data Landscape 2016 v18 FINAL[OL].(2016-4-28).http://mattturck.com/big-data-landscape-2016-v18-final/
[80] Kaisler S, Armour F, Espinosa J A, et al. Big data: Issues and challenges moving forward[C]//System Sciences (HICSS), 2013 46th Hawaii International Conference on. IEEE, 2013: 995-1004
[81] Al-Jarrah, Omar Y., et al. "Efficient machine learning for big data: A review." Big Data Research 2.3 (2015): 87-93.
[82] Batra, Surinder. "Big data analytics and its reflections on DIKW hierarchy." Review of Management 4.1/2 (2014): 5.
[83] Donhost M J, Anfara Jr V A. Data-driven decision making[J]. Middle School Journal, 2010, 42(2): 56-63.
[84] Chen C L P, Zhang C Y. Data-intensive applications, challenges, techniques and technologies: A survey on Big Data[J]. Information Sciences, 2014, 275: 314-347.
[85] Voulgaris Z, Magoulas G D. Extensions of the k nearest neighbour methods for classification problems[C]//Proc. of the 26th IASTED International Conference on Artificial Intelligence and Applications (AIA), Innsbruck, Austria, February 11. 2008, 13: 23-28.
[86] Datawocky.More data usually beats better algorithms[OL].(2008-3-24).http://anand.typepad.com/datawocky/2008/03/more-data-usual.html
[87] Kleppmann, Martin. Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems. " O'Reilly Media, Inc.", 2017.
[88] Eric Brewer.Parallelism in the Cloud[OL].(2013-6-24)
.https://www.usenix.org/sites/default/files/conference/protected-files/brewer_hotpar13_slides.pdf
[89] McAfee A, Brynjolfsson E, Davenport T H. Big data: the management revolution[J]. Harvard business review, 2012, 90(10): 60-68.
[90] Fan, Jianqing, Fang Han, and Han Liu. "Challenges of big data analysis." National science review 1.2 (2014): 293-314.
[91] Edgar, Robert C. "MUSCLE: a multiple sequence alignment method with reduced time and space complexity." BMC bioinformatics 5.1 (2004): 113.
[92] Ginsberg J, Mohebbi M H, Patel R S, et al. Detecting influenza epidemics using search engine query data[J]. Nature, 2009, 457(7232): 1012-1014.
[93] Lazer D, Kennedy R, King G, et al. The Parable of Google Flu: Traps in Big Data Analysis[J]. Science, 2014, 343(6176): 1203-1205.
[94] Tansley, Stewart, and Kristin M. Tolle. The fourth paradigm: data-intensive scientific discovery. Ed. Tony Hey. Vol. 1. Redmond, WA: Microsoft research, 2009.
[95] Provost F, Fawcett T. Data science and its relationship to big data and data-driven decision making[J]. Big Data, 2013, 1(1): 51-59.
[96] Dhar V, Chou D. A comparison of nonlinear models for financial prediction[J]. IEEE Transactions on Neural networks, 2001, 12(4): 907-921.
[97] Føllesdal, Dagfinn. "Hermeneutics and the hypothetico‐deductive method." Dialectica 33.3‐4 (1979): 319-336.
[98] Blumer A, Ehrenfeucht A, Haussler D, et al. Occam's razor[J]. Information processing letters, 1987, 24(6): 377-380.
[99] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[100] Liu Z H, Hammerschmidt B, McMahon D. JSON data management: supporting schema-less development in RDBMS[C]//Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014: 1247-1258.
[101] Brewer E. CAP twelve years later: How the" rules" have changed[J]. Computer, 2012, 45(2): 23-29.
[102] Zaharia M, Chowdhury M, Franklin M J, et al. Spark: Cluster computing with working sets[J]. HotCloud, 2010, 10(10-10): 95.
[103] Plunkett, Tom, et al. Oracle Big Data Handbook. McGraw-Hill Osborne Media, 2013.
[104] Patil D J. Data Jujitsu: the art of turning data into product[M]. " O'Reilly Media, Inc.", 2012.
[105] Leadbeater C, Miller P. The Pro-Am revolution: How enthusiasts are changing our society and economy[M]. Demos, 2004.
[106] Conway D. Data Science in the US Intelligence Community[J]. IQT Quarterly, 2011, 2(4): 24-27.
[107] Anderson P, McGuffee J, Uminsky D. Data science as an undergraduate degree[C]//Proceedings of the 45th ACM technical symposium on Computer science education. ACM, 2014: 705-706.
[108] Marshall L, Eloff J H P. Towards an Interdisciplinary Master’s Degree Programme in Big Data and Data Science: A South African Perspective[C]//Annual Conference of the Southern African Computer Lecturers' Association. Springer International Publishing, 2016: 131-139.
[109] West J D, Portenoy J. 10 The Data Gold Rush in Higher Education[J]. Big Data Is Not a Monolith, 2016: 129.
[110] Anderson P, Bowring J, McCauley R, et al. An undergraduate degree in data science: curriculum and a decade of implementation experience[C]//Proceedings of the 45th ACM technical symposium on Computer science education. ACM, 2014: 145-150.
[111] Muensterer O J, Lacher M, Zoeller C, et al. Google Glass in pediatric surgery: an exploratory study [J]. International journal of surgery, 2014, 12(4): 281-289.
人工智能赛博物理操作系统
AI-CPS OS
“人工智能赛博物理操作系统”(新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。
AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。
领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:
重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?
重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?
重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?
AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:
精细:这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。
高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。
边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。
AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:
创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;
对现有劳动力和实物资产进行有利的补充和提升,提高资本效率;
人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间。
给决策制定者和商业领袖的建议:
超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;
迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新
评估未来的知识和技能类型;
制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开
发过程中确定更加明晰的标准和最佳实践;
重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临
较高失业风险的人群;
开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。
子曰:“君子和而不同,小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。
如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!
新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。
产业智能官 AI-CPS
用“人工智能赛博物理操作系统”(新一代技术+商业操作系统“AI-CPS OS”:云计算+大数据+物联网+区块链+人工智能),在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
长按上方二维码关注微信公众号: AI-CPS,更多信息回复:
新技术:“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”;新产业:“智能制造”、“智能金融”、“智能零售”、“智能驾驶”、“智能城市”;新模式:“财富空间”、“工业互联网”、“数据科学家”、“赛博物理系统CPS”、“供应链金融”。
官方网站:AI-CPS.NET
版权声明:由产业智能官(公众号ID:AI-CPS)推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com