DeepMind简史:解决科技棘手问题,挑战史诗级任务

WechatIMG72_meitu_1

【猎云网(微信号:)】8月11日报道(编译:楼人源)

Demis Hassabis——前儿童国际象棋神童、剑桥大学双料冠军、五届世界智力运动奥林匹克冠军、麻省理工学院和哈佛大学校友、游戏设计师、青少年企业家、人工智能初创公司DeepMind联合创始人。

他在伦敦是为了考察DeepMind的新总部。DeepMind是他与伦敦大学学院研究员Shane Legg和童年好友Mustafa Suleyman于2010年共同创立的。总部将于2020年中建成开放,这意味着DeepMind的新开端。

“我们的第一个办公室在罗素广场的伦敦数学会附近。在那里,图灵发表了著名的演讲。我们是在先驱的基础上发展,”Hassabi回忆道,也提到了其他关键科学人物——列奥纳多·达·芬奇、John von Neumann。

Hassabi视察了他最期待的区域之一——演讲厅。他满意地想象着这块用蓝色背景渲染的区域将会是什么样子。

他凝视着大楼的东北角,那里将有一个三层楼高的图书馆,其楼梯呈双螺旋式。这个设计是为了提醒人们关注科学。

Hassabis和他的联合创始人都意识到DeepMind因机器学习和深度学习领域的突破而闻名。这些突破导致了高曝光事件,如神经网络与算法相结合的AI,击败了国际象棋特级大师、围棋世界冠军Lee Sedol。他说在比赛一开始,他就感到毫无胜算。

过去,机器玩游戏表现出一些明显特征:无情和僵硬的游戏风格。但在围棋挑战中,AlphaGo以类人类的方式击败了Sodol。第二场比赛的第37步——吸引了所有首尔现场观众和数百万在线观众的注意。该算法走出了具有创造性的一步。

对于Hassabis、Suleyman和Legg来说,如果DeepMind的前九年由强化学习来定义,即基于代理系统,尝试建立世界的模型并识别(像深度学习一样),但DeepMind还积极决策,并尝试达到目标。而游戏挑战成功的证明将定义未来十年:用数据和机器学习来解决一些最难的科学问题。据Hassabis说,公司的下一步将基于深度学习把强化学习扩展到解决现实问题上。

“强化的问题在于,它总是致力于玩具问题、小范围网络世界。人们认为它也许不能解决混乱的、现实的问题——而这正是这种结合的真正意义,”他说。

对于DeepMind来说,新总部标志着公司翻开了新篇章。它将把研发实力和计算能力转向研究有机生命的基石。公司希望这能在一些领域(如医学)取得重大突破。Hassabis说:“我们致力于开创科技新纪元。”

Hassabis先后在伦敦大学学院(UCL)和麻省理工学院(MIT)学习,他发现跨学科合作是一个热门话题。他回忆了涉及不同学科的研讨会,例如神经科学、心理学、数学和哲学。在学者们会进行几天的会谈和辩论,他们努力通过研讨会找到合作的方法。

Hassabis说:“跨学科研究是很难的。假设有两位在数学和基因组学方面世界领先的专家,这两个学科显然会有一些交叉。但是他们该如何了解对方的领域和行话以及真正的困难?”

找出要问的正确问题,为什么这个问题没有得到回答甚至这个问题是什么。最棘手的问题在局外人看来或许相对简单。但是即使同学科的科学家,并不总以同样的方式看待他们的工作。众所周知,研究人员很难为其他学科增加价值,要找到一个他们会回答的联合问题就更加困难了。

DeepMind总部现位于谷歌的国王十字大楼,员工人数在过去几年里不断增加。公司AI研究中心有六、七个学科,随着公司职权范围扩大,数学、物理、神经科学、心理学、生物学和哲学方面的专家被不断聘请。

Hassabis说:“一些科学领域最有趣的地方在于学科之间的汇合。我在构建DeepMind时,致力于寻找那些在多个领域都是世界级的人,他们拥有发现不同学科之间的类比和接触点的创造力。一般当这种情况发生时,魔法就会出现。”

如Pushmeet Kohli,前微软研究部主管,现领导DeepMind的科学团队。该团队现研究蛋白质折叠——预测生命基石的形状的科学。

Kohli召集了一组结构生物学家、机器学习专家和物理学家,以应对这一挑战。蛋白质是所有哺乳动物生命的基础,它们在分子水平上发展组织和器官的结构和功能。蛋白质由氨基酸构成链。其序列决定了蛋白质的形状和功能。

“蛋白质是有史以来为在纳米尺度上移动原子而创造的最壮观的机器,通常比我们建造的任何器件都更高效地进行化学数量级。自行组装让他们变得它们更难以理解,”DeepMind研究蛋白质折叠的科学家John Jumper说。

蛋白质以单位埃排列原子,其单位长度等于0.1纳米。对其更深层的理解能使科学家更好的理解结构生物学。如蛋白质几乎是细胞内所有功能所必需的,而不正确的折叠蛋白质会导致帕金森氏症、阿尔茨海默氏症和糖尿病等疾病。

“如果我们能理解大自然制造的蛋白质,我们就能学会建立自己的蛋白质。这将帮助我们在这个复杂、微观的世界获得真正具体的观点,”Jumper说。

基因组数据集的广泛普及使蛋白质折叠成为DeepMind团队的一个难题。自2006年以来,DNA数据的采集、存储、分布和分析呈爆炸式发展。研究人员估计,到2025年,可能需要40个艾字节存储分析的20亿个基因组数据集。

“在付出不可计数的时间金钱后,人们对蛋白质有了惊人的理解,”Jumper说。

在取得进展的同时,科学家们呼吁不要盲目自满。备受尊敬的美国分子生物学家Cyrus Levinthal指出,在正确获得蛋白质的3D结构之前,将经历很长的阶段列举典型蛋白质的所有可能结构。“搜索空间很大,大过GO项目。”DeepMind的研究科学家Rich Evans说。

然而,2018年12月在墨西哥坎昆举行的蛋白质结构预测技术关键评估竞赛(CASP)中,蛋白质折叠获得了里程碑式的进展。该竞赛两年举办一次,竞赛科学家团队从已知但尚未公开的氨基酸序列中预测蛋白质的结构,由独立评估员验证预测。

DeepMind的蛋白质折叠团队以AlphaFold为基准参赛,这是它在过去两年中开发的算法。在会议召开前的几个月里,组织者向国王十字团队成员发送了数据集,参赛者发回他们的预测。一共需预测90个蛋白质结构——有些是基于模板的目标:用已知的蛋白质作指导,另一些则从零开始建模。参赛者在会议召开前收到了结果,平均而言,AlphaFold比其他队预测更准确。部分指标上,DeepMind明显领先于其他团队,对于43个从零开始建模的蛋白质序列,AlphaFold对其中25种蛋白质做出了最准确的预测,比对手多三个。

哈佛医学院系统药理学实验室和系统生物学系研究员Mohammed AlQuraishi参加了此次活动,并在结果公布前了解了DeepMind的方法。他说:“在读他们的摘要时我并没有觉得这是全新的,但他们做的比我想的更出色。”

据AlQuraishi说,这种方法与其他实验室类似,但与深度思维过程的区别在于这种算法能够执行地更好。他认为DeepMind团队在工程方面有优势。

“我认为他们比学术组做得更好,因为学术团体在这一领域往往非常隐秘。学术组孤立地尝试DeepMind算法中的想法,从没想过将他们结合,”AlQuraishi说。

AlQuraishi认为学术界经历了人才外流,因为Google Brain、DeepMind和Facebook等公司的组织结构效率和薪酬更高。而且有些计算资源不一定存在于大学。

机器学习计算科学界在过去的四五年也经历了这个问题,计算生物学也认识到了这个现状。

这与DeepMind创始人在2014年1月出售给谷歌时给出的解释相呼应。谷歌计算网络的规模之大能比有机扩展更快地推进研究,而4亿欧元的支票使这家初创公司能够雇佣世界级的人才。Hassabis描述了一种适合特定研究领域的个人策略。“我们通过路线图得知重要的主题领域、AI或神经科学的子领域,从而去找最好的专家,”他说。

“我认为对DeepMind这样的公司来说,蛋白质折叠是一个很好的起点。因为这是一个定义非常明确的问题,有充足可利用的数据,你几乎可以把它当作一个纯粹的计算机科学问题来看待。在生物学其他更复杂的领域,情况可能并非如此。因此我认为DeepMind在蛋白质折叠方面取得的成功不一定能自动转化应用到其他领域,”AlQuraishi说。

对于一家研究公司来说,DeepMind 注重项目管理方面。每六个月,高级管理人员都会检查优先事项、重组项目、并鼓励团队(尤其是工程师)开展合作。混合学科是例行公事和目的。该公司的许多项目时长超过六个月,一般在两到四年之间。DeepMind虽一直关注研究,但它现在是Alphabet的子公司,也是全球第四大最有价值的公司。伦敦学者期望参与长期开创性的研究,但加州的高管们自然会关注投资回报率。

“我们希望谷歌和Alphabet取得成功,并从我们正在做的研究中获益。现在有数十种包含DeepMind代码和技术的产品,但要注意的是,应是利益推动研究,而不是研究为了获利,”Hassabis说。由Suleyman领导的谷歌DeepMind公司由约一百人组成,其中大多数是工程师,他们将公司的纯研究转化为产品化应用。例如,WaveNet,一种模仿人类声音的语音生成模型,现在应用于大多数谷歌设备中,并在谷歌内部拥有自己的产品团队。

Hassabis说:“工业领域的许多研究都是以产品为主导。问题在于,你只能得到增量研究。这不利于进行可以取得突破性进展、有风险的研究。”

在谈话中,Hassabis语速很快,常常问“对不对?”从而引导听众。他经常向哲学、历史、游戏、心理学、文学、国际象棋、工程等多个其他科学和计算领域发散,但他并没有忽视他最初理论,经常回来澄清一个评论或反思早先的评论。

就像软银的创始人,孙正义设想了300年的蓝图。Hassabis和其他创始人也有一个“DeepMind数十年路线图”。Legg,公司首席科学家,还留有最初的商业计划。Legg 偶尔会在全体会议上展示它,以证明创始人在2010年考虑的很多方法:学习、深度学习、强化学习、增量、概念和转移学习,以及神经科学、记忆和想象力仍然是其研究计划的核心部分。

最初DeepMind仅有一个带公司标志的网页。没有地址、电话号码或“关于我们”。正如Hassabis所说,为了雇佣员工,创始人必须依靠个人联系,让人们相信他们是“正经人和认真的科学家,有真正计划。”

“对于任何初创公司来说,你要说服人们信任你是管理层。但对于DeepMind来说需要更多,因为你需要一种史无前例、独特的方法做到,这个方法不被传统的顶尖科学家所认可。”他说。

科学突破是如何发生的,这是未知的。在学术界,顶尖专家聚集在机构中进行反复的研究,往往结果不确定。进展通常是艰苦和缓慢的。然而在私营部门,在没有限制,而且有机会获得高薪管理顾问的情况下,生产力和创新也在下降。

2019年2月,斯坦福大学经济学家Nicholas Bloom发表了一篇论文,表明许多行业的生产率在下降。“研究工作正在大幅上升,而研究生产力却在急剧下降。摩尔定律就是一个很好的例子。如今,计算机芯片密度每两年翻一番所需的研究人员数量是20世纪70年代初的18倍多。在不同层次的案例研究中,我们发现想法,尤其指数增长,越来越难找到,”Bloom写道。

Hassabis提到,大制药公司在研究上投入了数十亿美元:在季度收益报告的驱动下,随着破产成本的上升,制药业变得更加保守。根据创新基金会Nesta在2018年的一份报告显示,在过去50年里生物医学研发生产率稳步下降——尽管公共和私人投资大幅增加,但新药的研发成本更高。根据该报告,开发新药的成本呈指数级增长,这直接反映在研发支出的低回报率上。据最新统计显示,全球最大制药公司的回报率为3.2%,大大低于他们的资本成本。Deloitte的研究显示,生物制药的研发回报率已降至9年来的最低水平。从2010年的10.1%降至2018年的1.9%。

Hassabis说:“大多数大型制药公司的首席执行官,不是科学家而是来自财务部门或营销部门。这意味着,他们要做的是尝试从已经发明的东西中挤出更多利润,削减成本或更好地迎合市场,而不是真正发明新事物。这不利于天马行空的设想。”

对于许多创业者来说,有一定程度的意外任务——他们所遇到的待解决问题,遇到一个联合创始人或投资者的机会或一个学术主张。这对Hassabis来说并非如此,他早期的一系列决定是有目的性的,这导致DeepMind的创立。“我知道我在干什么,”他说。“从游戏设计,从神经学到编程,在本科研究人工智能,去世界顶级机构,攻读博士学位以及运行初创公司,我试着运用并有意识地选择每一个决策点获得的经验。”

担任CEO是现在他的日常工作。他还有另一个角色——研究员。为了兼顾平衡企业的运行与他的学术利益。在结束白天的执行官后,他在19:30左右回家吃晚饭,约22:30开始进行学术研究,这通常会持续到凌晨4:00-4:30。

“我很享受那段时间,”他说。“我从孩提起就是一个夜行的人。我觉得夜晚非常有利于思考,阅读,写东西。那时我与科学文献打交道。或者我将写一篇论文,或思考一些新的算法或战略,或者调查一些人工智能可以应用的科学领域。”

他会在工作时听音乐。音乐帮助他唤起情感。选择哪种音乐则取决于他想集中或启发。选择的音乐必定没有人声,但对他来说又有些熟悉。

Hassabis说,他会花50%的时间在直接研究上。2018年4月,他雇用了Lila Ibrahim,在英特尔工作18年的硅谷老兵,之后成为Kleiner,Caulfield,Perkins和Byers的参谋长。Ibrahim接手了许多Hassabis的管理任务,他的直接下属从20人降到6人。Ibrahim将她决定加入DeepMind描述为“道德的号召”。她与Hassabis和Legg提出伦理与社会倡议,试图建立标准的应用技术。

“我认为总部基于伦敦会给带来一个稍微不同的角度,这将与总部设立在硅谷会有很大不同。伦敦更人性化,艺术文化的多样性会给创始人带来不一样的开端。以及在DeepMind工作的人们会有特定的做事方式和心态,”她说。

尽管该公司扩展到新总部,但Hassabis认为DeepMind仍然是一个初创公司。他说有很多中美公司在努力尝试这些事情。事实上在商业和政治,美国和中国都把标准化领域作为自己的优势。他提到好几次尽管取得一些进展,但还有很长的路要走。DeepMind的使命是解决人工智能和建立通用人工智能(AGI)。“我希望我们仍然拥有初创公司具有的动力和能量,”他说。

创新是艰难和奇特的。构建过程和一个组织的文化,使其能够削弱统一性,史蒂夫·乔布斯告诉团队,建造Macintosh电脑是很少有公司或机构能实现的。随着DeepMind成长,追求前面的道路,同时密切关注、预测未来几年最具革命性的技术。这是机遇与挑战的并存。

“你将经过很多困难的日子,在一天结束的时候,赚钱并不会让你缓解痛苦,真正能帮助你度过的,是激情和认定你正在做的事情是重要的,”Hassabis说。