广告

潜入数据深处,名副其实

新的沉浸式环境使研究人员能够以前所未有的细节和规模可视化和研究从大脑到飓风的一切。

Google NewsGoogle News Preferred Source
研究人员可以沉浸在绿色荧光蛋白和其他源自加州大学圣迭戈分校蛋白质数据库的结构的三维渲染图中。Tom DeFanti/ 加州大学圣迭戈分校 CALIT2

新闻简报

注册我们的电子邮件新闻简报,获取最新的科学新闻

注册

19世纪60年代初的一个冬夜,德国化学家奥古斯特·凯库勒坐在火炉前打盹,做了一个异常生动的梦。原子形成了波浪状的链条,然后变成了一条蛇吞食自己的尾巴。凯库勒认为,这种强烈的意象帮助他解决了苯的环状结构之谜,这一发现被认为是现代化学的基础。

广告

近100年后,大西洋两岸的研究团队竞相争夺第一个破译DNA(生命的基本分子遗传物质)结构。在美国,诺贝尔奖得主莱纳斯·鲍林发现自己与剑桥大学的不知名英国物理学家弗朗西斯·克里克及其20多岁的美国博士后詹姆斯·沃森竞争。这个新兴的英国团队有一个隐藏的优势:同事罗莎琳德·富兰克林拍摄的DNA晶体X射线照片。这种经过化学增强的X射线技术揭示了DNA由两条互补的核酸链通过梯状链上的化学键连接而成。可视化DNA的能力使他们对螺旋双螺旋结构有了深入的了解——他们赢得了这场竞赛。

1993年,凯利·穆利斯因发明聚合酶链反应(一种可以复制数千个微小DNA链的化学施乐机)而获得诺贝尔奖,这一突破启动了生物技术革命。这位当时在伯克利工作的生物化学家坦率承认,他是在迷幻药LSD的影响下构思出这一进展的,这种药物帮助他三维可视化了复杂的化学过程。

这三个例子都围绕着可视化的力量——那种从不同角度“看”事物的能力,那种能够剥离大量无关细节、将看似不可逾越的难题提炼到本质的洞察力火花。但现在我们正处于大数据时代,它利用了海量数据库的计算能力,其字节以太字节(万亿)和拍字节(千万亿)为单位,并结合了复杂的算法,能够处理以前难以想象规模的问题。虽然这种数字处理能力有望大大加速科学发现的步伐,但我们突然被信息洪流所淹没。

沉浸式环境——三维虚拟现实世界——可以帮助我们以一种切实的方式理解这些。大数据收集的信息量如此之大,以至于很难发现模式。利用计算能力将数据转化为可见可闻的东西,使其更容易理解。“科学家和工程师可以像艺术家一样,感知和直观地处理他们的数据,”AlloSphere的创造者乔安·库切拉-莫林说。这也许是这些沉浸式环境中最先进的一个,位于加州大学圣巴巴拉分校的校园内。

这些电子模拟的视觉和听觉世界消除了大数据中的许多噪音,它们使研究人员能够以更易于理解和消化的方式合成、操纵和分析大量数据集,从而提供对整体图景以及每个独立部分如何融入其中的无与伦比的洞察。“我们有如此多的数据,以至于我们需要这些更大的镜头才能全面了解正在发生的事情,”伊利诺伊大学芝加哥分校电子可视化实验室研究主任安德鲁·约翰逊说。“这些类型的环境是观察数据的镜头——相当于现代的显微镜或望远镜。”

汇集大量数据可以发现小型、独立研究中不明显的模式和趋势,其应用几乎是无限的——想想2003年畅销书《点球成金》,讲述了常年资金短缺的奥克兰运动家队如何利用数据分析和棒球统计数据来发现被忽视的天才。另一个例子:2013年,需要通过数据处理算法筛选数万亿字节的数据,才能发现几个希格斯玻色子粒子的独特特征。物理学家终于能够识别它们。另一方面,医学科学家正在处理从数百万患者那里收集到的数十亿个数据点,这些数据涉及使人们更容易患糖尿病、心脏病和癌症等疾病的基因突变。他们将这些信息与这些DNA片段产生的蛋白质序列结合起来。(蛋白质是控制每个细胞的身体主力。)这些信息用于开发更具针对性的疗法和使用生物标志物(患者血液、唾液或尿液中的)的更精确诊断方法,这些生物标志物预示着疾病的存在。

像您在接下来几页中将看到的沉浸式环境,让科学家能够观察肿瘤的生长,观察分子结合在一起——甚至观看大爆炸的重演,并见证宇宙在数十亿年间的演变。这些环境的初级版本自1990年代以来就已经存在,但凭借当今的技术,科学家可以沉浸在更高的真实感中,并以更清晰的分辨率可视化更多内容。这种沉浸式技术应用于医学、物理学、神经科学、绿色技术、结构工程和考古学等不同学科,遍布世界各地的大学、政府研究机构和私营企业。

“最初,我们创造这些是为了作为一个教育工具,用它来可视化概念和想法——取代黑板和手舞足蹈——帮助人们看到他们以前从未见过的事物,”加州大学圣迭戈分校加州电信和信息技术研究所的研究科学家,虚拟现实系统先驱托马斯·德凡蒂说。“但最新的技术给你带来了真正的沉浸感,带来了一种完全引人入胜的体验。”

AlloSphere内部

“我们开始吧,马特?”

广告

乔安·库切拉-莫林指示她的媒体系统工程师马修·赖特启动为AlloSphere供电的计算机集群。随着一个简单的按键,我们突然沉浸在一个虚拟的视听世界中,带领我们进行了一次奇妙的旅程,穿梭于人体三维模型中。我们沿着动脉疾驰而下,仿佛滑下了一条湿滑的滑道,差点与肝脏和心脏相撞。感觉我们被推动着,悬浮在空中,在黑暗的房间里,在一股图像洪流中自由落体。

我们戴着3D眼镜,站在一个坚固的金属走道上,悬浮在一个直径33英尺的球体中心,这个球体似乎漂浮在一个三层楼高、2000平方英尺的房间里。数十个扬声器和其他音响设备将我们包围在来自四面八方的声音中,而高分辨率视频投影仪以4000万像素的细节投射出从地板到天花板的图像。这一切创造了一个独特的360度沉浸式环境,远远超出了其他虚拟现实系统的技术。在这里,研究人员可以使用所有感官来发现数据中的新模式。

广告

AlloSphere仅结构就耗资1200万美元,于2007年完工。它是库切拉-莫林的心血结晶,她是一位受过管弦乐训练的作曲家,后来成为电脑迷,现在在加州大学圣巴巴拉分校(坐落在太平洋岩石海岸线上的大学)指导AlloSphere研究实验室。库切拉-莫林是一位和蔼可亲的女性,全身黑色打扮,一头长长的灰色直发让她看起来像一位嬉皮奶奶。她在1980年代开始涉足大型主机电脑,当时传统乐器无法将她脑海中的声音转化为音乐。

“计算机帮助我理解了乐器的所有声学、振动和物理原理,”她说。“通过数学方程,我可以将它们转化为我想要的任何东西。”

她的早期实验最终演变成了AlloSphere,它将大量数据转换为动态图像和声音,使研究人员更容易理解和消化。有时,数十位来自神经科学、医学、绿色技术、理论物理学、材料科学和纳米技术等数据密集型学科的科学家聚集在这座桥上。他们使用特殊的无线控制器和扶手上的传感器,在图像的星宿中穿梭。物理学家可以观察氢原子内部电子旋转的表示,从而真正“看到”这些看不见的自然过程,而神经科学家则可以在患者大脑内部的三维图像中自由穿梭。“你所看到的一切都是经过计算的数字,”库切拉-莫林说。“数学算法可以通过将其振动光谱映射到光和声域来转化为视觉和音频频率——就像通过红外光映射热量一样。AlloSphere是一个虚拟仪器,可以帮助科学家进行模拟,从而加快发现的时间。”

在这一天,我们正在查看加州大学圣巴巴拉分校纳米医学中心主任杰米·马斯的一个项目。马斯正在使用人体的模拟版本来检查关键细胞成分的组成和行为,例如蛋白质、脂质(脂肪)和聚糖(糖)。这个特定的模拟是根据从活体人体收集的核磁共振信息构建的。库切拉-莫林的技术团队使用专业软件和计算语言将数学算法和科学数据转化为视觉和声音,首先整合了动脉、静脉、胰腺和肝脏的几何形状,然后像高功率数字显微镜一样放大它们,以便研究人员更好地可视化健康和疾病的生物过程。

广告

目前,马斯团队正在模拟化疗药物直接输送到胰腺和肝脏的癌性肿瘤,而不会伤害健康组织。人造纳米颗粒可能是一种很好的输送装置。但首先,研究人员必须评估有机纳米颗粒能否成功穿过血管,然后与癌细胞结合以输送其有毒载荷。在AlloSphere中,仿佛马斯的研究人员站在血管内部,以人类尺度可视化通常小到无法看到的数据。下一步是整合流体动力学,精确模拟血液如何流经动脉和静脉。他们还将与材料科学家合作,创建一种复制品,反映不同形状纳米颗粒的组成,以观察它们如何穿过血流,以便团队可以在纳米医学领域对新疗法进行虚拟测试。

“我们需要设计像锁和钥匙机制一样的纳米颗粒,它们能在体内穿梭,只与病变细胞表面相互作用,”马斯说。“目前,我们使用核磁共振和PET扫描来可视化这些过程,但还需要其他成像方法——这就是AlloSphere发挥作用的地方。这里是医学领域下一代解决方案的温床。”

沉浸式创新

AlloSphere是目前在大学、政府机构和主要研究中心普遍使用的数十种沉浸式环境之一。以下是一些更具创新性的应用示例。

UIC的CAVE2

追踪大脑中抑郁症的足迹

广告

在伊利诺伊大学芝加哥分校的电子可视化实验室(EVL),一个精神病学团队正在利用核磁共振扫描图像绘制大脑复杂的神经网络连接图,试图识别与抑郁症相关的区域。他们身处CAVE2(洞穴自动虚拟环境),一个24英尺宽、8英尺高、320度全景的房间,配有72块3D液晶显示器,分辨率高达3700万像素,这大约是人类20/20视觉敏锐度的极限。

在这个大脑可视化中,神经纤维束按其主要方向(绿色:前后;红色:左右;蓝色:上下)进行颜色编码。科学家们正在这个彩虹般的阵列中搜寻白质中神经网络连接的故障线路,白质占据了大脑的一半。它就像一个神经交换站,拥有数百万条通信电缆,像连接大脑不同区域的电话主干线一样运行。之前的研究表明,白质中这些电缆的损伤与抑郁症有关。

广告

“我们希望这个3D环境能帮助我们发现平板屏幕上不易察觉的差异,”正在进行这项研究的UIC精神病学家奥卢索拉·阿吉洛雷说。“如果我们能更好地绘制负责这些区域的大脑图谱,这将使我们更精确地使用可能修复这些受损连接的技术,例如深部脑刺激。”

世界底部的地下湖泊

CAVE2能够从大脑的内部运作切换到南极洲的西博尼湖。彼得·多兰站在伊利诺伊大学芝加哥分校EVL的8×24英尺液晶显示屏墙前,戴着3D眼镜,周围环绕着被15英尺冰层覆盖的2.5英里长水池的图像。他的眼镜配有微小的跟踪球和传感器,可根据他的动作调整屏幕上的投影。他转头会改变场景,增强沉浸感。

多兰是一名地球和环境科学家,他曾是美国宇航局资助的一个团队的成员,该团队于2008年和2009年在南极洲的干谷进行了实地考察,探索地下湖泊。每天,ENDURANCE(环境无干扰冰下机器人南极探测器)都会通过冰层中的一个孔洞被放下,并利用其传感器对湖泊不同区域进行读数——温度、光照水平、太阳辐射和溶解有机有机物。这个耗资230万美元的研究项目可能是未来探索的预演,届时ENDURANCE的改进版本可能会被派去探索太阳系的极端环境,例如火星或木星的卫星。

多兰团队收集的信息被传送至EVL,生成3D图像和地图,帮助他们更好地了解湖泊的深水。 “这是一个不可思议的工具——你感觉自己正在湖中飞行,这是我能想象到的最接近身临其境的感觉,”多兰说。“如果我把所有这些数据都放在我的笔记本电脑上,我会错过很多,而且我必须逐一切片地分解它们,那将是艰苦的,需要数年才能完成。”

石溪大学的现实甲板

近距离接触迪拜市

广告
广告

被称为“打了类固醇的虚拟现实”,纽约石溪大学耗资200万美元的“现实甲板”(Reality Deck)是世界上分辨率最高的全景沉浸式环境。该设施于2012年首次亮相,总分辨率超过15亿像素(1500兆像素)。相比之下,高清电视有200万像素,3D电影有400万像素;而“现实甲板”的分辨率大约是其500倍。这个环绕式影院是一个627平方英尺的房间,从地板到天花板都铺满了416块高分辨率平板显示器,可以以一张图像的形式显示一张45千兆像素的迪拜城市照片。研究人员可以在城市上空翱翔,却能发现诸如汽车牌照号码等微小细节。无需平移或缩放——要近距离观看某物,只需走上前去,这得益于“无限画布”,这是一个360度智能屏幕,当你在甲板周围走动时,图像会随之变化。

“现实甲板”的627平方英尺空间从地板到天花板铺满了416块高分辨率显示器。其总分辨率超过15亿像素。| 石溪大学

细节水平令人瞩目:洪水地图可以精确地指出“超级风暴桑迪”期间被淹没的区域,甚至有人草坪上的碎片。2009年巴拉克·奥巴马总统就职典礼上五十万人的照片“细节如此丰富,你可以认出人群中的每一个人,”石溪大学无线与信息技术卓越中心首席科学家阿里·考夫曼说。

这项技术可用于旅游或阻止恐怖分子等多种应用,因为它具有在庞大人群中发现可疑人员的惊人能力。它在宇宙学和绘制银河系遥远区域、天气预报和气候变化建模,甚至用于国防的空中侦察任务中也很有用。

研究人员可以沉浸在绿色荧光蛋白和其他源自加州大学圣迭戈分校蛋白质数据库的结构的三维渲染图中。| Tom DeFanti/ 加州大学圣迭戈分校 CALIT2

加州大学圣迭戈分校的StarCAVE

沉浸在虚拟蛋白质中

在加州大学圣迭戈分校的StarCAVE内部,高中生物学生发现自己沉浸在绿色荧光蛋白和其他源自该大学蛋白质数据库的虚拟3D渲染图中。这个五边形虚拟现实房间拥有70个显示器和近2.87亿像素,是伊利诺伊大学EVL首次开发技术的第三代产品。(参见第55页。)StarCAVE在分子生物学、考古学和结构工程等领域的项目中发挥了不可或缺的作用。

神经科学家与建筑师合作,建造了虚拟医院,使他们能够设计出确保更好患者护理的工作空间,例如保持护士站到患者床边的视线。工程师正在设计血流模拟以改进心脏缺陷儿童的心脏泵。考古团队利用StarCAVE与约旦古代发掘现场正在进行的挖掘进行实时互动,并研究在蒙古实地考察期间收集的卫星图像和数据,以协助寻找成吉思汗的陵墓。

广告

德克萨斯大学TAAC可视化实验室

飓风预警

2008年,飓风艾克已经摧毁了古巴和巴哈马的部分地区,并正向美国大陆猛烈袭来。灾害管理团队只有不到72小时的时间来做出将影响数百万人的决定。在德克萨斯州加尔维斯顿登陆之前,艾克是一个强大的四级风暴,宽450英里,风速高达每小时145英里。它最终在从路易斯安那海岸线到德克萨斯州科珀斯克里斯蒂造成了数十亿美元的损失,关闭了炼油厂,并迫使一百多万人撤离。

广告

德克萨斯大学奥斯汀分校高级计算中心(TACC)的科学家们求助于Stallion,一个使用80个30英寸平板显示器覆盖一整面墙的3.28亿像素系统,并与国家海洋和大气管理局以及州应急管理团队密切合作。通过结合真实照片和卫星图像,他们设计了飓风何时何地登陆的实时全球和区域3D模拟模型。

“可以把它想象成一个流量问题,试图在几天内让数百万人脱离危险,”TACC可视化主管凯利·盖瑟说。“你必须有一种有效的方式通过你的管道疏散大片沿海地区,而且他们必须有地方可去。”

TACC的Stallion已用于多项研究项目,包括西南电网的可视化,图像直接从加利福尼亚州帕萨迪纳的源头传输;大规模溢油;流感在该地区的传播;以及宇宙大爆炸的诞生。“可视化技术使我们能够利用世界上最强大的模式识别引擎——人类思维,”盖瑟说。“‘看’是一种深入了解大型数据集的方式,否则我们将很难理解这些数据。”

[本文最初以“奇幻之旅”为题刊登在纸质版上。]

广告

保持好奇

加入我们的列表

订阅我们的每周科学更新

查看我们的 隐私政策

订阅杂志

订阅可享封面价高达六折优惠 《发现》杂志。

订阅
广告

1篇免费文章