美国政府的大数据分析
随着数字通讯量在过去10年中爆炸式地增长,追踪恐怖分子的美国分析师为了寻求处理大量电话记录、电子邮件和其他数据的新方法,求助于硅谷的计算机专家,这些专家曾建立了复杂的方程。
国家安全局和其他部门、技术公司建立了合作关系,加州帕洛阿尔托的帕兰提尔技术公司(Palantir Technologies)就是其中之一,它由一群来自Pay Pal的投资者创建,Pay Pal无疑也需要大数据分析来满足商业用途,但这些投资者已经不满足于此。
实际上,早在2001年10月,即911事件后不久,小布什就秘密启动了国家安全局的无授权监听项目,在无需获得法院授权的情况下监听美国公民的国际电话和电子邮件,与这个项目同时进行的是大规模的数据挖掘活动。
这些保密项目当时就在政府内部激起了巨大的争议。2004年3月,时任司法部长约翰·阿什克罗夫特(John Ashcroft)的病房里发生了一次较量。部分白宫官员不愿让无授权监听继续下去,而司法部和联邦调查局的几个官员则希望继续。司法部律师辩称,是数据挖掘引发了更多宪法方面的担忧。
当时,Facebook仅仅创立一个月,Twitter和苹果的iPhone和iPad都还不存在。
此后,全球范围内的数据继续膨胀,根据IBM公司的估计,由于智能手机 、平板电脑、社交媒体网站、电子邮件和其他形式的数字通讯的广泛使用,全球每天产生250亿亿字节的新数据。
而同时,分析这些数据能力的快速进步,美国政府也越走越远。
电子前沿基金会(Electronic Frontier Foundation)技术分析师丹·奥尔巴赫(Dan Auerbach)观察说,“越来越多的像谷歌(Google)和Facebook这样的服务,正在变成信息的大型中央贮藏库。它们所贮藏的大批数据,对执法机构和情报机构来说,是具有极大吸引力的目标。”
据行业分析人士称,长期以来,情报机构一直是对高级计算和数据挖掘软件需求最强烈的客户之一,近年来尤其是这样。一名曾担任技术高管的人士说,“他们跑来对你说,某地有一个美国人将要被炸死,唯一一个能阻止爆炸发生、让他活下去的人就是你。”
除了人,还要有机器。IBM的“沃森”是一个最好的例子,它展示了数据密集型的人工智能的强大力量。“沃森”是一台超级计算机,在2011年击败了《危险边缘》(Jeopardy,美国智力竞猜节目)的人类冠军。
分析人士说,“沃森”式的计算,正是处理海量数据所需的技术,它能即时分析互联网通讯数据,发现可疑的在线行为模式,因此能缩小恐怖分子的搜索范围。
一名曾给政府提供咨询的顾问说,过去两年里,美国国家安全局和中央情报局都在测试用“沃森”,因为他未获准公开谈论此事,所以要求匿名。