NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
案例研究:Thomson Reuters

Thomson Reuters我们的使命是满足各种各样领域中企业和专业人士的信息需求,因此信息技术对我们的业务有着至关重要的意义。我们今天所采用的 IT 模式,早在 10 多年前我们着手解决在线法律调查服务 Westlaw 所遇到的稳定发展难题时,就已开始酝酿。

那时网络泡沫还没有破裂,Westlaw 仍然是基于大型机的旧式平台,但一些优秀的软件工程师出于希望接触更新的技术选择离开公司。于是,公司委派我为 Westlaw 开发一个新的开放式基础架构,同时要求这一基础架构必须能兼而支持我们的其他信息业务。后来的事实证明,这是一个非常有远见的决策,它最终促成了利用标准组件的共享基础架构的成形。

就是这个"简单"指示,引领我们在接下来的几年里走上IT 稳步发展之路,最终构建了开放式基础架构,并且也在最近成功推出了全新的新一代法律调查服务 WestlawNext。使用开放式基础架构,我们既增加了对 WestlawNext 的支持,又节省了约 6500 万美元的数据中心新建成本、降低了 25% 的电耗,还实现了 24/7/365 的可用性。相较于上一代产品,WestlawNext 可以搜索的数据量提高了 50 倍(50 亿个文档),而且返回结果的速度也快了一倍。

在本文中,我将重点介绍这一基础架构的一些重要组成部分,包括组件、核心搜索架构和虚拟化前端。在开发这一基础架构的过程中,NetApp 和 NetApp 专业服务为我们提供了很多重要帮助,我也会适时介绍 NetApp 给我们提供的帮助。

适用于数据搜索的共享 IT 基础架构

WestlawNext 以及 Thomson Reuters 的所有其他产品能够取得成功,关键在于它们能够快速且绝对准确地对海量数据执行搜索。如果两个人在同一时间执行相同的搜索,他们所获得的结果应当完全相同。

WestlawNext 在搜索方面进行了一些增强,因此用户在搜索时只需使用普通的搜索词即可(无需再像之前那样必须了解怎样"构建"规范的查询语句)。这样一来,两三年前只能传回一条搜索结果的查询语句,现在可以在后端生成40 条甚至更多搜索结果。而我们的基础架构仍然能够扩展以满足这一负载要求,这是非常令人吃惊的。最终的结果远远超出了我们最初预定的目标。典型搜索只需用时 2.5 秒就能将数据传回到客户端。

我们的基础架构包括以下重要组成部分:

  • 标准组件
  • 类云搜索架构
  • 虚拟化网络前端
  • 以灾难恢复为目的的数据复制

标准组件
我们的基础架构由非常标准的组件构成。我们的数据中心拥有 25,000 到 30,000 台 x86 服务器,大多数采用双 CPU 或四 CPU 配置,由 NetApp® 存储设备提供支持。我们的网络基础架构几乎完全是采用 Cisco 6500 和 Cisco Nexus 5000 及 7000 系列交换机构建的万兆以太网。我们的前端和后端配置全都采用这些组件。

Thomson Reuters 主要指标
25,0000 多台服务器
具备闪存的 NetApp 存储
数以百计的 Oracle RAC 集群
基于 Linux 构建的 Novus 搜索基础架构,可为 30 多个应用程序提供服务
对前端进行虚拟化的 VMware
新数据中心节省了 6500 万美元的成本
电耗减少了 25%
搜索的数据量是以往的 50 倍之多(50 亿文档),时间却缩短一半

 

图 1) WestlawNext 和 Thomson Reuters IT 转型带来的显著成果

Novus:适用于数据搜索的类云基础架构
Novus 架构 (已于 2006 年获得专利) 是我们所有搜索操作的核心。Novus 架构提供一个单一平台,为 Thomson 四个市场部门的在线服务(包括 WestlawNext 和税务与会计调查系统 Checkpoint®)提供支持。目前有 30 多个应用程序使用 Novus 架构。

Novus 系统是一个分布式搜索架构,它使用数以千计的 SUSE Linux® 服务器,每一台服务器上均运行我们的专有软件。每台搜索服务器负责处理整体内容索引的一部分,由于所分配部分的处理量与服务器内存匹配,因此访问速度极快。执行搜索时,系统会同时访问数以千计的服务器。之后,系统会将搜索结果传回控制器,由控制器进行分类、汇总、排列,并将最终信息返回至请求应用程序。通过这套流程,我们可以获得次秒级搜索性能。

应用程序在收到搜索结果后,可以根据情况决定是否提取通过搜索找到的文档。没有请求提取文档之前,系统不会对内容存储库执行任何实际操作。内容本身存储在数百个 Oracle® RAC 数据库集群(每个集群通常包含四个节点)之中,每个集群中都包含全部内容的一部分。

我知道,"云"这个词对不同的人有不同的含义,在 Novus 基础架构设计之初"云"这个词还没有普及,但是它采用的设计理念却是提供通常只有云基础架构才能实现的灵活性。Novus 环境中的任何服务器都可以实时重新分配,以执行其他功能。当初构建这一架构时,我们就希望确保在出现高峰情况时,我们可以在极短的时间内重新分配资源,这样的话,五分钟之前用作数据库服务器的资源现在就可以用作搜索服务器。

对 Novus 进行代码部署时,代码的全部内容会部署到各台服务器以执行各个功能。因此,我们需要做的只是更改简单的设置,并发出这样的指令:"A 服务器现在由搜索服务器变为负载服务器"。

如果 WestlawNext 难以完成搜索,我们可以为其分配更多专用资源,或者为需要更多资源的 Checkpoint 或任何其他应用程序分配资源。服务器无需重启,它们只需将相应的索引从 NetApp 存储设备加载到内存中,就能立即开展新角色所需的工作。多组服务器可以分配给同一组索引,以并行执行更多任务,从而使 Novus 可以进一步扩展。

通过这一动态功能,我们不仅能在环境中实现冗余,还能确保搜索结果的准确性。我们始终备有冗余的空闲服务器。如果发送请求后数毫秒内没有收到服务器返回的结果,我们将快速对该服务器执行几项测试。如果服务器无响应、响应速度慢或存在其他问题,系统将会自动指定另一台服务器来担当该角色。新服务器会在内存中加载相应的索引并对请求进行回应。

最终结果是,可能服务器出现了故障,但是用户仍然能够获得准确且毫无遗漏的搜索结果,只不过有几秒钟延迟而已。用户不需要重新发送请求,而且系统将自动恢复搜索,无需管理员介入。对于 Novus 内容本身来说,使用 Oracle RAC 为其带来了冗余。当一台 RAC 服务器出现故障时,集群中的另一个节点将代替执行其功能。当一个 RAC 集群负载过重时,我们可以动态添加更多节点,以满足负载需求。

虚拟化前端
对于前端的一切(Novus 之外的一切),我们采用由网络服务器和各种应用程序服务器组成的更为典型的环境。除了访问 Novus 进行搜索之外,应用层还可以访问本次讨论中没有重点介绍的很多其他内容,例如安全数据库、用户信息、计费数据库、MIS 数据,以及一般应用程序所需的所有内容。

前端环境的大部分组件都采用 VMware® 实现了虚拟化。大多数网络服务器和应用程序服务器运行于虚拟机之上。就像在 Novus 中一样,我们也可以使用 VMware 在前端进行动态资源分配。我们可以根据需要,微调分配给每个应用程序的网络服务器和应用程序服务器的数量。

VMware 还可以帮助我们实现无中断操作。VMware HA 可以保护我们不受虚拟机故障的影响,vMotion™ 则帮助我们在不发生停机、不丢失当前工作的前提下进行维护和其他操作,所有这些都是之前无法实现的。在实现虚拟化之前,我们也跟大家一样,如果一台支持 100 名用户的服务器需要维护,我们必须暂停这些用户并让他们下线,维护好后再让他们重新登录。通过编程方式创造"奇迹"也是一个办法,但它基本上不可能实现。

借助 VMware,我们可以在不中断工作的情况下根据需要进行维护。究其原因,在于我们可以换为在一组后备服务器上运行 VM,然后可以在原来的服务器上进行任何需要的维护。

灾难恢复
我刚才已经介绍了我们怎样在数据中心内实现冗余,现在我来介绍一下如何通过灾难恢复 (DR) 进一步简化工作。正常情况下,我们始终保持同时运行两个基础架构非常相似且数据完全相同的数据中心。如果运行的一个数据中心因灾难而停止运行,另一个运行的数据中心可以进行扩展,以满足额外搜索负载的需求。

我们通过复制保持数据中心同步。我们自行开发了一些复制机制来支持 Novus 索引复制工作,并确保索引可以完全同步。我们的 Oracle RAC 数据库中的内容存储库通过 Oracle DataGuard 进行复制。

NetApp 改变格局

NetApp 存储设备支持 Novus 架构(索引和 Oracle RAC 内容存储库)和前端 VMware 环境。提取到 Linux 服务器的所有索引以及 Oracle RAC 中存储的所有内容,都使用通过 NFS 访问的 NetApp NAS 存储设备进行保存。如果无法保证数以千计的服务器可以同时访问我们的存储系统,无法实时动态地调整服务器可以访问的存储设备,可以说 Novus 根本就不能工作。2002 年我们第一次使用 NetApp 存储设备时,它就给我们带来了实实在在的改观。直到今天,NetApp 存储设备仍然是我们解决方案的重要组成部分。

为了对 WestlawNext 的扩展和性能要求提供支持,我们最近对基础架构进行了一些增强。我们为关键 NetApp 系统添加了闪存。具体来说,我们首先在满足单一 Oracle RAC 集群存储需求的 NetApp 系统中使用闪存。这些集群通常具有低容量、高性能的要求,利用闪存不仅可以保证较高性能,而且在满足性能要求的同时又无需增加磁盘轴,也不会浪费容量。我们还开始在共享存储系统中使用闪存,以向 Linux 客户端提供索引和其他数据。根据前期测试结果,我们相信这同样会产生巨大影响。

正如您料想的那样,我们总是不断添加新内容,这也就意味着我们需要重新编制索引以及推广新内容和相关索引,同时又要让这一切保持同步。如果出现问题,我们必须能够尽快恢复到之前的状态。NetApp SnapRestore® 技术无疑是实现这一目标的最佳解决方案。

加载内容之前,我们会先创建一个 Snapshot™ 副本。如果将来出于某种原因需要进行恢复,我们只需执行 SnapRestore 操作,即可将存储设备恢复到加载内容之前的状态。恢复将在一个数据中心内先执行,完成后再转入另一个数据中心。(有些情况下,需要为数据库回放日志。)

我们通过在 VMware 环境中利用 NetApp 重复数据删除来消除大量几乎完全相同的 VM 带来的重复数据。单单我们一个部门就在 NetApp 存储设备上运行着超过 9,000 台 VMware VM,借助重复数据删除,我们的主存储节省了超过 160 TB 的空间。

我们使用全套 NetApp OnCommand™ 管理产品对我们的环境进行管理,这些产品包括 Operations Manager、Provisioning Manager、Performance Manager 和 OnCommand Insight。这样一来,我们只需在整个 NetApp 存储环境中使用这一套工具,因此能够简化管理、加快配置速度以及识别性能问题。OnCommand Insight(原 NetApp SANscreen®)可以在容量、连接、配置和性能方面向我们提供整个异构存储环境的整合视图。它还可以在组件发生故障时发出警报,方便我们及时解决问题,以免在冗余组件上发生二次故障。

事半功倍

我之前提到了使用上文中介绍的基础架构构建 WestlawNext 和其他服务后,我们所获得的显著的效率和可扩展性优势,但这个共享基础架构的益处远不止这些。通过在后端共享基础架构,我们可以根据各种应用程序的需求来分配资源并保持资源闲置率最低,从而高效满足这些应用程序的峰值需求。通过前端虚拟化,我们可以减少服务器数量以及精简相关基础架构。如果没有我们所做的这一切努力,那么到现在为止,我们可能又新建了一个数据中心。包括 Snapshot 副本、SnapRestore、闪存以及全套管理功能在内的 NetApp 存储技术帮助我们提高了存储利用率并消除了瓶颈。

Thomson Reuters 与 NetApp 保持着全面的合作关系。在 Thomson Reuters 看来,这种合作关系与 NetApp 技术一样,都对我们的成功起到了巨大的推动作用。在与我们合作的众多供应商之中,只有两家被我们视作战略技术合作伙伴,NetApp 便是其中之一。与 NetApp 合作,一切问题都能得到迅速解决,而且 NetApp 随时准备着为我们重要的技术方案(例如 WestlawNext)提供支持。NetApp 与我们密切合作,帮助我们优化性能,以及迅速利用新的存储功能。

 对 Thomson Reuters 案例研究有任何见解?

请在 NetApp 社区中在线提出问题、交流观点、分享看法。

作者: Mark Bluhm, Thomson Reuters 专业部, 共享服务高级副总裁兼 CTO

Mark Bluhm 现任 Thomson Reuters 专业部共享服务高级副总裁兼首席技术官,监管数据中心战略与运营。

Mark 于 1991 年加入当时的 West,任软件工程师,迄今已在公司效劳 19 余年。 自那时起,Mark 担任了多个技术领导职位,曾任 Thomson Legal & Regulatory 首席架构师。 事实上,他是 Novus 技术的主要发明者之一,也是此 TRGR 自有企业解决方案的主要专利持有人。 Thomson 于 2008 年收购 Reuters 之后,Mark 参与了这两家公司基础架构的合并工作。 后来,他还担任了 Thomson Reuters 法律信息集团客户开发技术部首席技术官。

Mark 拥有南达科他大学的数学与计算机科学学士学位和硕士学位,并获得了华盛顿大学的计算机科学博士学位。


Tech OnTap
立即订阅
Tech OnTap 每月发布一次,为用户提供 IT 见解,以及对实际应用的最佳实践、技巧和工具、幕后技术访谈、演示、同行评论等的独家访问。

请访问 www.netapp.com/cn/communities/tech-ontap立即订阅。

Explore
Explore
关于 Thomson Reuters

Thomson Reuters 是面向企业以及专业人士提供业务智能信息的全球领先提供商。该公司将行业专业知识与创新技术相结合,在全世界最可靠的新闻机构的支持下,向金融、法律、税务与会计、科技、医疗保健和媒体市场的领先决策者提供关键信息。Thomson Reuters 总部位于纽约,在英国伦敦和美国明尼苏达州伊岗均设有主要分支机构。

Explore
TRUSTe
联系我们   |   如何购买   |   反馈   |   招聘  |   预订   |   隐私策略   |   © 2011 NetApp