NetApp Tech OnTap NetApp Logo
NetApp Tech OnTap
     
사례 연구: Thomson Reuters

Thomson Reuters에서 우리 임무는 광범위한 분야에서 비즈니스 및 전문가의 정보 요구를 충족시키는 것이므로, 모든 업무에서 정보 기술(IT)이 매우 중요합니다. 현재의 IT 접근 방식에 대한 기반이 마련된 것은 온라인 법률 검색 서비스인 Westlaw에 안정성 문제가 나타나기 시작한 10여 년 전이라고 할 수 있습니다.

닷컴 붐이 일기 전인 당시에 Westlaw는 아직도 메인프레임 기반의 레거시 플랫폼이었으며, 능력 있는 소프트웨어 엔지니어들은 더 새로운 기술을 찾아 회사를 떠나고 있었습니다. 저는 Westlaw를 위한 새로운 개방형 인프라 구축 업무를 담당했는데, 동일한 인프라로 기타 정보 비즈니스도 지원할 수 있는 방식으로 이를 수행해야 했습니다. 막상 진행해보니, 표준 구성 요소를 사용하여 공유 인프라를 구축해야 하는 상당히 장기적인 업무였습니다.

이 단순한 지침에 따라 우리는 수년간 꾸준한 IT 성장을 이루었고, 최근에는 완전히 새로운 차세대 법률 조사 서비스인 WestlawNext를 출시하기에 이르렀습니다. 우리는 인프라에서 신규 데이터 센터 비용을 약 6천 5백만 달러 절감하고 전력 사용을 25% 줄이고 연중무휴 가용성을 제공하면서, WestlawNext에 대한 지원을 확대할 수 있었습니다. 이전 세대와 비교할 때, WestlawNext는 50배 많은 데이터(문서 5십억 건)를 검색하고 2배 빠른 속도로 결과를 반환할 수 있습니다.

이 글에서는 구성 요소, 핵심 검색 아키텍처, 가상화된 프런트 엔드를 비롯한 인프라의 몇 가지 중요한 요소를 중점적으로 다루고자 합니다. NetApp 및 NetApp 프로페셔널 서비스는 매우 소중한 파트너였기 때문에, 여기에서 언급하고자 합니다.

검색을 위한 Shared IT 인프라

WestlawNext 및 모든 Thomson Reuters 제품의 성공을 위한 핵심 요소는 대량의 데이터에 대해 매우 신속하면서 정확하게 검색을 수행할 수 있어야 한다는 것입니다. 만약 두 사람이 동시에 동일한 검색을 수행한다면, 완전히 동일한 검색 결과를 얻어야 합니다.

WestlawNext 검색 방식이 개선되어, 사용자는 원하는 내용을 평이한 영어로 쉽게 질문할 수 있습니다. 이제 더 이상 형식적인 질의어 "구성" 방법을 알 필요가 없습니다. 따라서 2-3년 전만 해도 하나의 검색 결과를 생성하던 질문이 지금은 백 엔드에서 40개 이상의 검색 결과를 제공하며, 우리 인프라는 이 부하를 감당할 수 있을 만큼 아직도 확장 가능합니다. 정말 대단한 일이죠. 이는 처음 설정했던 목표를 훨씬 앞지른 결과입니다. 일반 검색에서 고객에게 데이터를 제공하는 데 정확히 2.5초가 걸립니다.

우리 인프라의 핵심 요소는 다음과 같습니다.

  • 표준 구성 요소
  • 클라우드와 유사한 검색 아키텍처
  • 가상화된 웹 프런트 엔드
  • 재해 복구를 위한 복제

표준 구성 요소
우리 인프라는 상당히 표준화된 구성 요소로 이루어져 있습니다. 데이터 센터에 25,000-30,000대의 x86 서버를 보유하고 있고, 대부분 2-CPU 또는 4-CPU 구성이며, NetApp® 스토리지가 이를 지원합니다. 네트워크 인프라는 거의 전체적으로 Cisco 6500과 Cisco Nexus 5000 및 7000 제품군 스위치를 사용하는 10기가비트 이더넷입니다. 프런트 엔드 및 백 엔드 구성에서 이러한 구성 요소를 사용합니다.

Thomson Reuters 주요 지표
서버 2만 5천대 이상
Flash Cache를 사용한 NetApp 스토리지
수백 개의 Oracle RAC 클러스터
30개 이상의 애플리케이션에 서비스를 제공하는 Linux 기반의 Novus 검색 인프라
프런트 엔드 가상화를 위한 VMware
신규 데이터 센터 비용에서 6,500만 달러 절감
전력 소비 25% 감축
50배 많은 데이터(50억 개의 문서)를 절반의 시간으로 검색

 

그림 1) WestlawNext의 탁월한 성과 및 Thomson Reuters의 IT 전환

Novus: 클라우드와 유사한 검색 인프라
2006년에 특허를 받은 Novus 아키텍처는 모든 검색 작업의 핵심을 이룹니다. Novus 아키텍처는 WestlawNext와 회사 세무 및 회계 분석 시스템인 Checkpoint®를 포함하여, 4개 Thomson 마켓 그룹의 온라인 서비스를 지원하기 위한 단일 플랫폼을 제공합니다. 전부 합쳐서 30개 이상의 애플리케이션이 Novus 아키텍처를 사용합니다.

Novus 시스템은 개별 독점 소프트웨어를 실행하는 수천 대의 SUSE Linux® 서버를 사용하는 분산형 검색 아키텍처입니다. 각 검색 서버는 전체적인 콘텐츠 인덱스의 일부를 담당하며, 매우 빠르게 액세스할 수 있도록 인덱스가 서버 메모리에 내장되어 있습니다. 검색이 실행되면 수천 대의 컴퓨터가 동시에 움직입니다. 검색 결과가 컨트롤러로 돌아오면, 컨트롤러가 결과를 분류하고 취합하고 순위를 매겨 요청한 애플리케이션에 해당 정보를 반환합니다. 이런 방식으로 1초 미만에 결과를 얻을 수 있습니다.

이어서 애플리케이션이 검색 과정에서 확인한 문서를 가져올지 여부를 결정합니다. 문서를 요청하기 전에는 콘텐츠 저장소가 실제로 문서에 연결되지 않습니다. 콘텐츠 자체는 수백 개의 Oracle® RAC 데이터베이스 클러스터를 사용해 저장되며, 클러스터 하나는 대개 4개의 노드로 구성됩니다. 각 클러스터는 전체 콘텐츠의 서브셋을 구성합니다.

"클라우드"라는 용어가 사람마다 다른 의미로 사용된다고 알고 있는데, Novus는 클라우드 인프라에 의해 얻을 수 있는 유연성을 제공하도록 설계되어 있습니다. 그러나 그 인프라는 클라우드라는 용어가 널리 사용되기 이전에 설계되었습니다. Novus 환경의 서버는 다른 기능을 담당하도록 실시간으로 재할당될 수 있습니다. 설계 당시부터 피크 상황이 발생할 경우 아주 신속하게 리소스를 재할당할 수 있도록 구현하여 5분 전에 데이터베이스 서버였던 장비가 지금은 검색 서버 역할을 할 수 있습니다.

Novus에 대한 코드를 구현할 때, 모든 코드가 각 서버에 구현되어 모든 기능이 작동하도록 지원합니다. 따라서 단순한 설정 변경을 통해, 서버 A는 이제 검색 서버가 아니고 로드 서버라고 지정하기만 하면 됩니다.

WestlawNext가 과열되면 더 많은 리소스를 집중적으로 WestlawNext에, Checkpoint에, 또는 리소스가 필요한 기타 애플리케이션에 할당할 수 있습니다. 서버를 재부팅할 필요는 없습니다. 서버가 적절한 인덱스를 NetApp 스토리지에서 메모리로 로딩하여, 새로운 역할을 수행할 준비를 갖춥니다. 여러 서버 집합을 동일한 인덱스 집합에 할당하면 Novus를 계속해서 확장하여 병렬 처리를 높일 수 있습니다.

이러한 동적인 기능을 통해 환경에 이중화를 구축하여 결과의 정확성을 보장할 수 있습니다. 사용 가능한 추가적인 유휴 서버를 항상 확보하고 있는 셈입니다. 만약 요청을 보낸 후 수 밀리초 안에 서버로부터 결과를 받지 못하면, 해당 서버에 대해 몇 가지 신속한 테스트를 실시합니다. 해당 서버가 응답하지 않거나 느리거나 다른 문제가 있는 경우, 또 다른 서버가 자동으로 할당되어 그 역할을 담당합니다. 이어서 적절한 인덱스를 메모리로 로딩하여 요청을 처리하게 됩니다.

결과적으로 서버에 장애가 발생할 수는 있지만, 사용자는 아무 누락 없이 정확한 결과를 얻을 수 있으며 지연 시간은 몇 초에 불과합니다. 사용자는 다시 요청할 필요가 없으며, 관리자 개입 없이 복구가 자동으로 이루어집니다. Novus 콘텐츠 자체에 Oracle RAC를 사용하여 이중화 기능을 제공하는 것입니다. RAC 서버에 장애가 발생하면 클러스터 내 다른 노드가 그 기능을 수행합니다. RAC 클러스터가 과열되면 로드를 수용하기 위해 즉각적으로 더 많은 노드를 추가할 수 있습니다.

가상화된 프런트 엔드
프런트 엔드의 모든 것(Novus 외부의 모든 것)에 대해서는, 웹 서버와 다양한 애플리케이션 서버로 구성된 훨씬 일반적인 환경을 사용합니다. 애플리케이션 계층은 검색 목적으로 Novus에 액세스하는 경우 외에도 보안 데이터베이스, 사용자 정보, 결제 데이터베이스, MIS 데이터, 기타 일반적인 애플리케이션에 필요한 모든 작업 등 현재 주제와는 거리가 있는 다양한 대상에 액세스합니다.

프런트 엔드 환경의 상당 부분이 VMware®로 가상화되었습니다. 대부분의 웹 서버와 애플리케이션 서버는 가상 시스템에서 실행됩니다. VMware를 통해 Novus 내에서 하는 것과 같은 종류의 동적 리소스 할당을 프런트 엔드에서 할 수 있습니다. 각 애플리케이션에 필요한 만큼 웹 서버와 애플리케이션 서버의 수를 미세하게 조정할 수 있습니다.

또한 VMware를 통해 중단 없는 운영을 할 수 있습니다. VMware HA를 통해 가상 시스템 장애에 대비할 수 있으며, vMotion™을 통해 다운타임 없이 진행 중인 작업에 영향을 주지 않고 유지보수 및 기타 작업을 수행할 수 있습니다. 전에는 불가능한 일이었습니다. 가상화 이전에는, 다른 업체도 마찬가지였겠지만, 만약 유지보수해야 할 서버 하나에 100명의 사용자가 있다면, 모두 정지시키고 오프라인으로 전환한 다음 다시 로그인하도록 해야 했을 것입니다. 프로그래밍 방식으로 기적을 기대하는 것은 거의 불가능했습니다.

VMware 덕분에, 보조 서버 집합에서 VM을 구동하도록 옮겨놓고 원래의 서버에서 모든 필요한 유지보수 작업을 수행할 수 있으므로 업무 시간 중에도 얼마든지 유지보수가 가능합니다.

재해 복구
데이터 센터 내에서 이중화를 제공하는 방법에 대해서는 이미 설명했지만, 편의상 재해 복구(DR)에 대한 얘기는 미뤄두었습니다. 정상 가동 중에는, 아주 유사한 인프라와 동일한 데이터를 가진 두 대의 데이터 센터를 항상 실행합니다. 만약 재해가 발생하여 실행 중인 하나의 데이터 센터가 다운되면, 실행 중인 다른 데이터 센터의 가동 규모를 확장하여 추가적인 검색 부하를 수용할 수 있습니다.

데이터 센터의 동기화를 유지하기 위해 복제를 활용합니다. 우리는 Novus 인덱스 복제를 지원하고 완벽하게 동기화하기 위해 자체 개발한 복제 메커니즘을 보유하고 있습니다. Oracle RAC 데이터베이스에 있는 콘텐츠 저장소는 Oracle DataGuard를 사용해서 복제됩니다.

업계 판도를 바꾸는 NetApp

NetApp 스토리지는 Novus 아키텍처(인덱스 및 Oracle RAC 콘텐츠 저장소)와 프런트 엔드 VMware 환경을 지원합니다. Linux 서버로 유입되는 모든 인덱스와 Oracle RAC에 저장되는 모든 콘텐츠는 NFS를 통해 액세스하는 NetApp NAS 스토리지에 보관됩니다. 사용 중인 스토리지에 액세스하는 서버를 다이내믹하게 변경하는 기능을 통해 수천 대의 서버가 동시에 스토리지 시스템에 액세스하도록 지원할 수 없다면, Novus는 제대로 작동하지 않을 것입니다. 2002년 시스템을 최초로 구현했을 때도 NetApp 스토리지는 변화의 주역이었고, 현재의 솔루션에서도 중요한 부분을 차지하고 있습니다.

우리는 WestlawNext에 대한 확장 및 성능 요구를 지원하기 위해 최근에 인프라를 개선했습니다. 핵심 NetApp 시스템에 Flash Cache를 추가했습니다. 구체적으로 말하면, 단일 Oracle RAC 클러스터용 스토리지를 제공하는 NetApp 시스템에서 Flash Cache를 사용하기 시작했습니다. 이러한 클러스터는 종종 저용량, 고성능 요구사항을 가지고 있으므로, Flash Cache를 사용하면 스핀들을 추가하거나 필요한 성능을 얻기 위해 용량을 낭비할 필요 없이 높은 수준의 성능을 유지할 수 있습니다. 인덱스와 Linux 클라이언트로 가는 기타 데이터를 제공하는 공유 스토리지 시스템에도 Flash Cache를 사용하기 시작했는데, 예비 테스트를 통해 여기서도 비슷하게 큰 효과를 거두게 될 거라고 기대하고 있습니다.

짐작하시는 대로, 우리는 항상 새로운 콘텐츠를 추가하고 있습니다. 모든 것을 동기화 상태로 유지하는 한편 새로운 콘텐츠 및 관련 인덱스 모두를 다시 인덱스화하고 푸시하는 것입니다. 어떤 문제가 발생하여 이전 상태로 롤백해야 한다면, 최대한 빨리 이루어져야 합니다. NetApp SnapRestore® 기술은 단연코 이러한 작업을 위한 최고의 솔루션입니다.

콘텐츠를 로드하기 전에, 우리는 Snapshot™ 복사본을 만듭니다. 나중에 어떤 이유로 인해 롤백해야 하는 경우, SnapRestore 작업을 실행하여 로드가 시작되기 이전 상태로 스토리지를 복구(데이터 센터별로 순차적으로)할 수 있습니다. 데이터베이스에 따라 로그를 재생해야 하는 경우도 있습니다.

VMware 환경에서 NetApp 중복제거 기능을 사용하면, 대량의 거의 동일한 VM을 가지고 있는 중복 부분을 제거할 수 있습니다. 한 사업부에서만 NetApp 스토리지에서 9,000개 이상의 VMware VM이 실행되고 있으며, 중복제거 기능을 사용해 기본 스토리지에서 160TB 이상의 공간 절약을 실현했습니다.

우리는 환경을 관리하기 위해 Operations Manager, Provisioning Manager, Performance Manager 및 OnCommand Insight 등 완전히 상호 보완하는 NetApp OnCommand™ 관리 제품군을 사용합니다. 이러한 제품군은 관리를 단순화하고 프로비저닝을 가속화하며 성능 문제를 식별할 수 있도록 모든 NetApp 스토리지를 통합하는 단일 툴셋을 제공합니다. OnCommand Insight(이전의 NetApp SANscreen®임)를 통해, 전체적인 이기종 스토리지 환경을 용량, 연결, 구성 및 성능의 관점에서 통합적으로 조망할 수 있습니다. 또한 구성 요소 장애에 대한 알림이 제공되므로, 중복 구성 요소에서 2차 장애가 발생하기 전에 문제를 해결할 수 있습니다.

더 적은 리소스로 더 많은 업무 수행

앞서 설명한 인프라를 사용하여 WestlawNext 및 기타 서비스를 구현함으로써 우리가 달성한 주요 효율성 및 확장성 혜택에 대해 언급했습니다. 백 엔드에서 인프라를 공유하여, 유휴 리소스를 최소로 유지하는 한편 필요한 곳에 리소스를 할당함으로써 다양한 애플리케이션에 대한 최고 수준의 수요를 효율적으로 충족할 수 있습니다. 프런트 엔드에서의 가상화를 통해 서버 개수와 기타 관련 인프라를 줄일 수 있었습니다. 이러한 전반적 노력 덕분에 지금까지 데이터 센터를 증설할 필요가 없었습니다. Snapshot 복사본, SnapRestore, Flash Cache 그리고 총체적인 관리 기능 등 NetApp 스토리지 기술은 스토리지 사용을 최적화하고 병목 현상을 제거하는 데 도움이 됩니다.

Thomson Reuters의 입장에서는 NetApp과의 전반적인 관계가 NetApp 기술만큼이나 성공을 위해 중요합니다. 함께 일하는 벤더 중에서, NetApp은 우리의 전략적 기술 파트너라고 생각하는 단 2개 기업 중 하나입니다. 어떤 문제도 즉시 해결되며, NetApp은 WestlawNext 같은 핵심 기술 이니셔티브에서 항상 우리를 지원할 준비가 되어 있습니다. NetApp은 성능을 최적화하고 새로운 스토리지 기능을 신속하게 활용하도록 돕기 위해 우리와 긴밀하게 협력하고 있습니다.

 Thomson Reuters 사례 연구에 대해 의견이 있으십니까?

NetApp 온라인 커뮤니티에서 질문을 하고 아이디어를 교환하며 생각을 공유하십시오.

작성자: Mark Bluhm, 선임 부사장 겸 CTO, 공유 서비스, Thomson Reuters Professional Division

Mark Bluhm은 Thomson Reuters의 Shared Services 부문 수석 부사장 겸 최고 기술 책임자이며, Professional Division의 데이터 센터 운영 및 전략을 관장하고 있습니다.

Mark는 1991년 소프트웨어 엔지니어로 입사하여 19년 동안 Thomson Reuters에서 근무하고 있습니다. Mark는 Thomson Legal & Regulatory의 최고 설계자 직책을 비롯하여 기술적 리더십이 필요한 여러 역할을 수행해 왔습니다. 사실 그는 Novus 기술의 핵심 개발자 중 하나이며 TRGR가 소유한 이 기업 솔루션의 주요 특허권 보유자입니다. 2008년에 Thomson이 Reuters를 인수하면서 Mark는 두 회사의 인프라 통합 작업에 참여했습니다. 가장 최근에는 법무팀 고객 개발 기술의 최고 기술 책임자를 역임했습니다.

Mark는 South Dakota 대학에서 수학과 컴퓨터 과학 학사 및 석사 학위를 취득했으며 Washington 대학에서 컴퓨터 과학 박사 학위를 취득했습니다.


Tech OnTap
지금 구독
Tech OnTap은 매월 IT 관련 소식과 함께 실제 성공 사례, 유용한 정보 및 툴, 엔지니어링 인터뷰 기사, 데모, 동종 업계 평가 및 기타 다양한 정보를 독점적으로 제공합니다.

지금 구독하려면 www.netapp.com/kr/communities/tech-ontap/을 방문하십시오.

Explore
Explore
Thomson Reuters 정보

Thomson Reuters는 비즈니스 및 전문가를 위해 지능형 정보를 제공하는 세계 최고의 회사입니다. 혁신적인 기술과 업계의 전문 지식을 결합하여 세계적으로 가장 신뢰할 수 있는 뉴스 기업에서 제공하는 중요한 정보를 금융, 법률, 세무/회계, 과학, 의료 및 미디어 시장의 주요 의사결정자에게 제공합니다. Thomson Reuters는 뉴욕에 본사를 두고 런던과 미네소타주 이건(Eagan)에 주요 지사를 운영하며, 100개가 넘는 국가에서 약 55,000명의 직원을 보유하고 있으며, 2010년도에 131억 달러의 매출을 기록했습니다.

Explore
TRUSTe
연락처   |   구매 방법   |   피드백   |   채용  |   구독   |   개인 정보 보호 정책   |   © 2011 NetApp