빅데이터는 기존 도구로는 처리하기 어려운 규모, 속도, 다양성을 가진 대규모 데이터 세트를 뜻합니다. 빅데이터 분석은 이러한 데이터를 검사하여 숨겨진 패턴, 상관 관계, 시장 동향, 고객 선호도를 발견하고, 조직이 더 정확한 비즈니스 의사 결정을 내리도록 돕는 프로세스입니다.
디지털 전환은 이미 조직을 재편하고 있으며, 글로벌 비즈니스 수익의 대부분이 디지털 제품과 서비스를 중심으로 이루어집니다. 이러한 변화는 디지털 혁신의 흐름과 맞닿아 있습니다.
정형이든 비정형이든, 사람이 만들었든 기계가 만들었든, 데이터 센터에 저장되든 클라우드에 저장되든, 데이터는 경쟁 우위의 새로운 기반입니다. 데이터 관리와 데이터 스토리지는 조직의 데이터 전략에 필수적인 요소입니다.
빅데이터는 데이터를 여러 서버에 분산하여 병렬로 처리하는 방식으로 작동합니다. 단일 시스템이 감당할 수 없는 데이터를 클러스터 전체에 나누어 저장하고 분석합니다.
많은 조직은 NoSQL 데이터베이스와 함께 Hadoop 및 관련 툴을 사용합니다. Hadoop은 원시 데이터를 저장하고, MapReduce와 Apache Spark 같은 처리 엔진이 데이터를 병렬로 분석합니다.
점점 더 많은 사용자가 Hadoop 데이터 레이크를 채택하고 있습니다. 데이터 레이크는 들어오는 원시 데이터 스트림의 기본 저장소 역할을 하며, 데이터는 Hadoop 클러스터에서 직접 분석하거나 Spark 같은 엔진을 통해 처리됩니다.
빅데이터 생태계(에코시스템)는 여러 공급업체와 오픈 소스 구성요소로 이루어져 있습니다.
| 부문 | 주요 공급업체 |
|---|---|
| 빅데이터 분석용 Hadoop/Apache 소프트웨어 배포판 | Cloudera, HortonWorks, MapR |
| 애플리케이션 관리, 보안, 규정 준수 | Splunk |
| Spark | DataBricks |
| NoSQL 데이터베이스 | Aerospike, Cassandra, Couchbase Server, HBase, MarkLogic, MongoDB, Redis Labs |
| 클라우드 분석 | Amazon EMR, Azure HDInsights, Google Cloud Platform |
| 오픈 소스 구성요소 | Druid, Elasticsearch, Apache Flink, Apache Hive, Apache Kafka, Apache Mesos, Apache Spark, Apache Solr, Apache Hadoop YARN, Apache ZooKeeper |
데이터 웨어하우스는 정형 데이터에 최적화된 관계형 저장소입니다. 빅데이터는 정형, 반정형, 비정형 데이터를 대규모로 다루며 분산 기술에 의존합니다. 두 접근 방식의 주요 차이는 다음과 같습니다.
| 구분 | 데이터 웨어하우스 | 빅데이터 |
|---|---|---|
| 데이터 유형 | 주로 정형 데이터 | 정형, 반정형, 비정형 데이터 |
| 기반 기술 | 관계형 데이터베이스 | Hadoop, NoSQL, 분산 처리 |
| 업데이트 빈도 | 정기적 배치 | 자주 또는 지속적 |
| 확장 방식 | 수직 확장 중심 | 수평 확장 중심 |
비정형 및 반정형 데이터는 정형 데이터 세트에 주력하는 기존 데이터 웨어하우스에 적합하지 않습니다. 데이터 웨어하우스는 자주 업데이트되는 빅데이터 세트의 처리 요구를 감당하지 못할 수도 있습니다. 데이터 레이크하우스(data lakehouse)는 두 방식의 특성을 결합한 아키텍처 범주입니다.
빅데이터는 조직 전체에 새로운 가치를 창출하기 때문에 중요합니다. IT 리더와 분석 팀은 제한된 시간, 기술, 예산으로 오늘날의 풍부한 데이터를 활용해야 하는 압박을 받고 있습니다.
데이터는 데이터 센터와 클라우드 전반에서 분산되고, 동적으로 변하며, 다양해지고 있습니다. 이러한 데이터 확산은 데이터를 저장하고 보호하는 인프라 팀뿐만 아니라, 다양한 소스에서 실시간으로 데이터를 수집하고 분석해야 하는 데이터 과학자, 엔지니어, 설계자에게도 과제를 안깁니다.
이 문제를 해결하지 못하면 분석 팀은 분석 범위를 제한하거나 올바른 데이터를 확보하기까지 며칠을 기다려야 합니다. 빅데이터를 제대로 다루는 조직은 이 시간을 실시간에 가깝게 단축합니다.
빅데이터는 데이터의 구조와 특성에 따라 구분됩니다. 데이터 유형은 정형, 반정형, 비정형 데이터로 나뉩니다. 빅데이터의 핵심 특성은 3V, 즉 볼륨(volume), 속도(velocity), 다양성(variety)으로 요약됩니다.
빅데이터를 처리하는 주요 기술은 다음과 같습니다.
빅데이터 분석은 전문 분석 시스템과 소프트웨어를 기반으로 다양한 비즈니스 이점을 제공합니다. 동시에 고려해야 할 한계도 존재합니다.
| 장점 | 한계 |
|---|---|
| 새로운 수익 창출 기회 | 확장 가능한 인프라 필요 |
| 더 효과적인 마케팅 | 데이터 관리 및 보안 복잡성 |
| 향상된 고객 서비스 | 숙련된 데이터 인력 부족 |
| 운영 효율성 향상 | 데이터 품질 및 거버넌스 과제 |
| 경쟁 우위 선점 | 지속적인 처리 비용 |
빅데이터의 가치는 저장하는 데이터의 양이 아니라, 그 데이터로 무엇을 하느냐에서 나옵니다. 적절한 기술과 인력이 뒷받침될 때 장점이 한계를 넘어섭니다.
빅데이터는 여러 산업과 직무에서 활용됩니다. 데이터 과학자, 예측 모델 작성자, 통계학자가 정형 트랜잭션 데이터와 반정형, 비정형 데이터를 함께 분석합니다.
실시간 머신 데이터 분석을 가속하면 조직은 피해가 발생하기 전에 사이버 공격을 탐지하고, 고객 경험에 영향을 주지 않으면서 사기를 방지할 수 있습니다.
고객 데이터에서 비즈니스 인텔리전스를 신속하게 도출하면 만족도를 높이고 향후 서비스 제공 방향을 정할 수 있습니다.
인터넷 클릭스트림, 웹 서버 로그, 소셜 미디어 콘텐츠, 고객 이메일, 통화 세부 내역, 그리고 사물 인터넷(IoT)에 연결된 센서가 캡처한 기계 데이터를 분석합니다.
빅데이터를 시작하려면 스토리지, 컴퓨팅, 인력, 관리 기능이 필요합니다. 데이터에서 인사이트를 빠르게 확보하는 것은 기회를 활용하고 위험을 관리하는 데 매우 중요합니다.
방대한 데이터 세트를 다루려면 엔터프라이즈급 데이터 관리 기능이 필요합니다. NetApp Data Infrastructure Insights는 방대한 데이터 환경에 대한 가시성을 제공합니다.
1세대 빅데이터 분석에 쓰인 DAS 스토리지는 효율적으로 확장되지 않으며, 필요한 안정성과 유연성을 제공하지 못합니다. 공유 스토리지 및 외부 스토리지 기반 플랫폼은 더 높은 확장성과 성능을 제공하고, 데이터를 필요한 곳으로 중단 없이 이동하며 항상 안전하게 보호합니다. 객체 스토리지(object storage)는 대규모 비정형 데이터를 저장하는 데 자주 사용됩니다.
데이터 웨어하우스는 정형 데이터를 위한 관계형 저장소입니다. 빅데이터는 정형, 반정형, 비정형 데이터를 대규모로 수집하고 처리하며 Hadoop과 NoSQL 같은 분산 기술에 의존합니다.
빅데이터는 분산 클러스터에서 처리됩니다. Hadoop이 데이터를 저장하고 MapReduce와 Apache Spark 같은 엔진이 병렬로 데이터를 분석하여 결과를 도출합니다.
빅데이터의 3V는 볼륨(volume), 속도(velocity), 다양성(variety)을 뜻합니다. 이 세 가지 특성이 빅데이터를 기존 데이터 처리 방식과 구분합니다.
빅데이터는 사기 탐지, 실시간 사이버 공격 탐지, 고객 경험 개선, 예측 분석에 활용됩니다. 데이터 과학자와 분석 전문가가 정형 및 비정형 데이터를 함께 분석합니다.
빅데이터에는 확장 가능한 스토리지, 분산 컴퓨팅 리소스, 데이터 과학 및 엔지니어링 기술이 필요합니다. 엔터프라이즈급 데이터 관리 기능도 방대한 데이터 세트를 다루는 데 필수입니다.
빅데이터 분석에는 확장성과 성능을 제공하는 공유 스토리지가 적합합니다. NetApp 빅데이터 분석 플랫폼과 같은 솔루션은 데이터를 안전하게 이동하고 보호하면서 성능을 제공합니다.
NetApp 빅데이터 분석 플랫폼은 최대 2배 향상된 성능을 제공하며, 데이터와 워크로드를 클라우드나 필요한 곳으로 안전하게 이동하고 데이터의 백업, 보안, 가용성을 보장합니다.
NetApp을 사용하면 리소스 활용률을 높이고 불필요한 데이터 복사본을 제거하여 라이센스 비용, 하드웨어 비용, 전체 TCO를 최대 50%까지 낮출 수 있습니다. ONTAP는 온프레미스와 클라우드에 걸쳐 일관된 데이터 관리를 제공하는 통합 기반입니다.