S3 Intelligent-Tiering의 Archive Instant Access 계층
이 페이지 공유하기
Sudip Sengupta
Amazon Web Services(AWS)는 비용 및 성능 최적화를 위한 완벽한 스토리지 플랜을 찾는 데 있어 사용자에게 많은 선택권을 제공합니다. 가장 인기 있는 S3 스토리지 클래스 중 하나는 S3 Intelligent-Tiering으로, 출시 이후 고객의 스토리지 비용을 7억 5천만 달러 절감하는 데 도움을 주었습니다.
S3 Intelligent-Tiering은 액세스 빈도에 따라 객체를 서로 다른 스토리지 티어 간에 이동시켜 스토리지 비용을 최적화합니다. AWS가 최근 Archive Instant Access 티어를 출시함에 따라, Intelligent-Tiering은 이제 비용 절감을 위해 데이터를 자동으로 아카이빙하는 동시에 1밀리초 미만의 빠른 검색 속도를 제공할 수 있습니다.
이 문서에서는 S3 Intelligent-Tiering의 Archive Instant Access 계층, 이점 및 다양한 사용 사례에 대해 알아봅니다.
- S3의 Intelligent Tiering이란 무엇입니까?
- S3 Intelligent-Tiering Archive Instant Access 사용 사례
- S3 Intelligent Tiering을 활성화하는 방법
- BlueXP Cloud Volumes ONTAP로 S3 Intelligent-Tiering의 이점 확장
- FAQ
S3의 Intelligent Tiering이란 무엇입니까?
Amazon S3 Intelligent-Tiering은 클라우드 기반 객체 스토리지 클래스로, 비용 효율적인 스토리지 계층에 객체를 자동으로 아카이빙하여 최대의 이점을 제공합니다. 지능형 알고리즘을 통해 Intelligent-Tiering은 성능이나 가용성을 저하시키지 않으면서 스토리지 비용을 자동으로 최적화합니다. 이 스토리지 클래스는 애플리케이션 로그, 미디어 파일, 센서 데이터와 같이 데이터 사용 패턴을 알 수 없거나 변경되는 데이터에 이상적이지만, 백업 및 재해 복구 파일과 같이 지연 시간이 최소화될 필요가 없는 자주 액세스되는 데이터에도 사용할 수 있습니다.
S3 Intelligent-Tiering은 데이터 사용량을 지속적으로 모니터링하고 액세스 패턴에 따라 핫, 웜, 콜드 세 가지 티어 간에 데이터를 자동으로 이동시킵니다. 핫 티어는 자주 액세스되는 데이터에 최적화되어 있으며, 웜 및 콜드 티어는 액세스 빈도가 낮거나 거의 없는 데이터에 적합하도록 설계되었습니다. 주요 이점 중 하나는 사용한 스토리지 용량에 대해서만 비용을 지불하고 모니터링 및 자동화에 대한 소액의 월 사용료만 부담하면 된다는 것입니다.
Archive Instant Access 계층의 작동 방식
AIA(Archive Instant Access) 스토리지 계층은 자주 액세스하지 않는 데이터에 대해 빠른 검색 시간을 제공하는 동시에 클라우드 스토리지의 비용 효율성을 유지합니다. IA(Infrequent Access) 계층과 비교하여 Archive Instant Access 계층을 사용하면 가용성이나 내구성을 저해하지 않고 데이터를 아카이빙할 수 있으며, 하위 계층에서 복원할 필요 없이 필요한 데이터를 즉시 검색할 수 있습니다.
S3 Intelligent-Tiering 클래스의 모든 스토리지 객체에 대해 AIA 티어가 자동으로 활성화됩니다. IA 티어에 있는 데이터 객체가 90일 동안 액세스되지 않으면 자동으로 AIA 티어로 이동합니다. 또한, 이 스토리지 티어는 필요에 따라 초기 투자 없이 데이터를 Standard 또는 Bulk 스토리지 티어로 다시 전환할 수 있는 유연성을 제공합니다.
S3 Intelligent Tiering Archive Instant Access 계층의 이점
S3 Intelligent-Tiering AIA 계층을 사용하면 다음과 같은 이점이 있습니다.
검색 비용 없음
Amazon S3는 아카이브 계층에서 데이터 송신 비용을 부담하지만, 사용자는 사용한 만큼만 비용을 지불합니다. 따라서 AIA 계층에 아카이브된 데이터의 재구성 또는 검색에 대한 비용이 발생하지 않습니다. 이를 통해 자주 액세스하지 않지만 추가 비용 없이 빠르게 액세스해야 하는 데이터를 위한 이상적인 스토리지 솔루션이 됩니다.
최소 스토리지 기간 없음
S3 Intelligent-Tiering AIA 계층에는 최소 스토리지 기간이 없습니다. 최소 기간에 대한 걱정 없이 원하는 만큼 짧거나 길게 이 계층에 객체를 저장할 수 있습니다. 따라서 즉각적인 액세스 시간이 필요하지 않지만 향후 사용을 위해 보관하려는 데이터를 저장하는 데 이상적입니다. 사용한 스토리지에 대해서만 비용을 지불하므로 향후 필요한 데이터만 저장하여 비용을 최소화할 수 있습니다.
운영 오버헤드 제로
S3 Intelligent-Tiering을 지원하는 알고리즘은 머신 러닝을 사용하여 액세스 패턴을 모니터링하고 각 객체에 가장 적합한 스토리지 티어를 실시간으로 결정합니다. 따라서 더 이상 스토리지 티어 간에 객체를 수동으로 이동하거나 불필요한 스토리지 비용을 지불할 필요가 없습니다. 이는 최적의 성능과 비용 효율성을 유지하기 위해 관리자 입력과 정기적인 튜닝이 필요한 다른 스토리지 솔루션과 대조적입니다.
또한 AIA 계층은 검색 전에 계층 간에 객체를 이동하는 데 필요한 노력을 줄여 아카이빙된 데이터에 즉시 액세스할 수 있도록 합니다.
낮은 지연 시간과 높은 처리량
AIA 계층은 데이터 지역화, 다중 가용 영역, 최적화된 파일 시스템, 효율적인 캐싱 메커니즘 등 S3의 핵심 기술을 활용하여 지연 시간을 줄입니다. 이러한 설계 패턴 덕분에 스토리지 계층은 자주 액세스하지 않는 데이터조차도 1밀리초 미만의 빠른 검색 속도를 제공할 수 있습니다.
또한 스토리지 계층은 최적의 하드 디스크 드라이브(HDD)와 SSD(Solid-State Drive) 조합을 사용하여 높은 처리량을 달성합니다. 따라서 비디오 스트리밍이나 빅 데이터 분석과 같이 고성능 스토리지에 의존하는 워크로드에 적합합니다.
S3 Intelligent-Tiering Archive Instant Access 사용 사례
Amazon S3의 Intelligent-Tiering AIA 티어는 자주 액세스하지는 않지만 필요할 때 빠르게 사용할 수 있어야 하는 데이터에 가장 적합합니다. 백업, 로그 파일, 미디어 파일 등이 여기에 해당합니다. Archive 티어는 Standard 스토리지 클래스보다 기가바이트당 가격이 저렴하여 장기 보관 스토리지에 더욱 비용 효율적입니다. 또한 S3에 저장되므로 보안 및 내구성 등 S3 사용의 모든 이점을 누릴 수 있습니다.
AIA 계층의 적절한 사용 사례는 다음과 같습니다.
자주 액세스하지 않는 아카이브 스토리지
AIA 계층의 일반적인 사용 사례 중 하나는 자주 액세스하지 않는 데이터를 저장하는 것입니다. 저렴한 스토리지 및 검색 비용으로 인해 이 계층은 아카이브된 데이터에 이상적이며, 높은 비용을 발생시키지 않고 장기간 저장할 수 있습니다. 또한 이 계층의 높은 내구성은 데이터가 거의 액세스되지 않더라도 안전하고 액세스 가능하도록 보장합니다.
빠른 액세스 스토리지 계층
AIA 계층의 또 다른 일반적인 사용 사례는 필요할 경우 신속하게 액세스할 수 있는 데이터를 저장하는 것입니다. 이러한 유형의 데이터에 이 계층을 사용하는 주요 이점은 빠른 액세스 시간입니다. 즉, 사용자는 속도가 느린 스토리지에서 데이터를 검색할 때까지 기다릴 필요 없이 필요한 데이터에 액세스할 수 있습니다. 또한, 이 계층의 높은 내구성은 데이터가 자주 액세스되더라도 안전하게 보관되고 언제든지 액세스 가능하다는 것을 의미합니다.
예측 불가능한 액세스 패턴에 이상적
AIA 계층은 시간이 지남에 따라 액세스 패턴이 예측 불가능하게 변하는 스토리지 객체에 이상적입니다. 예를 들어, 음반 컬렉션 및 스트리밍 애플리케이션에서 사용자는 최근에 업로드된 음악에 자주 액세스합니다. 스트리밍 추세는 음반이 오래될수록 점차 감소합니다. 몇 달 동안 액세스가 없으면 S3의 Intelligent-Tiering을 통해 오디오 파일을 AIA 계층으로 이동할 수 있습니다. 아티스트의 인기가 갑자기 급증하면 이전 음악에 대한 관심이 높아질 수 있으며, 이 경우 해당 데이터는 AIA 계층을 통해 즉시 스트리밍으로 검색하거나 액세스 패턴에 따라 Frequent Access 계층으로 마이그레이션할 수 있습니다.
S3 Intelligent Tiering을 활성화하는 방법
Intelligent-Tiering을 시작하려면 먼저 새 스토리지 클래스를 생성해야 합니다. S3 Console, AWS CLI 또는 PUT API 객체를 사용하여 생성할 수 있습니다. 스토리지 클래스를 생성한 후에는 간단한 API 호출을 통해 데이터를 해당 클래스로 이동할 수 있습니다.
참고: S3 Intelligent-Tiering은 이제 IA 티어에 있는 객체 중 90일 동안 액세스되지 않은 객체를 자동으로 AIA 티어로 이동합니다. 버킷의 개별 객체에 대한 규칙을 수동으로 구성하려면 아래 단계를 따르세요.
S3 Console 사용
버킷의 객체 수준에서 계층화 정책을 적용하기 전에 S3 콘솔로 이동하여 Intelligent-Tiering을 활성화할 버킷을 선택합니다. 그런 다음 Management 탭을 선택하고 Intelligent-Tiering을 클릭합니다. 여기에서 Automatic 또는 Manual 모드가 활성화되어 있는지 확인할 수 있습니다. Automatic 모드에서는 S3가 사용 패턴에 따라 계층 간에 객체를 자동으로 이동합니다. Manual 모드를 사용하면 객체를 저장할 계층을 지정할 수 있습니다.
기존 버킷의 개별 객체에 계층화 규칙을 적용하려는 경우를 가정해 보겠습니다. 이를 위해 다음 워크플로를 따르십시오.
- AWS S3 콘솔에 Sign in하고 S3 버킷 목록에서 대상 버킷을 선택합니다.
- Properties 탭을 선택합니다.
- S3 Intelligent-Tiering Archive configurations 섹션으로 이동하여 "Create configuration" 버튼을 선택합니다.
- 이제 Archive configuration settings 섹션에 있습니다. 구성 이름을 입력하고 구성을 버킷 전체에 적용할지 또는 개별 객체에 적용할지 결정하세요. 이 예시에서는 규칙을 개별 객체에 적용하도록 선택했습니다.
- Create를 클릭하여 구성을 확인하세요. 구성이 성공적으로 생성되면 S3 콘솔에 표시됩니다.
Amazon CLI 사용
AWS CLI 명령을 사용하여 S3 Intelligent 계층의 구성을 관리할 수도 있습니다.
일반적으로는 put-bucket-intelligent-tiering-configuration 명령을 사용하고 구성을 JSON 파일로 지정하여 다양한 계층화 옵션을 활성화합니다. 다음 명령은 darwinbucketexample 버킷에 AIA 구성을 할당합니다.
$ put-bucket-intelligent-tiering-configuration
{ "Id": "darwinbucketexample", "Filter": { "Prefix": "filter-criteria1", "Tag": { "Key": "object-tag-key1", "Value": "object-tag1" }, "And": { "Prefix": "filter-criteria2", "Tags": [ { "Key": "object-tag-key2", "Value": "object-tag2" } ... ] } }, "Status": "Disabled" "Tierings": [ { "Days": integer, "AccessTier": "ARCHIVE_ACCESS"\|"DEEP_ARCHIVE_ACCESS" } ... ]}
PUT API 작업 사용
또한 PUT API 객체를 사용하여 데이터가 S3 Intelligent-Tiering으로 이동되고 보관되는 방식에 대한 규칙을 적용할 수 있습니다.
예를 들어, darwinbucketexample 버킷을 Intelligent-Tiering으로 이동하려면 x-amz-storage-class 헤더 아래에 스토리지 클래스로 INTELLIGENT_TIERING을 포함해야 합니다.
PUT /darwin-image.jpg HTTP/1.1Host: darwinbucketexample.s3..amazonaws.com (http://amazonaws.com/)Date: Thu, 22 Dec 2021 15:50:33 GMTAuthorization: authorization stringContent-Type: image/jpegContent-Length: 22452Expect: 100-continuex-amz-storage-class: INTELLIGENT_TIERING
완료되면 PutBucketIntelligentTieringConfiguration API 작업을 사용하여 특정 버킷 또는 버킷 객체에 대한 Intelligent-Tiering의 아카이브 규칙을 구성할 수 있습니다.
BlueXP Cloud Volumes ONTAP로 S3 Intelligent-Tiering의 이점 확대
S3 Intelligent-Tiering은 S3 사용자에게 꼭 필요한 기능을 추가하지만, NetApp BlueXP Cloud Volumes ONTAP는 AWS용 데이터 관리 계층으로서 이를 더욱 발전시킬 수 있습니다.
Cloud Volumes ONTAP 데이터 티어링을 사용하면 사용 빈도가 낮은 EBS 스토리지 데이터를 비용 효율적인 S3 Intelligent-Tiering으로 자동 티어링하고 필요할 때 다시 자동으로 이동할 수 있습니다. AWS에서는 객체 스토리지와 블록 스토리지 간의 티어링이 기본적으로 지원되지 않습니다.
하지만 이점은 여기서 끝나지 않습니다. Cloud Volumes ONTAP는 비용과 공간 효율성이 뛰어난 NetApp Snapshot 기술과 Cloud Backup을 사용하여 AWS 사용자에게 더 높은 수준의 데이터 보호 기능을 제공합니다. 중복 제거, 압축, 씬 프로비저닝을 포함한 내장 스토리지 효율성 기능은 S3뿐만 아니라 더 비싼 AWS EBS 스토리지에 대한 전체 스토리지 비용을 절감할 수 있습니다. 그리고 SnapMirror®를 사용한 BlueXP replication을 통해 AWS 리전, 온프레미스 배포 환경, 심지어 서로 다른 클라우드 간에도 데이터를 쉽고 효율적으로 이동할 수 있습니다.
Cloud Volumes ONTAP 스토리지 계층화 사례 연구를 통해 Cloud Volumes ONTAP이 어떻게 도움이 될 수 있는지 자세히 알아보세요.
FAQ
S3 버킷에서 Intelligent-Tiering을 활성화하려면 어떻게 해야 하나요?
S3 버킷에서 Intelligent-Tiering을 활성화하려면 먼저 버킷 목록에서 버킷 이름을 선택합니다. 버킷 페이지에서 Properties를 선택하고 S3 Intelligent-Tiering Configurations 섹션으로 스크롤한 다음 Create를 클릭합니다. S3 버킷의 intelligent-tier 구성 설정에 대한 자세한 내용은 AWS 공식 문서를 참조하세요.
S3 Intelligent-Tiering은 비용이 많이 드나요?
S3 Intelligent-Tiering은 초기 비용이 더 높을 수 있지만 장기적으로는 조직의 비용 절감에 도움이 될 수 있습니다. S3 Intelligent-Tiering을 사용하면 데이터가 가장 비용 효율적인 스토리지 티어로 자동으로 이동되므로 스토리지 비용을 절약할 수 있습니다. 이는 일반적으로 액세스 패턴에 따라 가장 적합한 스토리지 클래스에 데이터를 자동으로 저장함으로써 구현되며 액세스 빈도가 낮은 데이터에 이상적입니다. 또한 S3 Intelligent-Tiering은 데이터 손실 및 손상에 대한 추가 보호 기능을 제공하여 비용 부담을 더욱 줄여줍니다.
