菜单

本页使用了机器翻译。某些内容可能不完美。敬请提出宝贵意见和建议。

分享反馈

S3 Intelligent-Tiering 的存档即时访问层

目录

分享该页面

Sudip Sengupta

亚马逊网络服务 (AWS) 为用户提供了许多选择,帮助用户找到最合适的存储方案,以实现成本和性能的优化。最受欢迎的S3 存储类之一是 S3 智能分层,自推出以来,它已帮助客户节省了 7.5 亿美元的存储成本。

S3 智能分层可以根据访问频率在不同的存储层之间移动对象,从而优化存储成本。

借助https://aws.amazon.com/about-aws/whats-new/2021/11/s3-intelligent-tiering-archive-instant-access-tier/ AWS 近期推出的归档即时访问层,智能分层现在可以自动归档数据以降低成本,同时提供亚毫秒级的检索访问。

在本文中,我们将了解 S3 智能分层的归档即时访问层、其优势以及各种用例。

什么是 S3 中的智能分层?

Amazon S3 智能分层是一种基于云的对象存储类别,它会自动将对象归档到成本效益高的存储层,以实现最大效益。凭借其智能算法,智能分层存储可自动帮助您优化存储成本,而不会牺牲性能或可用性。虽然这种存储类别非常适合用于数据使用模式未知或不断变化的数据,例如应用程序日志、媒体文件和传感器数据,但它也可用于频繁访问且不需要最低延迟的数据,例如备份和灾难恢复文件。

S3 智能分层持续监控您的数据使用情况,并根据其访问模式自动在热存储、温存储和冷存储三个层级之间移动数据。热层针对频繁访问的数据进行了优化,而温层和冷层则针对不经常和很少访问的数据而设计。作为其主要优势之一,您只需为使用的存储空间付费,以及每月少量的监控和自动化费用。

归档即时访问层如何工作

归档即时访问 (AIA) 存储层可为不常用的数据提供快速检索时间,同时仍然提供云存储的成本优势。与不经常访问 (IA) 层相比,归档即时访问层 (AIA) 使客户能够在不影响可用性或持久性的前提下归档数据,因为他们可以立即检索所需数据,而无需先从较低层恢复。

AIA 层自动为 S3 智能分层类中的所有存储对象启用,其中 IA 层中任何 90 天未被访问的数据对象都会自动移动到 AIA 层。存储层还提供了灵活性,可以根据需要将数据转换回标准存储层或批量存储层,而无需预先投资。

S3 智能分层归档即时访问层的优势

使用 S3 智能分层 AIA 层的优势包括:

无检索费用
虽然 Amazon S3 会支付从归档层导出的数据费用,但您只需为实际使用的容量付费。因此,对于在 AIA 层存档的数据的重建或检索,不会产生任何费用。这使其成为不常用数据的理想存储解决方案,这些数据仍然 需要能够快速访问,且不产生额外费用。

无最短存储期限
S3 智能分层 AIA 层没有最短存储期限。您可以根据需要,将对象存储在这一层中,存储时间长短不限,无需担心任何最小存储时长限制。这使其成为存储您可能不需要立即访问但仍希望保留以备将来使用的数据的理想选择。您只需为使用的存储空间付费,因此您可以仅存储将来需要的数据,从而最大限度地降低成本。

零运营开销
S3 智能分层算法使用机器学习来监控访问模式,并实时决策以确定每个对象的最佳存储层。这意味着您不再需要担心手动在存储层之间移动对象或为不必要的存储付费。这与其他需要管理员输入和定期调整才能保持最佳性能和成本效益的存储解决方案形成鲜明对比。

此外,AIA 层减少了检索前跨层移动对象所需的工作量,从而可立即访问已归档的数据。

低延迟和高吞吐量
AIA 层依赖于 S3 的基础技术,包括数据本地化、多可用区、优化的文件系统和高效的缓存机制,以降低延迟。

这种设计模式使得存储层即使对于很少访问的数据也能提供亚毫秒级的检索速度。

此外,存储层还采用了硬盘驱动器 (HDD) 和固态驱动器 (SSD) 的最佳组合,以实现高吞吐量。这使其非常适合依赖高性能存储的工作负载,例如视频流或大数据分析。

S3 智能分层归档即时访问用例

Amazon S3 的智能分层 AIA 层最适合访问频率不高但仍需要在需要时快速访问的数据。

这包括备份文件、日志文件和媒体文件等数据。归档层级的每 GB 价格低于标准存储层级,因此对于长期存储而言更具成本效益。而且,由于数据仍然存储在 S3 中,您可以享受到 S3 的所有优势,例如安全性和持久性。

AIA 层的一些适用用例包括:

不常用归档存储
AIA 层的一个常见用例是存储不常用的数据。由于存储和检索成本低,这一层级非常适合用于归档数据,因为它可以长期存储而不会产生高昂的成本。此外,该层的高耐久性意味着即使很少访问,数据也能安全且易于访问。

快速访问存储层
AIA 层的另一个常见用例是存储可在需要时快速访问的数据。使用此层存储此类数据的主要优势在于其快速访问速度。这意味着用户可以访问所需的数据,而无需等待从速度较慢的存储方式中检索数据。此外,该层级的高耐久性意味着即使频繁访问,数据也能保持安全且易于访问。

非常适合不可预测的访问模式
AIA 层级非常适合访问模式随时间不可预测地变化的存储对象。例如,在音乐唱片收藏和流媒体应用程序中,用户经常访问最近上传的音乐。随着唱片发行时间的增长,流媒体播放趋势逐渐下降。几个月无法访问后,S3 的智能分层功能可以将音频文件移动到 AIA 层。艺术家人气的突然飙升可能会导致人们对他们早期的音乐越来越感兴趣,这些音乐数据可以立即检索并通过 AIA 层进行流式传输,或者可以根据访问模式迁移到频繁访问层。

如何启用 S3 智能分层

要开始使用智能分层,您首先需要创建一个新的存储类。这可以通过使用 S3 控制台、AWS CLI 或 PUT API 对象来完成。创建存储类后,您可以使用简单的 API 调用将数据移动到其中。

注意:S3 智能分层现在可以自动对任何对象进行分层。

90 天内未访问过的 IA 层级降级为 AIA 层级。要手动配置存储桶中各个对象的规则,您可以按照以下步骤操作。

使用 S3 控制台

在存储桶对象级别应用分层策略之前,请导航至https://console.aws.amazon.com/s3/ S3 控制台,然后选择要启用智能分层的存储桶。然后,选择“管理”选项卡,然后单击“智能分层”。然后,您可以检查是否启用了自动模式或手动模式来确认。在自动模式下,S3 会根据使用模式自动在层级之间移动对象。使用手动模式可以指定对象应该存储在哪个层级。

假设您打算对现有存储桶中的各个对象应用分层规则。要实现此目的,请按照以下工作流程操作:

  1. Sign inhttps://console.aws.amazon.com/s3/ AWS S3 控制台,然后从 S3 存储桶列表中选择目标存储桶。

    S3 存储桶列表
  2. 选择属性选项卡。

    AWS S3 控制台属性
  3. 转到S3 智能分层归档配置部分,然后选择“创建配置”按钮。

    S3 智能分层归档配置
  4. 您现在将进入归档配置设置部分。输入配置名称,并决定该配置是应用于整个存储桶还是应用于单个对象。在我们的示例中,我们选择将规则应用于单个对象。

    归档配置设置
  5. 单击创建以确认配置,成功创建后,配置将显示在 S3 控制台中。

    创建 2

使用 Amazon CLI

您还可以使用 AWS CLI 命令来管理 S3 智能层的配置。

一种典型的方法是使用 put-bucket-intelligent-tiering-configuration 命令,并将配置指定为 JSON 文件,以启用不同的分层选项。

以下命令将 AIA 配置分配给 darwinbucketexample 存储桶。

$ put-bucket-intelligent-tiering-configuration
{ "Id": "darwinbucketexample", "Filter": { "Prefix": "filter-criteria1", "Tag": { "Key": "object-tag-key1", "Value": "object-tag1" }, "And": { "Prefix": "filter-criteria2", "Tags": [ { "Key": "object-tag-key2", "Value": "object-tag2" } ...  ] } }, "状态": "已禁用" "分级": [ { "天数": 整数, "访问级别": "归档访问"\|"深度归档访问" } ...  ]}

使用 PUT API 操作

您还可以使用 PUT API 对象来应用规则,以控制数据如何移动到 S3 智能分层存储,然后再进行归档。

例如,要将 darwinbucketexample 存储桶移动到智能分层存储,您需要在 x-amz-storage-class 标头下包含 INTELLIGENT_TIERING 作为存储类。

PUT /darwin-image.jpg HTTP/1.1Host: darwinbucketexample.s3..amazonaws.com ( http://amazonaws.com/ )Date: Thu, 22 Dec 2021 15:50:33 GMTAuthorization: authorization stringContent-Type: image/jpegContent-Length: 22452Expect: 100-continuex-amz-storage-class: INTELLIGENT_TIERING 

完成后,您可以使用 PutBucketIntelligentTieringConfiguration API 操作为特定存储桶或存储桶对象配置智能分层归档规则。

使用BlueXP Cloud Volumes ONTAP扩展 S3 智能分层的优势

虽然 S3 智能分层为 S3 添加了一项急需的功能 对于用户而言, NetApp BlueXP Cloud Volumes ONTAP 可以进一步将其用作 AWS 的数据管理层。

Cloud Volumes ONTAP数据分层 可以将不常用的 EBS 存储数据自动分层到更具成本效益的 S3 智能分层存储,并在需要时自动将其移回 EBS 存储。 AWS 本身不支持对象存储和块存储之间的分层存储。

但这并非其优势的全部。 Cloud Volumes ONTAP利用更具成本效益和空间利用率的 NetApp快照技术云备份,为 AWS 用户提供更高水平的数据保护。内置的存储效率(包括重复数据删除、压缩和精简配置)可以降低整体存储成本,不仅适用于 S3,也适用于更昂贵的 AWS EBS 存储。借助BlueXP replication和SnapMirror,您可以轻松高效地在 AWS 区域、本地部署甚至不同的云平台之间移动数据。

了解更多关于Cloud Volumes ONTAP如何帮助您完成这些 Cloud Volumes ONTAP存储分层案例研究的信息。


常见问题解答

如何在 S3 存储桶上启用智能分层?

要在 S3 存储桶上启用智能分层,首先从存储桶列表中选择存储桶名称。

在存储桶页面上,选择“属性”,滚动到“S3 智能分层配置”部分,然后单击“创建”。有关 S3 存储桶智能分层配置设置的更多详细信息,请参阅https://docs.aws.amazon.com/AmazonS3/latest/userguide/intelligent-tiering-overview.html AWS 官方文档。

S3 智能分层成本高吗?

虽然 S3 智能分层可能需要更高的初始成本,但从长远来看,它最终可以为组织节省资金。

借助 S3 智能分层,数据会自动移动到最具成本效益的存储层,从而节省存储成本。这通常是通过根据访问模式自动将数据存储在最合适的存储类别中来实现的,因此非常适合不经常访问的数据。此外,S3智能分层还能提供额外的数据丢失和损坏防护,从而进一步降低应急成本。
Drift chat loading