Amazon Simple Storage Service(Amazon S3)是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。各种规模和行业的客户都可以使用 Amazon S3 存储和保护任意数量的数据,用于数据湖、网站、移动应用程序、备份和恢复、归档、企业应用程序、IoT 设备和大数据分析。Amazon S3 提供了管理功能,使您可以优化、组织和配置对数据的访问,以满足您的特定业务、组织和合规性要求。我们Oncloud AI通过本文帮助深入了解 AWSAmazon S3的功能。
Amazon S3 的功能
存储类
Amazon S3 提供一系列适合不同使用案例的存储类。例如,您可以将任务关键型生产数据存储在 S3 Standard 或 S3 Express One Zone 中以便频繁访问,将不经常访问的数据存储在 S3 Standard-IA 或 S3 One Zone-IA 中,并在 S3 Glacier Instant Retrieval、S3 Glacier Flexible Retrieval、和 S3 Glacier Deep Archive 中以极低的成本归档数据。
Amazon S3 Express One Zone 是高性能的单区 Amazon S3 存储类,专门用于为延迟要求极高的应用程序提供稳定的毫秒级数据访问。S3 Express One Zone 是目前具有极低延迟的云对象存储类,相比 S3 Standard,其数据访问速度要快 10 倍,且请求成本低 50%。S3 Express One Zone 是第一种可以在其中选择单个可用区的 S3 存储类,您可以选择将您的对象存储与计算资源联合托管在一个位置,从而提供尽可能高的访问速度。此外,为了进一步提高访问速度并支持每秒数十万个请求,数据存储在新的存储桶类型中:Amazon S3 目录存储桶。
您可以在 S3 Intelligent-Tiering 中存储具有不断变化或未知访问模式的数据,该分层可在访问模式发生变化时自动在四个访问层之间移动数据,从而优化存储成本。这四个访问层包括两个低延迟访问层(针对频繁和不频繁访问进行了优化),以及两个为异步访问很少访问的数据而设计的 opt-in archive 访问层。
存储管理
Amazon S3 具有存储管理功能,您可以使用这些功能来管理成本、满足法规要求、减少延迟并保存数据的多个不同副本以满足合规性要求。
- S3 生命周期 – 配置生命周期配置以管理您的对象,并在整个生命周期内经济高效地存储这些对象。您可以将对象转换为其他 S3 存储类,也可以使其生命周期结束的对象过期。
- S3 对象锁定 – 可以在固定的时间段内或无限期地阻止删除或覆盖 Amazon S3 对象。可以使用对象锁定来帮助您满足需要一次写入多次读取 (WORM) 存储的法规要求,或只是添加另一个保护层来防止对象被更改和删除。
- S3 复制 – 将对象及其各自的元数据和对象标签复制到同一或不同的 AWS 区域 目标存储桶中的一个或多个目标存储桶,以减少延迟、合规性、安全性和其他使用案例。
- S3 批量操作 – 通过单个 S3 API 请求或在 Amazon S3 控制台中单击几次,大规模管理数十亿个对象。您可以使用批量操作来执行诸如复制、调用 AWS Lambda 函数和恢复数百万或数十亿对象这样的操作。
访问管理和安全性
Amazon S3 提供了用于审核和管理对存储桶和对象的访问的功能。默认情况下,S3 存储桶和对象都是私有的。您只能访问您创建的 S3 资源。要授予支持您特定使用案例的细粒度资源权限或审核 Amazon S3 资源的权限,您可以使用以下功能。
- S3 阻止公有访问 – 阻止对 S3 存储桶和对象的公有访问。默认情况下,“屏蔽公共访问权限”设置在存储桶级别处于开启状态。我们建议您将所有“屏蔽公共访问权限”设置保持为启用状态,除非您知道您需要为您的特定使用案例关闭其中一个或多个设置。
- AWS Identity and Access Management(IAM)– IAM 是一种 Web 服务,可帮助您安全地控制对 AWS 资源(包括 Amazon S3 资源)的访问。借助 IAM,您可以集中管理控制用户可访问哪些 AWS 资源的权限。可以使用 IAM 来控制谁通过了身份验证(准许登录)并获得授权(具有相应权限)来使用资源。
- 存储桶策略 – 使用基于 IAM 的策略语言为 S3 存储桶及其中的对象配置基于资源的权限。
- Amazon S3 接入点 – 使用专用访问策略配置命名网络端点,以便大规模管理对 Amazon S3 中共享数据集的访问。
- 访问控制列表(ACL)- 向授权用户授予单个存储桶和对象的读写权限。作为一般规则,我们建议您使用基于 S3 资源的策略(存储桶策略和接入点策略)或 IAM 用户策略进行访问控制,而不是 ACL。策略是一种简化、更灵活的访问控制选项。借助存储桶策略和接入点策略,您可以定义广泛适用于针对 Amazon S3 资源的所有请求的规则。
- S3 对象所有权 – 获取存储桶中每个对象的所有权,从而简化对存储在 Amazon S3 中的数据的访问管理。S3 对象所有权是 Amazon S3 存储桶级别的设置,您可以使用该设置来禁用或启用 ACL。默认情况下,ACL 处于禁用状态。禁用 ACL 后,存储桶拥有者拥有存储桶中的所有对象,并使用访问管理策略来专门管理对数据的访问权限。
- 适用于 S3 的 IAM Access Analyzer – 评估和监控您的 S3 存储桶访问策略,确保这些策略仅提供对 S3 资源的预期访问权限。
数据处理
要转换数据并触发工作流以大规模自动执行各种其他处理活动,您可以使用以下功能。
- S3 Object Lambda – 您可以将自己的代码添加到 S3 GET、HEAD 和 LIST 请求中,以便在数据返回到应用程序时修改和处理数据。筛选行、动态调整图像大小、编辑机密数据等。
- 事件通知 – 当您的 S3 资源进行更改时,触发使用 Amazon Simple Notification Service (Amazon SNS)、Amazon Simple Queue Service (Amazon SQS) 和的工作流程和 AWS Lambda。
存储日志记录和监控
Amazon S3 提供日志记录和监控工具,您可以使用这些工具来监控和控制 Amazon S3 资源的使用情况。
自动监控工具
- Amazon S3 的 Amazon CloudWatch 指标- 跟踪 S3 资源的运行状况,并在估计费用达到用户定义的阈值时配置计费警报。
- AWS CloudTrail – 在 Amazon S3 中记录用户采取的行动、角色或 AWS 服务。CloudTrail 日志为您提供了 S3 存储桶级别和对象级操作的详细 API 跟踪。
手动监控工具
- 服务器访问日志- 详细地记录对存储桶提出的各种请求。您可以使用服务器访问日志对许多使用案例进行安全和访问审计,了解客户群或了解您的 Amazon S3 账单。
- AWS Trusted Advisor – 通过使用 AWS 最佳实践检查以确定优化 AWS 基础架构、提高安全性和性能、降低成本以及监控服务配额。然后,您可以按照建议优化服务和资源。
分析和见解
Amazon S3 提供的功能可帮助您了解存储使用情况,从而使您能够更好地了解、分析和大规模优化存储。
- Amazon S3 Storage Lens – 了解、分析和优化您的存储。S3 Storage Lens 存储统计管理工具提供了超过 60 个使用率和活动指标以及交互式控制面板,用于汇总整个组织、特定客户、AWS 区域、存储桶或前缀的数据。
- 存储类分析- 分析存储访问模式,以决定何时需要将数据移动到更经济高效的存储类。
- 带清单报告的 S3 清单- 审核和报告对象及其相应的元数据,并配置其他 Amazon S3 功能,在清单报告中采取措施。例如,您可以报告对象的复制和加密状态。
强一致性
Amazon S3 为所有 AWS 区域 中的 Amazon S3 存储桶中对象的 PUT 和 DELETE 请求提供了强大的先写后读一致性。这个行为既适用于到新对象的写入,也适用于覆盖现有对象的 PUT 和 DELETE。此外,针对 Amazon S3 Select、Amazon S3 访问控制列表 (ACL)、Amazon S3 对象标签和对象元数据(例如 HEAD 对象)的读取操作具有严格一致性。
总结
Amazon S3 作为一个灵活、可靠且高度可扩展的对象存储服务,提供了丰富的功能和工具来满足各类业务需求。无论是频繁访问的生产数据,还是需要低成本归档的冷数据,S3 都能通过不同的存储类和智能分层选项帮助用户优化存储成本并提高访问效率。同时,强大的安全管理和访问控制功能确保了数据的隐私与合规性。借助生命周期管理、事件通知、日志记录和分析工具,用户能够高效地监控和优化存储使用。无论是小型企业还是大型企业,Amazon S3 都是一个值得信赖的云存储解决方案,帮助企业更好地管理和保护其宝贵的数据资产。