我们Oncloud AI通过本文与您探讨了Amazon EC2的多样化计算实例组合及其在大数据分析、自我管理应用和容器化服务中的应用优势。EC2支持基于最新Intel、AMD及AWS Graviton处理器的实例选择,帮助用户优化性能和成本。此外,EC2适用于专用环境及合规性要求的计算负载,具备灵活的定价模式和弹性扩展能力。与ECS、EKS、Fargate等托管容器服务的结合,进一步丰富了大数据工作负载的运行选择。

- Amazon EC2 提供最广泛、最深入的计算实例组合,其中包括许多由最新一代 Intel 和 AMD 处理器提供支持的实例。AWS Graviton 处理器增加了更多选择,可帮助客户优化其工作负载的性能和成本。
- 您无法获得的是本白皮书中提到的其他服务附带的应用程序级托管服务。自我管理的大数据分析有很多选择:
-
- NoSQL 产品,例如 MongoDB
- 数据仓库或列式存储,例如 Vertica
- Hadoop 集群
- Apache Storm 集群
- Apache Kafka 环境
- 在 EC2 上运行的任何自管理大数据工作负载也可以在 AWS 完全托管的容器编排服务(如 Amazon ECS、Amazon EKS 和 AWS Fargate)上运行。Fargate 是一种适用于容器的无服务器计算引擎,可与 ECS 和 EKS 配合使用。
理想的使用模式
- 专用环境– 在运行自定义应用程序、标准 Hadoop 集的变体或其他 AWS 产品未涵盖的应用程序时,Amazon EC2 可提供灵活性和可扩展性来满足您的计算需求。
- 合规性要求– 某些合规性要求可能要求您在 Amazon EC2 上自行运行应用程序,而不是使用托管服务产品。
成本模型
- Amazon EC2 拥有多个实例系列(标准、高 CPU、高内存、高 I/O 等)中的多种实例类型,以及不同的定价选项(按需、计算节省计划、预留和 Spot)。
- 在撰写本文时,在 ECS 上运行应用程序时,您只需为底层 EC2 实例付费,无需为使用 ECS 支付额外费用。但是,对于 EKS,您需要为每个 EKS 集群以及底层 EC2 实例每小时额外支付 0.10 美元。
- AWS Fargate 定价根据从您开始下载容器映像到 Amazon ECS 任务或 Amazon EKS2 pod 完成期间所使用的 vCPU、内存和存储资源计算,四舍五入到最接近的秒数。
- 虽然成本取决于基于用例的各种因素,但 Graviton2 实例通常能够提供比上一代实例更好的性价比。根据您的应用程序要求,您可能希望与 Amazon EC2、EKS 或 ECS 一起使用其他服务,例如用于直接连接的持久存储的 Amazon Elastic Block Store (Amazon EBS) 或作为持久对象存储的 S3;每个服务都有自己的定价模型。
- 如果您在 Amazon EC2、EKS 或 ECS 上运行大数据应用程序,则您需要承担任何许可费用,就像在自己的数据中心一样。AWS Marketplace 提供许多不同的第三方大数据软件包,这些软件包经过预先配置,只需单击按钮即可启动。
表现
- Amazon EC2、EKS 或 ECS 的性能取决于您为大数据平台选择的实例类型。每种实例类型都有不同的 CPU、RAM、存储、IOP 和网络功能,因此您可以根据应用程序需求选择合适的性能级别。
耐用性和可用性
- 关键应用程序应在 AWS 区域内的多个可用区中的集群中运行,以便任何实例或数据中心故障都不会影响应用程序用户。
- 对于非正常运行时间关键型应用程序,您可以将应用程序备份到 Amazon S3,并在发生实例或区域故障时还原到该区域中的任何可用区。还有其他选项,具体取决于您正在运行的应用程序和要求,例如镜像您的应用程序。
可扩展性和弹性
- Auto Scaling 是一项服务,可让您根据定义的条件自动扩大或缩小 Amazon EC2 容量。
- 使用 Auto Scaling,您可以确保所使用的 EC2 实例数量在需求高峰期间无缝扩大以保持性能,并在需求低迷期间自动缩小以最大限度地降低成本。
- Auto Scaling 特别适合每小时、每天或每周使用量都会发生变化的应用程序。Auto Scaling 由 CloudWatch 启用,除 CloudWatch 费用外无需支付其他费用。
接口
- 可以通过 API、SDK 或 AWS 管理控制台以编程方式管理 Amazon EC2、EKS 和 ECS。使用控制台或 CloudWatch API 操作可以免费获取计算利用率、内存利用率、存储利用率、网络消耗以及实例的读/写流量指标。
- 在 Amazon EC2 上运行的大数据分析软件的界面根据您选择的软件的特性而有所不同。
反模式
- Amazon EC2 具有以下反模式:
- 托管服务——如果您的要求是托管服务产品,从大数据分析中抽象出基础设施层和管理,那么这种在 Amazon EC2 上管理您自己的分析软件的“自己动手”模式可能不是正确的选择。
- 缺乏专业知识或资源——如果您的组织没有或不想花费资源或专业知识来安装和管理相关系统的高可用性安装,您应该考虑使用 AWS 等效产品,例如 Amazon EMR、DynamoDB、Amazon Kinesis Data Streams 或 Amazon Redshift。
Oncloud AI作为AWS代理商,提供亚马逊云服务,支持亚马逊云服务器AWS代付、AWS迁移、AWS运维托管等服务,如有相关需求可联系Oncloud AI。

