私たちオンクラウドAIこの記事では、Amazon EC2 の多様なコンピューティングインスタンスポートフォリオと、ビッグデータ分析、自己管理型アプリケーション、コンテナ化されたサービスにおけるその利点について説明します。 EC2 は、最新の Intel、AMD、AWS Graviton プロセッサに基づくインスタンス選択をサポートし、ユーザーがパフォーマンスとコストを最適化できるようにします。さらに、EC2 は専用環境での負荷計算やコンプライアンス要件に適しており、柔軟な価格モデルと柔軟な拡張機能を備えています。 ECS、EKS、Fargate などのマネージド コンテナ サービスとの組み合わせにより、ビッグ データ ワークロードの運用オプションがさらに充実します。
- Amazon EC2 は、最新世代の Intel および AMD プロセッサを搭載した多数のインスタンスを含む、最も幅広く充実したコンピューティングインスタンスのポートフォリオを提供します。 AWS Graviton プロセッサにより選択肢が広がり、お客様がワークロードのパフォーマンスとコストを最適化できるようになります。
- ただし、このホワイト ペーパーに記載されている他のサービスに付属するアプリケーション レベルのマネージド サービスは提供されません。自己管理型ビッグデータ分析には多くのオプションがあります。
-
- MongoDBなどのNoSQL製品
- Verticaなどのデータウェアハウスまたは列指向ストレージ
- Hadoopクラスター
- Apache Storm クラスター
- Apache Kafka 環境
- EC2 上で実行されるセルフマネージドのビッグデータワークロードは、Amazon ECS、Amazon EKS、AWS Fargate などの AWS のフルマネージドコンテナオーケストレーションサービスでも実行できます。 Fargate は、ECS および EKS と連携するコンテナ用のサーバーレス コンピューティング エンジンです。
理想的な使用モード
- 専用環境– カスタムアプリケーション、標準 Hadoop スタックのバリエーション、または他の AWS 製品でカバーされていないアプリケーションを実行する場合、Amazon EC2 はコンピューティングのニーズを満たす柔軟性とスケーラビリティを提供します。
- コンプライアンス要件– 特定のコンプライアンス要件では、マネージド サービスを使用するのではなく、Amazon EC2 でアプリケーションを自分で実行することが求められる場合があります。
コストモデル
- Amazon EC2 には、複数のインスタンスファミリー (標準、高 CPU、高メモリ、高 I/O など) にわたる複数のインスタンスタイプと、さまざまな料金オプション (オンデマンド、コンピューティング節約プラン、リザーブド、スポット) があります。
- 本稿執筆時点では、ECS 上でアプリケーションを実行する場合、基盤となる EC2 インスタンスに対してのみ料金が発生し、ECS の使用に対して追加料金は発生しません。ただし、EKS を使用する場合は、EKS クラスターと基盤となる EC2 インスタンスごとに 1 時間あたり 0.10 ドルの追加料金を支払う必要があります。
- AWS Fargate の料金は、コンテナイメージのダウンロードを開始した時点から Amazon ECS タスクまたは Amazon EKS2 ポッドが完了するまでに使用された vCPU、メモリ、およびストレージリソースに基づいて計算され、最も近い秒数に切り上げられます。
- コストはユースケースに基づいてさまざまな要因に依存しますが、Graviton2 インスタンスは一般に、以前の世代のインスタンスに比べて優れた価格/パフォーマンスを提供します。アプリケーションの要件に応じて、直接接続された永続ストレージ用の Amazon Elastic Block Store (Amazon EBS) や永続オブジェクトストレージとしての S3 など、Amazon EC2、EKS、ECS と一緒に他のサービスを使用することもできます。各サービスには独自の価格モデルがあります。
- ビッグデータアプリケーションを Amazon EC2、EKS、または ECS で実行する場合、独自のデータセンターの場合と同様に、ライセンスコストはお客様の負担となります。 AWS Marketplace では、事前に設定されており、ボタンをクリックするだけで起動できるさまざまなサードパーティ製ビッグデータ ソフトウェア パッケージが提供されています。
パフォーマンス
- Amazon EC2、EKS、ECS のパフォーマンスは、ビッグデータ プラットフォームに選択したインスタンス タイプによって異なります。各インスタンス タイプには異なる CPU、RAM、ストレージ、IOPS、ネットワーク機能があるため、アプリケーションのニーズに適したパフォーマンス レベルを選択できます。
耐久性と可用性
- 重要なアプリケーションは、インスタンスまたはデータセンターの障害がアプリケーション ユーザーに影響を与えないように、AWS リージョン内の複数のアベイラビリティーゾーンにまたがるクラスターで実行する必要があります。
- 稼働時間が重要でないアプリケーションの場合は、アプリケーションを Amazon S3 にバックアップし、インスタンスまたはゾーンに障害が発生した場合にリージョン内の任意のアベイラビリティーゾーンに復元できます。実行しているアプリケーションや要件に応じて、アプリケーションのミラーリングなどの他のオプションもあります。
スケーラビリティとレジリエンス
- Auto Scaling は、定義した条件に基づいて Amazon EC2 の容量を自動的に拡大または縮小できるサービスです。
- Auto Scaling を使用すると、使用する EC2 インスタンスの数を、需要がピークの期間にはパフォーマンスを維持するためにシームレスにスケールアップし、需要が低い期間にはコストを最小限に抑えるために自動的にスケールダウンすることができます。
- Auto Scaling は、使用量が時間ごと、日ごと、週ごとに変化するアプリケーションに特に適しています。 Auto Scaling は CloudWatch によって有効化され、CloudWatch の料金以外の追加料金なしで利用できます。
インタフェース
- Amazon EC2、EKS、ECS は、API、SDK、または AWS マネジメントコンソールを通じてプログラムで管理できます。インスタンスのコンピューティング使用率、メモリ使用率、ストレージ使用率、ネットワーク消費量、読み取り/書き込みトラフィックのメトリクスは、コンソールまたは CloudWatch API 操作を使用して無料で利用できます。
- Amazon EC2 で実行されるビッグデータ分析ソフトウェアのインターフェースは、選択したソフトウェアの機能によって異なります。
アンチパターン
- Amazon EC2 には次のアンチパターンがあります。
- ホスティングサービス-- ビッグデータ分析からインフラストラクチャ層と管理を抽象化するマネージドサービス提供が必要な場合は、Amazon EC2 で独自の分析ソフトウェアを管理するこの「自分で行う」モデルは適切な選択ではない可能性があります。
- 専門知識やリソースの不足組織に関連システムの高可用性インストールと管理のためのリソースや専門知識がない、または費やすことを望まない場合は、Amazon EMR、DynamoDB、Amazon Kinesis Data Streams、Amazon Redshift などの AWS 同等製品の使用を検討する必要があります。
オンクラウドAIAWS エージェントとして、Amazon クラウド サービスの提供、Amazon クラウド サーバーの AWS 支払いのサポート、AWS 移行、AWS 運用保守ホスティングなどのサービスを提供します。関連するニーズがございましたら、お問い合わせください。オンクラウドAI。