AWSサービスの機能を調べる(Storage)
皆さんは、AWSクラウドが持つ機能を調べるとき、どうしていますか?
また、使おうと考えているサービスの仕様をどのように調べていますか?
私はこのところ、AWSサービスの機能のホントのところを確認するために、AWS公式ホームページの「AWSサービス別資料」で確認を取っています。
(資料には、SlideShare 、PDF 、Youtube があります)
ちまたのインターネットでの技術ネタを調べることも過去多かったのですが、情報の鮮度もありますし、やっぱり本家の情報がしっくりと安心できます!!
今回は、この画面の左にあるカテゴリー分けから「Storage」を選んだときに、各資料にはどのような情報が含まれているかを箇条書きにします。(99-99 形式の数字はページを表します)
Storageカテゴリ
●●資料【01_Elastic Block Store (EBS)】
EBSの概要
15Page ブロックストレージの種類
一時記憶域 ①EC2インスタンスストア
永続記憶域 ②EBSSSD-backedvolumes ③EBSHDD-backedvolumes
16Page EBSのユースケース
SSD 汎用SSD ブートボリューム
プロビジョンドIOPS データベース
HDD スループット最適化HDD ビックデータ、分析ビックデータ、分析
コールドHDD ログデータ、アーカイブ
17Page EBSのボリュームタイプ(SSDタイプ)
18Page EBSのボリュームタイプ(HDDタイプ)
20-26 gp2の概要
27Page io1の概要
28Page スループット最適化HDD – st1
29Page コールドHDD – sc1
30Page st1/sc1のバーストバケットモデル
31Page gp2 と io1 の IOPS カウント
EC2インスタンスとパフォーマンスの考慮
33Page EC2インスタンスとパフォーマンスの考慮
34Page パターン1. EC2インスタンス側のスループットを改善する
35Page パターン2. EBS ボリューム側のI/O処理性能を改善する
36Page パターン3. EBS側のスループットを改善する
37-47 EC2とEBS間のボトルネック
48-50 最大性能のEC2とEBS
監視
52Page 監視の考え方
53Page EBS の監視
55-57 NVMe SSD
59-60 Elastic Volume
①OSから見て空き容量がなくなってしまった場合でもサイズ変更(拡張)可能
②サイズだけでなく、EBS ボリュームタイプの変更が可能( gp2 → io1 など)
③gp2からst1、sc1への変更:500GiB以下ではないこと、
またルートボリュームではないでないこと
④縮小することはできない
⑤io1 は、サイズとIOPSの両方が変更可能
⑥API、CLI、マネージメントコンソールから操作可能
⑦IOPSの設定は、徐々に反映される
⑧1TiBボリュームが新しい設定になるまで6時間程度必要
⑨反映中(optimizing 状態)は、設定前のIOPSと設定後のIOPSの間のIOPSを提供
⑩1度変更すると6時間は変更不可
62-77 EBSのSnapshot
①Snapshot 作成時はデータ整合性を保つため静止点を設ける事を推奨
②フルバックアップを削除しても、増分1のバックアップがフルバックアップの情報を保持
③リージョン間コピー:バックアップデータを他リージョンに転送してDRを実現できる
④をCloudWatch Events 連携でリージョン間コピーを自動化できる
⑤Snapshotからリストア:Snapshotから新規EBSを作成し、EC2にアタッチ。
古いEBSは不要であれば削除。
73-74 Systems ManagerのRun Commandを利用したSnapshot
75Page CloudWatch Eventsを利用したSnapshot
76Page DLMを利用したSnapshot
77Page AWS Backupを利用したSnapshot
79-82 暗号化
①EBS ボリューム作成後に暗号化を施したい場合は、Snapshot経由で暗号化を有効にできる
②起動ボリュームの暗号化もサポート。有効化はAMIのコピー機能を利用する。
83Page EBSの価格
●●資料【02_S3_Glacier】
14Page S3 特徴 ①Amazon S3 特徴 ②スケーラブル(RAID、RAIDコントローラを考える必要がない)
18Page データの更新・削除にはEventual Consistency Readモデル(結果整合性)
20Page S3 の操作:GET、PUT、LIST、COPY、DELETE、HEAD、RESTORE、SELECT
23Page アクセス管理:ユーザポリシー、バケットポリシー、ACL
27Page S3アクセスフロー
29-30 S3 Block Public Access
31Page VPC Endpoint
32-33 署名付きURL
34-35 WebサイトホスティングCORS(Cross-origin Resource Sharing)の設定
S3のデータ保護
37Page サーバサイド暗号化、クライアントサイド暗号化
38Page バージョン管理
39-41 S3 Object Lock (WORM機能)
42Page クロスリージョンレプリケーション
S3のデータ管理
44Page S3 Standard 、S3 Standard-IA 、S3 One Zone-IA 、S3 Glacier 、S3 Glacier Deep Archive
45-49 ライフサイクル管理
51-52 S3 Analytics
53-54 S3 インベントリ
55Page S3 バッチオペレーション(Preview)
56-57 S3 イベント通知
58-60 CloudWatchによるメトリクス管理
61Page その他のモニタリングや管理に有効な機能
63-64 S3 パフォーマンス最適化
65Page S3 Transfer Acceleration
66Page S3 とDirect Connect
67-68 S3 Select
S3の料金
71-74 S3の料金
●●資料【03_Elastic File System (EFS)】
27Page 汎用モード/最大I/O モード => メリットがあるかどうかは CloudWatch の PercentIOLimit から判断 -> 33,55Page
29Page EFSの NFSクライアント:EFSマウントヘルパー(amazon-efs-utilsパッケージに含まれている)
36Page 2019/05 時点での制限:Youtubeと内容に違いあり
38-43 ファイルシステムの作成(EFS コンソール画面):Youtubeと内容に違いあり(2018/07)
46Page EFS FileSync によるNFSサーバー移行
64-67 プロビジョンド・スループット
●●資料【04_FSx for Lustre】
7Page AWSにおけるコンピュートインテンシブワークロードに向けたサービス
①コンピュート
②管理自動化 AWS Batch AWS ParallelCluster Amazon SageMaker
③ネットワーク Placement Group Enhanced Networking Elastic Fabric Adapter
④可視化 NICE-DCV Amazon AppStream 2.0
9Page コンピュートインテンシブワークローにおける既存ストレージ構成の課題
16-22 Amazon FSx for Lustre特徴
24-31 FSx for Lustre の使用方法
32-33 DEMO:FSx for Lustre
FSx for Lustre 活用方法・事例
35Page クラウドバースティング
36Page AWS ParallelClusterとの連携
FSx for Lustre Tips
39Page パフォーマンスTIPS
40Page Lustre stripe sizeによるチューニング
41Page Lustre 使用状況の確認
42Page Lustre クライアントサポート
43Page 利用上の注意
46Page 価格
47Page コスト算出例
●●資料【05_FSx for Windows Server】
9Page ファイルストレージの違い
①Amazon EFS NFSのクラウドネイティブな分散ファイルシステム
②Amazon FSx for Windows File Server SMBアクセス、
AD/Windows ACL対応のWindowsネイティブなファイルサーバー
③Amazon FSx for Lustre
HPC・メディア処理などの大量クライアント&高スループット
&低レイテンシ⼀時的ファイルサーバー
18Page サポートされるクライアント
22Page アーキテクチャー
23Page <参考>ファイルシステムの DNS 名
24Page <参考>AWS Directory Service の準備
25Page <参考>ファイルシステムの作成
26-29 <参考>ファイルシステムの詳細情報を入力
30Page <参考>サマリー
31-32 <参考>ファイルシステムのアタッチ
33Page パフォーマンス
34Page キャッシュによるスループットの向上
35Page Inter-AZ アクセス
36Page <参考>DFS 名前空間と DFS レプリケーション
37Page Multi-AZ アーキテクチャー/ DFS レプリケーションによる⾼可⽤性構成
38Page DFS 名前空間による⼤規模ファイルサーバーの管理
39Page リードレプリカを使⽤したスケールアウトによるパフォーマンスの向上
40Page シャードを使⽤したスケールアウトによるパフォーマンスの向上
41Page バックアップとメンテナンス
42Page 既存ファイルサーバーの移行
43Page 暗号化によるセキュリティとデータ保護
44Page VPC セキュリティグループによるアクセス制御
45Page 料金
46Page リソース制限
●●資料【06_Storage Gateway】
オンプレミスのファイルデータをAWS Storage Gateway経由で、AWSで使えるようにする。
●●資料【07_Snowball】
ハードウェアアプライアンス Snowball を使って、オンプレミスの大量データをAWSに移行する。
●●資料【08_Snowball Edge】
Snowball にプラスして、コンピュート機能を使って、データ処理を行うことができる。