AWSサービスの機能を調べる(Storage)

皆さんは、AWSクラウドが持つ機能を調べるとき、どうしていますか?

また、使おうと考えているサービスの仕様をどのように調べていますか?

私はこのところ、AWSサービスの機能のホントのところを確認するために、AWS公式ホームページの「AWSサービス別資料」で確認を取っています。
(資料には、SlideShare 、PDF 、Youtube があります)

ちまたのインターネットでの技術ネタを調べることも過去多かったのですが、情報の鮮度もありますし、やっぱり本家の情報がしっくりと安心できます!!

今回は、この画面の左にあるカテゴリー分けから「Storage」を選んだときに、各資料にはどのような情報が含まれているかを箇条書きにします。(99-99 形式の数字はページを表します)

Storageカテゴリ

●●資料【01_Elastic Block Store (EBS)】

EBSの概要

15Page ブロックストレージの種類
    一時記憶域 ①EC2インスタンスストア
    永続記憶域 ②EBSSSD-backedvolumes ③EBSHDD-backedvolumes
16Page EBSのユースケース
    SSD 汎用SSD ブートボリューム
    プロビジョンドIOPS データベース
    HDD スループット最適化HDD ビックデータ、分析ビックデータ、分析
    コールドHDD ログデータ、アーカイブ
17Page  EBSのボリュームタイプ(SSDタイプ)
18Page  EBSのボリュームタイプ(HDDタイプ)

20-26   gp2の概要
27Page  io1の概要
28Page  スループット最適化HDD – st1
29Page  コールドHDD – sc1
30Page  st1/sc1のバーストバケットモデル
31Page  gp2 と io1 の IOPS カウント

EC2インスタンスとパフォーマンスの考慮

33Page  EC2インスタンスとパフォーマンスの考慮
34Page  パターン1. EC2インスタンス側のスループットを改善する
35Page  パターン2. EBS ボリューム側のI/O処理性能を改善する
36Page  パターン3. EBS側のスループットを改善する
37-47   EC2とEBS間のボトルネック
48-50   最大性能のEC2とEBS

監視

52Page  監視の考え方
53Page  EBS の監視

55-57   NVMe SSD

59-60 Elastic Volume
    ①OSから見て空き容量がなくなってしまった場合でもサイズ変更(拡張)可能
    ②サイズだけでなく、EBS ボリュームタイプの変更が可能( gp2 → io1 など)
    ③gp2からst1、sc1への変更:500GiB以下ではないこと、
     またルートボリュームではないでないこと
    ④縮小することはできない
    ⑤io1 は、サイズとIOPSの両方が変更可能
    ⑥API、CLI、マネージメントコンソールから操作可能
    ⑦IOPSの設定は、徐々に反映される
    ⑧1TiBボリュームが新しい設定になるまで6時間程度必要
    ⑨反映中(optimizing 状態)は、設定前のIOPSと設定後のIOPSの間のIOPSを提供
    ⑩1度変更すると6時間は変更不可

62-77  EBSのSnapshot
    ①Snapshot 作成時はデータ整合性を保つため静止点を設ける事を推奨
    ②フルバックアップを削除しても、増分1のバックアップがフルバックアップの情報を保持
    ③リージョン間コピー:バックアップデータを他リージョンに転送してDRを実現できる
    ④をCloudWatch Events 連携でリージョン間コピーを自動化できる
    ⑤Snapshotからリストア:Snapshotから新規EBSを作成し、EC2にアタッチ。
                古いEBSは不要であれば削除。

73-74   Systems ManagerのRun Commandを利用したSnapshot
75Page  CloudWatch Eventsを利用したSnapshot
76Page  DLMを利用したSnapshot
77Page  AWS Backupを利用したSnapshot

79-82 暗号化
   ①EBS ボリューム作成後に暗号化を施したい場合は、Snapshot経由で暗号化を有効にできる
   ②起動ボリュームの暗号化もサポート。有効化はAMIのコピー機能を利用する。

83Page  EBSの価格

●●資料【02_S3_Glacier】

14Page  S3 特徴  ①Amazon S3 特徴 ②スケーラブル(RAID、RAIDコントローラを考える必要がない)
18Page  データの更新・削除にはEventual Consistency Readモデル(結果整合性)
20Page  S3 の操作:GET、PUT、LIST、COPY、DELETE、HEAD、RESTORE、SELECT
23Page  アクセス管理:ユーザポリシー、バケットポリシー、ACL
27Page  S3アクセスフロー
29-30   S3 Block Public Access
31Page  VPC Endpoint
32-33    署名付きURL
34-35    WebサイトホスティングCORS(Cross-origin Resource Sharing)の設定

S3のデータ保護

37Page  サーバサイド暗号化、クライアントサイド暗号化
38Page  バージョン管理
39-41   S3 Object Lock (WORM機能)
42Page  クロスリージョンレプリケーション

S3のデータ管理

44Page   S3 Standard 、S3 Standard-IA 、S3 One Zone-IA 、S3 Glacier 、S3 Glacier Deep Archive
45-49   ライフサイクル管理
51-52   S3 Analytics
53-54   S3 インベントリ
55Page   S3 バッチオペレーション(Preview)
56-57    S3 イベント通知
58-60    CloudWatchによるメトリクス管理
61Page  その他のモニタリングや管理に有効な機能

63-64   S3 パフォーマンス最適化
65Page  S3 Transfer Acceleration
66Page  S3 とDirect Connect
67-68   S3 Select

S3の料金

71-74 S3の料金

●●資料【03_Elastic File System (EFS)】

27Page  汎用モード/最大I/O モード => メリットがあるかどうかは CloudWatch の PercentIOLimit から判断 -> 33,55Page

29Page  EFSの NFSクライアント:EFSマウントヘルパー(amazon-efs-utilsパッケージに含まれている)

36Page  2019/05 時点での制限:Youtubeと内容に違いあり

38-43   ファイルシステムの作成(EFS コンソール画面):Youtubeと内容に違いあり(2018/07)

46Page  EFS FileSync によるNFSサーバー移行

64-67   プロビジョンド・スループット

●●資料【04_FSx for Lustre】

7Page  AWSにおけるコンピュートインテンシブワークロードに向けたサービス
    ①コンピュート
    ②管理自動化 AWS Batch AWS ParallelCluster Amazon SageMaker
    ③ネットワーク Placement Group Enhanced Networking Elastic Fabric Adapter
    ④可視化 NICE-DCV Amazon AppStream 2.0

9Page  コンピュートインテンシブワークローにおける既存ストレージ構成の課題
16-22  Amazon FSx for Lustre特徴
24-31  FSx for Lustre の使用方法
32-33  DEMO:FSx for Lustre

FSx for Lustre 活用方法・事例

35Page  クラウドバースティング
36Page  AWS ParallelClusterとの連携

FSx for Lustre Tips

39Page  パフォーマンスTIPS
40Page  Lustre stripe sizeによるチューニング
41Page  Lustre 使用状況の確認
42Page  Lustre クライアントサポート
43Page  利用上の注意

46Page  価格
47Page  コスト算出例

●●資料【05_FSx for Windows Server】

9Page  ファイルストレージの違い
    ①Amazon EFS NFSのクラウドネイティブな分散ファイルシステム
    ②Amazon FSx for Windows File Server SMBアクセス、
     AD/Windows ACL対応のWindowsネイティブなファイルサーバー
    ③Amazon FSx for Lustre
     HPC・メディア処理などの大量クライアント&高スループット
     &低レイテンシ⼀時的ファイルサーバー

18Page  サポートされるクライアント
22Page  アーキテクチャー
23Page  <参考>ファイルシステムの DNS 名
24Page  <参考>AWS Directory Service の準備
25Page  <参考>ファイルシステムの作成
26-29   <参考>ファイルシステムの詳細情報を入力
30Page  <参考>サマリー
31-32   <参考>ファイルシステムのアタッチ
33Page  パフォーマンス
34Page  キャッシュによるスループットの向上
35Page  Inter-AZ アクセス
36Page  <参考>DFS 名前空間と DFS レプリケーション
37Page  Multi-AZ アーキテクチャー/ DFS レプリケーションによる⾼可⽤性構成
38Page  DFS 名前空間による⼤規模ファイルサーバーの管理
39Page  リードレプリカを使⽤したスケールアウトによるパフォーマンスの向上
40Page  シャードを使⽤したスケールアウトによるパフォーマンスの向上
41Page  バックアップとメンテナンス
42Page  既存ファイルサーバーの移行
43Page  暗号化によるセキュリティとデータ保護
44Page  VPC セキュリティグループによるアクセス制御

45Page  料金
46Page  リソース制限

●●資料【06_Storage Gateway】

オンプレミスのファイルデータをAWS Storage Gateway経由で、AWSで使えるようにする。

●●資料【07_Snowball】

ハードウェアアプライアンス Snowball を使って、オンプレミスの大量データをAWSに移行する。

●●資料【08_Snowball Edge】

Snowball にプラスして、コンピュート機能を使って、データ処理を行うことができる。