2.5. S3バケットへの通知設定(SNS)の追加

作業の目的 [why]

S3バケット"handson20170904data-XXXXXXXXXXXX"に通知設定を追加する。

作業対象 [what]

  • S3バケット

標準時間

8分

前提条件

作業権限条件 [who]

本作業は、以下の作業権限を有する人が行います。

作業権限条件: S3への権限

S3に対してフル権限があること。

作業権限条件: SNSへの権限

SNSへのRead権限があること。

作業環境条件 [where]

本作業は、以下の作業環境で行います。

作業環境条件1: OSとバージョン

Amazon Linuxの以下のバージョンで動作確認済

コマンド:

cat /etc/issue | head -1

結果(例):

Amazon Linux AMI release 2016.09

作業環境条件2: シェルとバージョン

bashの以下のバージョンで動作確認済

コマンド:

bash --version -v | head -1

結果(例):

GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)

作業環境条件3: AWS CLIのバージョン

以下のバージョンで動作確認済

  • AWS CLI 1.11.117

コマンド:

aws --version

結果(例):

aws-cli/1.11.144 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.7.2

バージョンが古い場合は最新版に更新しましょう。

コマンド:

sudo -H pip install -U awscli

開始条件

作業に必要なモノ・情報 [resource]

作業開始には、以下が全て揃っていることが必要です。

リソース1: S3バケット名

  • 作成するS3バケットの名称です。
  • 今回は"handson20170904data-XXXXXXXXXXXX"とします。

作業開始には、以下が全て揃っていることが必要です。

リソースx: SNSトピック名

  • 通知先のSNSトピックの名称です。
  • 今回は"handson20170904"とします。

作業開始 [when]

以下を全て満たしているとき、作業を開始します。

  • 開始の指示があった場合。

タスクの実施

0. パラメータの指定

まず変数の確認をします。

変数の確認:

cat << ETX

  0.a. AWS_DEFAULT_PROFILE:   actual: ${AWS_DEFAULT_PROFILE}
                              expect: <S3のフル権限が許可されているプロファイル>
  0.b. AWS_DEFAULT_REGION:    actual: ${AWS_DEFAULT_REGION}
                              expect: ap-northeast-1

  0.1. S3_BUCKET_NAME:        actual: ${S3_BUCKET_NAME}
                              expect: handson20170904data-XXXXXXXXXXXX
  0.2. S3_NOTIFICATION_EVENT  actual: ${S3_NOTIFICATION_EVENT}
                              expect: s3:ObjectCreated:*
  0.3. SNS_TOPIC_NAME         actual: ${SNS_TOPIC_NAME}
                              expect: handson20170904
  0.4. S3_NOTIFICATION_ID     actual: ${S3_NOTIFICATION_ID}
                              expect: s3:ObjectCreated-All-handson20170904

ETX

変数が入っていない、適切でない場合は、それぞれの手順番号について作業を行います。

0.a. プロファイルの指定

プロファイルの一覧を確認します。

コマンド:

cat ~/.aws/credentials \
 | grep '\[' \
 | sed 's/\[//g' | sed 's/\]//g'

結果(例):

iamFull-prjz-mbpr13
<S3のフル権限が許可されているプロファイル>

変数の設定:

export AWS_DEFAULT_PROFILE='<S3のフル権限が許可されているプロファイル>'

0.b. リージョンの指定

変数の設定

export AWS_DEFAULT_REGION='ap-northeast-1'

0.1. S3バケット名の指定

S3バケット名を指定します。

変数の設定:

S3_BUCKET_NAME='handson20170904data-XXXXXXXXXXXX'

0.2. S3イベント名の指定

S3イベント名を指定します。

変数の設定:

S3_NOTIFICATION_EVENT='s3:ObjectCreated:*'

0.3. SNSトピック名の指定

SNSトピック名を指定します。

変数の設定:

SNS_TOPIC_NAME='handson20170904'

0.4. 通知IDの指定

通知IDを指定します。

変数の設定:

S3_NOTIFICATION_ID="s3:ObjectCreated-All-${SNS_TOPIC_NAME}" \
  && echo ${S3_NOTIFICATION_ID}

再確認

設定されている変数の内容を再確認します。

変数の確認:

cat << ETX

  0.a. AWS_DEFAULT_PROFILE:   actual: ${AWS_DEFAULT_PROFILE}
                              expect: <S3のフル権限が許可されているプロファイル>
  0.b. AWS_DEFAULT_REGION:    actual: ${AWS_DEFAULT_REGION}
                              expect: ap-northeast-1

  0.1. S3_BUCKET_NAME:        actual: ${S3_BUCKET_NAME}
                              expect: handson20170904data-XXXXXXXXXXXX
  0.2. S3_NOTIFICATION_EVENT  actual: ${S3_NOTIFICATION_EVENT}
                              expect: s3:ObjectCreated:*
  0.3. SNS_TOPIC_NAME         actual: ${SNS_TOPIC_NAME}
                              expect: handson20170904
  0.4. S3_NOTIFICATION_ID     actual: ${S3_NOTIFICATION_ID}
                              expect: s3:ObjectCreated-All-handson20170904

ETX

1. 前処理

1.1. 処理対象の状態確認

主処理の実施は、以下の状態であることを前提とします。

前提と異なることが判明した場合、直ちに処理を中止します。

事前条件1: S3バケット"handson20170904data-XXXXXXXXXXXX"が存在する。

「S3バケット"handson20170904data-XXXXXXXXXXXX"が存在する。」ことを確認します。

コマンド:

aws s3api list-buckets \
  --query "Buckets[?Name == \`${S3_BUCKET_NAME}\`].Name"

結果(例):

[
  "handson20170904data-XXXXXXXXXXXX"
]

事前条件2: S3バケット"handson20170904data-XXXXXXXXXXXX"に通知設定が存在しない。

「S3バケット"handson20170904data-XXXXXXXXXXXX"に通知設定が存在しない。」ことを確認します。

コマンド:

aws s3api get-bucket-notification \
  --bucket ${S3_BUCKET_NAME}

結果(例):

(出力なし)

1.2. 主処理に必要な情報の取得

SNSトピックのARN取得

変数の設定:

SNS_TOPIC_ARN=$( \
  aws sns list-topics \
    --query "Topics[?contains(TopicArn, \`${SNS_TOPIC_NAME}\`)].TopicArn" \
    --output text \
) \
  && echo ${SNS_TOPIC_ARN}

結果(例):

arn:aws:sns:ap-northeast-1:XXXXXXXXXXXX:handson20170904

設定文字列の生成

変数の設定:

S3_NOTIFICATION_STRING="TopicConfiguration={Id=${S3_NOTIFICATION_ID},Event=${S3_NOTIFICATION_EVENT},Topic=${SNS_TOPIC_ARN}}" \
  && echo ${S3_NOTIFICATION_STRING}

結果(例):

TopicConfiguration={Id=s3:ObjectCreated-All-handson20170904,Event=s3:ObjectCreated:*,Topic=arn:aws::sns:ap-northeast-1:XXXXXXXXXXXX:handson20170904"

2. 主処理

通知設定の追加

変数:

cat << ETX

  S3_BUCKET_NAME:         actual: ${S3_BUCKET_NAME}
                          expect: handson20170904data-XXXXXXXXXXXX

  S3_NOTIFICATION_STRING: actual: ${S3_NOTIFICATION_STRING}
                          expect: TopicConfiguration={Id=s3:ObjectCreated-All-handson20170904,Event=s3:ObjectCreated:*,Topic=arn:aws:sns:ap-northeast-1:XXXXXXXXXXXX:handson20170904}

ETX

コマンド:

aws s3api put-bucket-notification \
  --bucket ${S3_BUCKET_NAME} \
  --notification-configuration ${S3_NOTIFICATION_STRING}

結果(例):

(出力なし)

3. 後処理

完了条件の確認

主処理は、以下を満たしたときに成功したものとします。

完了条件1: S3バケット"handson20170904data-XXXXXXXXXXXX"に通知設定が存在する。

「S3バケット"handson20170904data-XXXXXXXXXXXX"に通知設定が存在する。」ことを確認します。

コマンド:

aws s3api get-bucket-notification \
  --bucket ${S3_BUCKET_NAME} \
  --query 'TopicConfiguration.Id'

結果(例):

"s3:ObjectCreated-All-handson20170904"

完了条件2: S3バケット"handson20170904data-XXXXXXXXXXXX"の通知設定が想定に内容になっている。

「S3バケット"handson20170904data-XXXXXXXXXXXX"の通知設定が想定に内容になっている。」ことを確認します。

コマンド:

aws s3api get-bucket-notification \
  --bucket ${S3_BUCKET_NAME}

結果(例):

{
  "TopicConfiguration": {
    "Topic": "arn:aws:sns:ap-northeast-1:XXXXXXXXXXXX:handson20170904",
    "Id": "s3:ObjectCreated-All-handson20170904",
    "Event": "s3:ObjectCreated:*",
    "Events": [
      "s3:ObjectCreated:*"
    ]
  }
}

完了