serverless-application-model & sam-cli コードリーディングメモ

リポジトリの構造メモ

SAM CLI と SAM の関係性

• awslabs/serverless-application-model の成果物は pip の aws-sam-translator としてリリースされるようだ
• awslabs/aws-sam-cli 側にて該当 pip パッケージへの依存は requirements/base.txt で定義されており、バージョンアップ時に bump する形
• したがって流れとしては SAM 側の変更がまず develop に取り込まれ aws-sam-translator のリリース待ち状態となり、これがリリースされると SAM CLI 側で該当のパッケージへの依存がアップデートされ、最終的にそちらのリリース待ちとなるようだ
• dev 版の SAM CLI である samdev はここに書いてある手順で導入可能なので、新機能をいち早く使いたければこれを用いる
• また、まだリリースされてない aws-sam-translator の機能を使いたい場合は、ここに書いてある手順にしたがう

input/output test とは

• aws-sam-translator は基本的に YAML を変換するだけのソフトウェア
• このリポジトリは README に書いてあるとおり、たくさんのテストにより、ふるまいの破壊的な変更を防いでいる
• input/output test とはその名のとおり、input の YAML が最終的にどのような CloudFormation テンプレートに翻訳されるのかをテストするものになる
  • tests/translator 下の input, output にそれぞれ元の YAML と変換後の JSON を突っ込む
  • output については正常系は aws-us-gov, aws-cn, その他の 3 つのファイルを追加する必要がある点に注意

ソースコードリーディングメモ

論理 ID のランダム生成は logical_id_generator が行なっている

• API Gateway のステージ名が _ を含んでいるとエラーになる問題 があり、その修正 pull request が丁寧でとても参考になる
• pull request の Author は、変更が破壊的にならないように _ を含んでいないステージ名のリソースに関してはこれまでと論理 ID の生成ロジックを変更しないように工夫をしている
• ところで論理 ID には _ を含んではいけないので、それが含まれるものには samtranslator.translator.logical_id_generator を用いてランダムな ID を生成するという形をとっている
  • この issue に着手しようとして、この部分に悩んでいるうちに pull request が出ていてなるほどなーとなったのでメモ

Lambda のイベントトリガーと EventSource モデル

• Lambda 関数をトリガーするイベントソースの簡易的な記法をサポートするためのモデル群
• push 型, pull 型に分類され、それぞれ samtranslator/model/eventsources/{pull,push}.py に記述されている
  • push 型は Lambda を Invoke するパーミッションを与える必要があるため Lambda::Permission リソースを作成する基底クラスを継承している
  • pull 型は Lambda に EventSourceMapping を設定する必要があるため Lambda::EventSourceMapping リソースを作成し、関数のロールに各イベントソースからデータを取得するためのポリシーを追加してあげるような基底クラスを継承している

aws-sam-cli & sam-translator 一般のハナシ

deploy 時のアレコレ

• --parameter-overrides でパラメタ指定

sam deploy --template-file packaged.yaml --stack-name $StackName --capabilities CAPABILITY_NAMED_IAM --profile $AWSProfile \
  --parameter-overrides \
    "Param1=Value1"

sam logs コマンド

sam logs [-n FUNCTION_NAME] [--stack-name STACK_NAME]

開発時のメモ

transform 動作の確認

aws cloudformation package --template-file MY_TEMPLATE_PATH --output-template-file output-template.yaml --s3-bucket MY_S3_BUCKET

bin/sam-translate.py --template-file=output-template.yaml

aws cloudformation deploy --template-file cfn-template.json --capabilities CAPABILITY_NAMED_IAM --stack-name MY_STACK_NAME

関わった変更メモ

WIP

Custom Statements の組み込み関数対応

• Looks like this code isn't taking intrinsic functions into account
  • 英語表現: "take A into account" 「A を考慮する」というの知らなかったのでちょっと迷った

• Fn::Base64
• Fn::Cidr
• 条件関数
  • Fn::And
  • Fn::Equals
  • Fn::If
  • Fn::Not
  • Fn::Or
• Fn::FindInMap
• Fn::GetAtt
• Fn::GetAZs
• Fn::ImportValue
• Fn::Join
• Fn::Select
• Fn::Split
• Fn::Sub
• Fn::Transform
• Ref

2019 年 11 月の contributions

SNS-SQS-Lambda オプションに既存のキューを指定できるようにした

落ちてたテストなおした

ドキュメントの誤りを修正

2019 年 10 月の contributions

DynamoDBDStreamReadPolicy の修正

typo 修正

• swagger.py に関連する Issue に取り組んだ時に見つけたので、クソリプっぽいけど出しておいた

2019 年 8 月の contributions

SNS -> SQS -> Lambda 連携オプションの実装

• 個人的にとても欲しかった機能で issue が立っていたので自分で実装した
• SNS -> SQS -> Lambda の連携をサクッと行える変更を作成したが、SNS -> Lambda は push 型なのに対し、SNS -> SQS -> Lambda は Lambda のイベントソース的には pull 型にあたるため push.py 内で pull.py を import する必要があった
• あるシンタックスに対して新規にリソースを生成する場合は docs/internal を更新する必要がある旨を指摘してもらった

ApplicationId の null チェック漏れ修正

• 簡単そうにみえて、なんか serverless_app_plugin.py は raise した例外の扱いが一般的なリソースと違うっぽい？
  • ちょっとこのあたり確認が必要そう

sam init で生成される Java のプロジェクトのメモリを明示的に指定

• aws-sam-cli 側への最初の pull request
• この作業によりテンプレートファイルのありかとこのリポジトリへの pull request の作法がわかりました
  • samcli/local/init/templates/ に各種テンプレがあります

SSMParameterReadPolicy に ssm:GetParametersByPath の許可を追加

• 単純なポリシーテンプレートの機能追加

2019 年 7 月の contributions

Lambda の SNS トリガーのソースとして異なるリージョンのトピックを指定できる機能を追加

• Lambda のイベントソースに関するオブジェクトは基本的に samtranslator/model/eventsources/ にある
• とくに SNS からの通知はプッシュイベントなので、 push.py に定義されている
• あとは、該当の Property を増やして、生成される CloudFormation テンプレートの内容に反映されるようにコードを書き換えるだけで機能追加は終了
• あとは良き感じにテストとドキュメントを更新

RekognitionFacesPolicy の不要なパラメータの除外

• ポリシーテンプレートの変更の仕組みは良き感じに JSON で定義できるようになっている
  • samtranslator/policy_templates_data/policy_templates.json が変換の定義を行う JSON ファイル
• この手の変更は基本的には、前述の JSON の変更と input/output テストだけで良さそう

Lambda 関数のパスパラメータに対するパーミッション設定のバグを修正

• API Gateway のパスパラメータに対するパーミッションの設定がおかしい（けどなんか動いちゃってるやつ）を修正した
• 修正はめっちゃ単純でプロキシパスを replace しているところを、プロキシパス or パスパラメータを表現する正規表現でマッチしてリプレイスするようにしただけなので、あんまり面白くない

SimpleTable の PrimaryKey に Name or Type が指定されてないときの例外処理が抜けてる件について

• なおした
• 単純に to_cloudformation 内の該当箇所にて null チェック的なことして、アレだったら InvalidResourceException を投げるように追記しただけ

api_cognito_auth のサンプルが us-east-1 以外でちゃんと動かない件について

• package.json にスタック名とリージョンがハードコードされてた
• コミットメッセージ思いっきり間違っててスマンって感じだ
  • cord ってなんだよ　紐かよ
  • develop に取り込むタイミングでメンテナが正しい英語に直してくれました、世界平和 ?

docstring がコピペだったので修正

• クソリプ的 pull request だけでみつけちゃったので一応なげといた