Skip to content

mochibuta/mwaa-hands-on

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Setup

1. mwaa-local-runnerのdockerイメージをビルドする

aws-mwaa-local-runnerをclone

git clone https://github.com/aws/aws-mwaa-local-runner

mainブランチがbuild-imageに失敗するので修正する(修正方法) [6e5925bafba68d803e807efc98d53233d80796ad]

cd aws-mwaa-local-runner
vim aws-mwaa-local-runner/docker/config/constraints.txt

- Flask-OpenID==1.2.5
  Flask-OpenID==1.3.0

vscodeでdevcontainerを使用するためにtarを使えるようにする

vim mwaa-local-env

#SYTEM_DEPS=tarをbuild-argに追加
 build_image() {
    docker build --rm --compress -t amazon/mwaa-local:$AIRFLOW_VERSION ./docker --build-arg SYSTEM_DEPS=tar
 }
./mwaa-local-env build-image

2. ローカル環境を起動する

docker compose up -d

起動後、localhost:8080へアクセスする

username: admin
password: test

dagの開発

  • vscodeのRemote-Containers拡張を入れる

  • Ctrl Shift PからRemote-Containers: Reopen in Containerを選択してdagを編集する

  • テストデータをlocalstackに送信

aws s3api create-bucket --bucket test --endpoint-url http://localhost:4566
aws s3 cp ./testdata/test.csv s3://test --recursive --endpoint-url http://localhost:4566

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages