Apache Airflow

배치작업스케줄링돌려서일좀시키려는데워크플로우관리도같이시키려고이것저것찾아보다가원래쓰던argo-workflows가아닌옛날부터유명했던에어플로우가눈에들어와서설치해봤는데

역시 헬름차트! 표준이 되어버린 실패헌 설계의 소프트웨어 때문에 시간 날려주시고 persistence와 gitSync중에 하나를 선택해야하는데 둘다 트루해놓으니gitsync를무시한다..경고도없네씪발

airflow는구조가왜이따위인거지이거그냥로컬에설치하고쓸라고만든거아닌가? 아무리봐도구조각가그렇네..리뉴얼이라도했어야지이걸그냥쓸수가없다

기본값이 requirements.txt를뭉뚱그려서실행시키는방식이고 venv적용도 프로젝트단위로안된다. 프로젝트단위라고하기엔…dags디렉토리도한개밖에지원이안된다. 하위디렉토리에 대충쑤셔넣어서 처리해야한다

gitSync는여러리포지터리연결하려면서브모듈을쓰라네?왜이따위인가고민했는데dags디렉토리에서 어차피인식이 안되니까 여러개의gitSync를지원하는게의미가없어서이렇게했나보다 싶었다

venv도제대로못하면컨테이너방식은어떨까했는데컨테이너방식은또애매하다. 도커이미지를생성해서올리고dag는별도배포를해야하네…이건나쁘진않은데dag를별도로관리해야한다는점에서 또 쓰기가싫다

결론

airflow는 개인데탑용이다. 서버에서 공용인프라로 쓸거라면 다른거 쓰자 argo workflows추천

비슷한것들

• https://github.com/temporalio/temporal 13.8k
• https://github.com/PrefectHQ/prefect 19.2k
  • https://www.datacamp.com/blog/airflow-alternatives
• https://github.com/kubeflow/kubeflow 14.9k
• https://github.com/dagster-io/dagster 13.1k
• https://github.com/argoproj/argo-workflows 15.6k

• https://github.com/apache/airflow 39.9k

• https://github.com/apache/nifi 5.3k
• https://github.com/kedro-org/kedro 10.3k
• https://github.com/spotify/luigi 18.3k
• https://github.com/airbytehq/airbyte 18k
• https://github.com/mage-ai/mage-ai 8.3k
• https://github.com/astronomer ???

• apache oozie??

• aws data factory
• google cloud dataflow
• azure step functions