Infra (13) 썸네일형 리스트형 [airflow][crontab] 시간 설정 airflow DAG안에 schedule_interval 에서 시간 설정을 할 수 있다. schedule_interval의 스크립트는 crontab 서식과 같다. ex ) # 매일 9시 30분에 동작 schedule_interval="30 09 * * *", Airflow = schedule_interval =" * * * * * " crontab = * * * * * " * * * * * " 순서대로 * 분 : 1분단위로 가능 (0 ~59) // * 일때 : 1분 단위로 실행 * 시 : 매 시간 가능 (0~23) // * 일때 : 매시간 실행 * 일 : 일 (1~31) // * 일때 : 매일 실행 * 월 : 월 (1~12) // * 일때 : 매달 실행 * 요일 : 요일 (0~7)가능 // * 일때 : .. [airflow] Dag간 연결 하기 (Connecting between Dags) ⏰ dag를 설계할 때, dag 끼리 종속성을 갖지 않는 것이 가장 좋지만 어쩔 수 없이 종속성을 만들어야 하는 경우가 있다. 아래와 같은 상황일 때, dag의 종속성을 갖는 것이 유용하게 사용 된다. 두 dag는 종속되지만 일정이다름 두 dag는 종속 되지만 서로 다른 팀에서 소유 task는 다른 task에 종속되지만 execution_date가 다름 여기서는 dag에서 다른 dag를 호출하는 방법을 설명한다. -> subDAG를 사용하여 dag 종속성을 처리할 수도 있지만, subDAG가 성능 문제를 일으킬 수도 있으므로 dag 종속성으로 처리하는 것을 권장 -> airflow2.0에서는 subdag 사용을 권장 하지 않음. TriggerDagRunOperator -> 해당 operator를 사용하면 동.. [airflow] mysql연결하기 airflow2.0 관련하여 자료가 부족하여, 기록 겸 정리 중입니당 > mysql_conn_id : 이부분이 airflow Connections Id 와 일치 해야함 with DAG(dag_id="daily_dagtest", default_args=default_args, schedule_interval="0 10 * * *" ) as dag_instance: t1_mysql_get = ReturningMySqlOperator( task_id='t1_mysql_get', sql=r''' SELECT * FROM Table_name ''', dag=dag_instance ) dag 안에서 ReturningMySqlOperator 호출 후 사용 sql=r''' 이곳에 쿼리 작성 ''' [airflow] slack 연결하기-많은 dag에 적용 SlackAPIPostOperator 를 사용하여 slack을 연결하여 실패 메세지 보내기 많은 DAG에 적용하는 방법 -> 모듈 설치하기 pip install apache-airflow-providers-slack pip install apache-airflow-providers-slack -> 모듈 import 하기 from airflow.operators.slack_operator import SlackAPIPostOperator 1. slack에서 작업 slack 가입 후 Token 추가 (OAuth & Permissions 에 있는 토큰을 추가) -> https://jisun-rea.tistory.com/entry/Slack-API-Slack-Bot-%EB%A7%8C%EB%93%A4%EA%B3%.. [Tmux] 복사 붙여넣기 하기 터미널 복붙이 안돼요ㅠㅠㅠ?>!>?!?! Tmux - Teminal multiplexer SW - Session: tmux 명령을 실행하면 세션이 실행 - window: session은 여러개의 윈도우로 구성. 사용자가 터미널 화면으로 보는 뷰 하나의 session은 여러개의 window로 구성될 수있음 - pane: 하나의 window는 분할되어 몇개의 pane으로 구성 할 수있음 window를 전환하면 팬 구성도 새로운 윈도우의 구성으로 전환된다. 참고: Ctrl-C / Ctrl-V 가 작동하지 않는 것입니다. 만약 터미널 내용을 사용자 시스템의 클립보드로 복사하여 붙여넣기를 할 필요가 있을 때는 잠시 tmux 의 마우스 지원 설정을 끌 수 있습니다. 먼저 Ctrl-B 키를 눌러 tmux 의 제어 모.. 이전 1 2 다음
