전체 글 (79) 썸네일형 리스트형 [MLOps][Infra]MLOps에 jenkins CI/CD 적용 가능한 구조 고르기 고객의 가치를 빠르고 안정적으로 전달하는 것 DevOps의 목적이고, 이를 위해 CICD를 사용한다. CI = 지속적인 통합 + 자동화 CD = 지속적인 배포 + 자동화 https://secrethub.io/blog/decouple-application-secrets-from-ci-cd-pipeline/ 출처 : https://secrethub.io/blog/decouple-application-secrets-from-ci-cd-pipeline/ MLOps flow 데이터 준비 -> 모델 구현 -> 모델 배포 그림 1 출처 : https://fastcampus.co.kr/data_online_mlops  출처 : https://fastcampus.co.kr.. [airflow][crontab] 시간 설정 airflow DAG안에 schedule_interval 에서 시간 설정을 할 수 있다. schedule_interval의 스크립트는 crontab 서식과 같다. ex ) # 매일 9시 30분에 동작 schedule_interval="30 09 * * *", Airflow = schedule_interval =" * * * * * " crontab = * * * * * " * * * * * " 순서대로 * 분 : 1분단위로 가능 (0 ~59) // * 일때 : 1분 단위로 실행 * 시 : 매 시간 가능 (0~23) // * 일때 : 매시간 실행 * 일 : 일 (1~31) // * 일때 : 매일 실행 * 월 : 월 (1~12) // * 일때 : 매달 실행 * 요일 : 요일 (0~7)가능 // * 일때 : .. [airflow] Dag간 연결 하기 (Connecting between Dags) ⏰ dag를 설계할 때, dag 끼리 종속성을 갖지 않는 것이 가장 좋지만 어쩔 수 없이 종속성을 만들어야 하는 경우가 있다. 아래와 같은 상황일 때, dag의 종속성을 갖는 것이 유용하게 사용 된다. 두 dag는 종속되지만 일정이다름 두 dag는 종속 되지만 서로 다른 팀에서 소유 task는 다른 task에 종속되지만 execution_date가 다름 여기서는 dag에서 다른 dag를 호출하는 방법을 설명한다. -> subDAG를 사용하여 dag 종속성을 처리할 수도 있지만, subDAG가 성능 문제를 일으킬 수도 있으므로 dag 종속성으로 처리하는 것을 권장 -> airflow2.0에서는 subdag 사용을 권장 하지 않음. TriggerDagRunOperator -> 해당 operator를 사용하면 동.. [airflow] mysql연결하기 airflow2.0 관련하여 자료가 부족하여, 기록 겸 정리 중입니당 > mysql_conn_id : 이부분이 airflow Connections Id 와 일치 해야함 with DAG(dag_id="daily_dagtest", default_args=default_args, schedule_interval="0 10 * * *" ) as dag_instance: t1_mysql_get = ReturningMySqlOperator( task_id='t1_mysql_get', sql=r''' SELECT * FROM Table_name ''', dag=dag_instance ) dag 안에서 ReturningMySqlOperator 호출 후 사용 sql=r''' 이곳에 쿼리 작성 ''' [airflow] slack 연결하기-많은 dag에 적용 SlackAPIPostOperator 를 사용하여 slack을 연결하여 실패 메세지 보내기 많은 DAG에 적용하는 방법 -> 모듈 설치하기 pip install apache-airflow-providers-slack pip install apache-airflow-providers-slack -> 모듈 import 하기 from airflow.operators.slack_operator import SlackAPIPostOperator 1. slack에서 작업 slack 가입 후 Token 추가 (OAuth & Permissions 에 있는 토큰을 추가) -> https://jisun-rea.tistory.com/entry/Slack-API-Slack-Bot-%EB%A7%8C%EB%93%A4%EA%B3%.. [논문리뷰]Time Series Data Augmentation for Deep Learning: A Survey 시계열 데이터 분석에서의 어려움 현존 하는 데이터 증강 기법들은 시계열 데이터의 내제적 특성(intrinsic property)을 활용하지 못함 일반적으로 시계열 데이터는 시간 종속성(Temporal Dependency)라는 특성을 가지고 있음 이미지나 언어 데이터와 다르게 시계열 데이터는 크게 시간(time)과 빈도(Frequency) 도메인으로 나눌 수 있는데, 이러한 각각의 transformed domain에 적합한 데이터 증강이 수행되어야 하기 때문에 다른 데이터에 비해 비교적 어려움 현존하는 데이터 증강 기법들은 task에 의존적인 경향이 존재함 time Series Classification에 쓰인 증강기법이, time Seriese Anomaly Detection에는 적합하지 않을 수 있음 .. [논문리뷰]Diversity is all you need: Learning skills without a reward function meta learning + RL 에서 가장 유명한 논문 : Diversity is all you need: Learning skills without a reward function https://hugrypiggykim.com/2022/01/27/diayn/ https://lynnn.tistory.com/108 Diversity is all you need: Learning skills without a reward function Abstract 지적인, 또는 똑똑한 생물(intelligent creatures)은 감독관(Supervision)의 도움없이도 이런 저런 시도들을(exploration; 탐험) 통하여 스스로 useful skills를 학습한다. 본 논문에서도 이런 점에서 착안 lynnn.. meta-learning + RL ing https://www.youtube.com/watch?v=hE7eGew4eeg 이전 1 2 3 4 5 ··· 10 다음 목록 더보기
