DAgger알고리즘으로 모방 학습하기

모방 학습이라는 새로운 학습 방법을 알아봄

-> 신규 패러다임의 특징은 전문가의 행동을 흉내내는 학습 방법에 있음.

모방학습은 보상 신호가 없다는 점과 전문가가 제공하는 많은 정보를 사용 할 수 있다는 점에서 강화학습과 다름

 

새로운 상태에서 학습자의 행동 신뢰도를 높이기 위해 학습자가 학습에사용하는 데이터 집합을 상태 행동 집합에 추가해 확장할 수 있다.

-> 이 프로세스를 데이터 집계라고 한다.

새로운 데이터는 새로운 학습 폴리시에서 발생하며 이 경우 동일한 학습 폴리시에서 발생하는 온-폴리시 데이터를 언급

온-폴리시 상태와 전문가 피드백의 통합은 학습 품질을 높이는 매우 좋은 접근법이다.

 

모방학습 알고리즘은 전문가의 행동을 따라하기만 하므로 전문가 보다 좋은 성능을 달성 할 수 없다는 한계가 있다.

따라서 전문가로 부터 보상함수를 추론해 이 문제를 극복하는 역강화학습inverseRL을 소개함.

이 방법을 사용하면 폴리시는 지도자와 독립적으로 학습할 수 있다.

 

DAgger의 구현 코드

- 전문가 추론 함수를 적재해 상태가 설정된 행동을 예측한다.

- 학습자를 위한 계산 그래프를 만든다.

- DAgger 이터레이션을 작성해 데이터 집합을 빌드하고 신규 폴리시를 학습한다.

 

 

 

 

 

 

파이썬 기반 강화학습 알고리듬 책을 읽고, 그 책의 질문 부분에 대한 답변을 작성한것 입니다.