zo_zni's Blog

Automated Generation of Natural Language Inference Training Data using Large Language Models and In-context Learning [요약] 자연어 추론은 주어진 두 문장(전제, 가설) 사이의 논리적인 관계를 분석하는 자연어처리 태스크이며, 두 문장(전제, 가설) 사이에 연관성이 있으면 ‘함의’, 모순이 있으면 ‘모순’, 연관성이 없으면 ‘중립’으로 분류된다. 딥러닝 모델은 자연어 추론 분야에서 우수한 성능을 보이고 있지만, 모델의 복잡한 구조로 인해 어떤 근거(Rationale)를 가지고 결론을 도출하였는지 해석하기 어렵다는 문제가 있으며, 특정 도메인의 경우에는 학습 데이터가 존재하지 않거나 이를 구축하는 데 많은 시간과 자..

[Abstract] 대형 언어 모델은 단계별 시연을 통해 답을 찾도록 안내하는 생각의 사슬 프롬프트를 사용하여 다양한 추론 작업을 수행할 수 있습니다. 그러나 프롬프트의 품질은 모델에 제공된 데모에 따라 달라지며, 많은 프롬프트를 수작업으로 생성하는 데 비용이 많이 듭니다. 우리는 모델이 스스로 더 많은 예제를 생성하도록 유도하기 위해 몇 가지 수작업 예제를 활용하고 더 나은 추론을 이끌어내기 위해 효과적인 시연을 선택하는 방법인 합성 프롬프트를 소개합니다. 우리의 방법은 새로운 예제를 생성하기 위해 역방향 프로세스와 순방향 프로세스를 번갈아 사용합니다. 역방향 프로세스는 샘플링된 추론 체인과 일치하는 질문을 생성하여 질문을 해결할 수 있고 명확하게 합니다. 전진 프로세스는 질문에 대한 보다 상세한 추론..

[Abstract] 자연어 명령어를 조건화함으로써 LLM(Large Language Model)은 범용 컴퓨터로서 인상적인 기능을 보여주었습니다. 그러나 작업 성능은 모델을 조종하는 데 사용되는 프롬프트의 품질에 크게 좌우되며, 가장 효과적인 프롬프트는 사람이 직접 만든 것입니다. 고전적인 프로그램 합성과 신속한 엔지니어링에 대한 인간 접근 방식에서 영감을 받아 자동 명령 생성 및 선택을 위한 자동 프롬프트 엔지니어1(APE)을 제안합니다. 우리의 방법에서, 우리는 선택된 점수 함수를 최대화하기 위해 LLM이 제안한 명령 후보 풀을 검색하여 최적화된 명령을 "프로그램"으로 취급합니다. 선택한 명령의 품질을 평가하기 위해 선택한 명령에 이어 다른 LLM의 제로샷 성능을 평가합니다. 광범위한 실험에 따르면 ..