[2020.05.04 기록] 페이스북 발표 논문 번역(3) 소개


연어입니다.


[1] Introductionction 소개

A good-domain conversational agent should have a well-rounded set of skills and qualities that allow it to seamlessly blend listening with empathy, providing knowledgeable responses, and talking about various topics from everyday life to their favorite hobbies or latest challenges.

훌륭한 자유대화형 챗봇이라면 일상의 취미에서 최신 과제에 이르기까지 다방면에 걸쳐 공감하며 블렌딩 반응할 수 있는 기술과 품질 수준을 갖추어야 한다.

Recent research has made solid strides towards gauging and improving performance of opendomain conversational agents along specific axes such as how knowledgeable they are (Dinan et al., 2019b; Moghe et al., 2018; Qin et al., 2019), how well they can display empathy (Rashkin et al., 2019; Lin et al., 2019) or talk about their personal background (Zhang et al., 2018; Li et al., 2017).

However it remains unclear whether models optimized for performance along one of these axes can retain the learned skill while blending it with other desirable skills, or how to best conduct simultaneous training of multiple skills.

최근 연구들은 지식 정도, 공감 표출, 개인적 배경 언급 등에 특징적인 상승 곡선을 그릴 만큼 자유대화형 챗봇의 측정과 성능 개선에 있어 탄탄한 발전을 이뤄왔다.

그러나 한가지 성능에 국한되어 최적화 된 모델이 여타 기대할 만한 모델과 블렌딩 되어도 여전히 최고의 성능을 보여줄 수 있을지는 확실치 않다.

In this work, we compare several ways to combine tasks designed to evaluate and improve a single conversational skill, ranging from multi-task training over several datasets to training a top-level classifier to play the role of a dialogue manager and query the most appropriate single-skill pretrained model for a response.

In order to evaluate those methods, we propose a new Englishlanguage dataset, BlendedSkillTalk, that blends several skills into a single conversation, and use it to evaluate methods with both automated metrics and human crowdsourced ratings across different axes.

이 연구에서는 여러 데이터셋을 통한 멀티 태스킹 훈련부터 최적의 쿼리로 대화 관리자 역할을 수행하는 최고 레벨의 분류기에 이르기까지 개별적인 대화 기술들을 평가하고 향상시키는 여러 결합 방법들을 비교한다.

여러 대화 기술을 단일 대화에 블렌딩해 넣는 새로운 영어 데이터셋인 BlendedSkillTalk을 평가에 이용하며, 자동 측정되는 항목은 물론 사람들의 사용에 따른 순위까지 평가하는데 쓴다.

Our experiments show that existing single-skill tasks can effectively be combined to obtain a model that blends all skills into a single conversational agent if care is taken to make the dialogue agent avoid unwanted biases when selecting the skill, or if fine-tuning on blended data, or both.

We propose methods that compare those competing approaches, and provide a detailed analysis of their successes and failures.

실험은 의도치 않은 바이어스가 발생하지 않게끔하고 블렌딩된 데이터를 세밀히 조정하는데 주의를 기울인다면 기존의 단일 기술작업들이 효과적으로 잘 결합되어 하나의 챗봇으로 블렌딩된 모델을 얻을 수 있다는 것을 보여준다.

우리는 그러한 비교 접근 방법을 제안하면서 성공과 실패에 대한 상세한 분석을 함께 제공한다.


Comments 0