[2020.05.05 기록] 페이스북 발표 논문 번역(4) 관련 작업


연어입니다



[2] Related Work 관련 작업

While most commercial dialogue systems rely on hand-coded narrow skills (e.g., see Zhou et al. arXiv:2004.08449v1 [cs.CL] 17 Apr 2020 (2020); Ram et al. (2018)), typically focusing on separate task-oriented features such as alarm setting, calendar entries, etc.,

We are interested in models that display various qualities in opendomain dialogue. Further, we focus on skills that can be learned end-to-end, as end-to-end learning affords the promise of better generalization to unseen domains.

대개의 상업적 챗봇은 손으로 코딩하는 협의의 기술에 의존하지만 일반적으로는 알람 설정, 일정 관리와 같이 별도의 업무 지향 특성에 중점을 둔다.

우리는 (다양하게 주제가 열려있는) 오픈도메인형 대화에서 다양한 퀄리티를 보여주는 모델에 관심을 둔다. 더 나아가, 제한된 주제에 대해서도 더 나은 범용성 보일 수 있는 엔드-투-엔드 학습이 가능한 기술에 중점을 둔다.


  • End-to-End : 단대단. 양쪽 끝단계가 하나의 파이프라인으로 연결되는 것이죠. 인공지능 영역에선 문제 해결을 위한 접근법 중 하나이며, 데이터와 원하는 최종 목적만을 입력하는 딥러닝 방식이 여기에 해당됩니다.
  • unseen domains : 챗봇에서 domain은 대화 주제에 대한 영역을 지칭하므로 이를 감안하여 번역해 보았습니다.

Recent promising conversational models have leveraged very large conversation-like data such as datasets extracted from Reddit and made available by a third party on pushshift.io (Mazare et al. ´ , 2018; Humeau et al., 2019; Keskar et al., 2019; Rashkin et al., 2019).

These large-scale datasets are very useful in providing vast amounts of conversational material that allow for reproducible research and comparison with prior work, however the qualities of resulting conversational agents are dependent on the qualities present in the source conversations.

Given how online conversations can turn toxic and lack empathy, indiscriminate pretraining on such corpora is unlikely to spontaneously endow a conversational agent with desirable qualities such as avoiding toxic responses (Dinan et al., 2019a) or demonstrating empathy (Rashkin et al., 2019) or knowledge (Dinan et al., 2019b).

최근의 유망한 대화형 모델은 레딧에서 추출한 데이터셋과 같은 거대한 대화형 데이터를 활용하였으며, pushshift.io 써드파티에서 이용할 수 있었다.

이들 대규모 데이터셋은 이전 작업을 재현하고 비교도 가능한 방대한 양의 대화형 자료를 제공해 준다는 점에서는 매우 유용하나, 챗봇의 최종 결과에 있어 그 퀄리티가 원천 소스의 퀄리에 따라 좌우되는 면이 있다.

온라인 상의 대화들이 어떻게 치닫고 공감을 잃어가는지 감안할 때, 챗봇이 그런 코포라에 기인해 사전 학습을 한다한들 안 좋은 반응을 피해간다거나 하는 기대할 만한 퀄리티를 자발적으로 확보해가는 것은 어려울 것이다.

  • 코포라(corpora) : 코퍼스(Corpus)의 복수형. 말뭉치. 언어학에서 특정한 연구 목적을 위해 대량으로 추출해 모아둔 말의 집합입니다.

This has led the community to propose tasks and datasets focusing specifically on some trait or skill. In this work, we examine how to combine three such traits that each have a corresponding task and dataset:

demonstrating an ability to talk about oneself and get to know your partner, as captured by the ConvAI2 dataset, an extension of the PersonaChat dataset (Zhang et al., 2018; Dinan et al., 2020); being knowledgeable and discussing a topic in depth, as measured through the Wizard of Wikipedia task (Dinan et al., 2019b); and demonstrating empathy and being able to talk about emotional personal situations, as measured by the EmpatheticDialogues benchmark proposed in Rashkin et al. (2019).

이는 커뮤니티가 어떤 특성이나 기술에 과제와 데이터셋의 초점을 맞추게끔 하였다. 이 작업에서 각각 일치하는 데이터셋의 세가지 특성을 결합하는 하는 방법을 검사한다.

ConvAI2 데이터셋은 PersonaChat 데이터셋의 확장으로서 자신의 말하기 능력을 증명하고 상대방을 알아가게 된다. 위키피디아 마법사를 통해 지식의 풍부함과 토론의 깊이를 측정할 수 있으며, Rashkin 등에 의해 벤치마크된 EmpatheticDialogues로는 공감과 개인적인 감정 상황을 측정해 나타낼 수 있다.


The ConvAI2 dataset comprises more than 140k utterances of crowdsourced conversations between paired workers getting to know each other. Each worker was assigned a persona consisting of a few sentences such as “I have a pet hamster,” which had separately been crowdsourced.

The Wizard of Wikipedia (WoW) task aims to explore conversation informed by expert knowledge from Wikipedia, and provides about 194k utterances of conversations on about 1,250 topics.

The EmpatheticDialogues (ED) dataset consists in about 50k utterances between a Speaker who is talking about an emotional situation, and a Listener who is tasked to respond in an empathetic manner, acknowledging the other person’s feelings. In addition to being associated with easy-to-use datasets, these three skills benefit from being clearly defined and separate in scope.

ConvAI2 데이터셋에는 쌍을 이룬 작업자들 간에 이루어진 14만개 이상의 크라우드소싱 대화가 포함되어 있다. 각 작업자에게는 "나에게는 애완동물 햄스터가 있다"와 같은 몇몇 문장으로 역할을 구성하여 할당하였다.

  • 크라우드소싱(crowdsourcing) : 제품 서비스 개발 과정에 비전문가나 많은 대중을 참여시켜 그 결과를 공유하고 개방해 나가는 방식입니다.

위키피디아 마법사(WoW) 작업은 위키피디아 지식 검색에 의한 발화를 탐색하고 1,250개 토픽에 19만4천개의 대화를 제공하는 것을 목표로 한다.

EmpatheticDialogues(ED) 데이터셋에는 감정적인 상황에서 얘기하는 화자와 여기에 공감하고 반응하는 수신자 사이에서 발생한 약 5만개의 발화가 포함되어 있다. 이외에도 easy-to-use 데이터셋과 관련한 세 가지 기술은 명확한 정의와 범위가 나뉜 이점을 활용하게 된다.


Focusing on blending only three skills keeps data collection, ablations, and analyses manageable while already presenting a challenge for models, and it helps narrow down the most promising approaches for blending a greater number of skills.

세 가지 기술의 블렌딩에만 집중해도 이미 제시된 모델들에 대한 데이터 수집, 제거, 분석을 쉽게 할 수 있으며, 더 많은 기술을 블렌딩 할 수 있는 가장 유망한 방법으로 접근해 가는데 도움이 된다.


Comments 0