讲习班
以下讲习班内容将在CCMT 2020举行。
周龙
论文题目
神经机器翻译中的文本生成方法
Revisiting Text Generation Methods in Neural Machine Translation
个人介绍： 周龙，微软亚洲研究院自然语言计算组研究员，于中科院自动化所模式识别国家重点实验室获得博士学位。研究方向为自然语言处理，机器翻译，代码智能，自然语言生成等。在国际著名期刊和会议AIJ、TACL、ACL、EMNLP、AAAI、IJCAI等发表论文十余篇。曾在汉语浅层篇章分析国际评测CoNLL-2016、全国机器翻译评测CWMT-2017、国际口语机器翻译评测IWSLT-2020多次斩获第一，获得国际自然语言处理与中文计算会议NLPCC-2017最佳论文奖。
摘要： 采用编码器-解码器框架的神经机器翻译是目前主流的机器翻译模型，如何更好、更快、更准地生成目标语言单词是业界关注的焦点。在神经机器翻译序列生成中，自回归模型采用自左往右的解码方式，其限制了其对未来信息的开发和利用；非自回归模型通过并行计算加快了推理速度，但面临着质量下降等问题；双向推断模型采用从左到右和从右到左同步解码的方式，能有效缓解上述问题。这个报告将首先回顾自回归神经机器翻译的文本生成方法，然后介绍非自回归神经机器翻译近年来的研究进展，最后着重介绍双向神经机器翻译的基本思想与典型应用。
周浩
论文题目
Advanced Progress of Deep Text Generation
深度文本生成模型的前沿进展
Speaker
Hao Zhou, ByteDance AI Lab
周浩 字节跳动人工智能实验室
周浩博士是字节跳动AI Lab的高级研究员。他于2017年获得南京大学博士学位，并于2019年获得中国人工智能协会优秀博士论文。周浩博士的研究领域涉及机器学习及其在自然语言处理中的应用。他最近的研究集中在面向自然语言处理的深度生成模型。周浩博士是ACL、EMNLP、IJCAI、AAAI、NIPS的程序委员会委员。至今为止，在ACL, EMNLP, NAACL, TACL, AAAI, IJCAI, NIPS、JAIR等期刊及会议上发表论文30余篇。
Dr. Hao Zhou is a senior researcher at ByteDance AI Lab. Hao Zhou obtained his Ph.D. from computer science department of Nanjing University in 2017, and he was the recipient of Chinese Association of Artificial Intelligence 2019 Doctoral Dissertation Award. His research interests are machine learning and its applications for natural language processing. Currently he focuses on deep generative models for NLP. He has served in the Program Committee for ACL, EMNLP, IJCAI, AAAI, NIPS. He has more than 30 publications in prestigious conferences and journals, including ACL, EMNLP, NAACL, TACL, AAAI, IJCAI, NIPS and JAIR.
摘要: 文本生成技术是自然语言处理中的一项基础技术，在机器写稿、机器翻译、对话、搜索、在线广告等产品上有很多应用。本次讲座将围绕三个方面介绍文本生成中的深度生成模型。一是序列到序列的生成，包括最新的Transformer模型，最新的非自回归的文本生成模型以及它在各种文本生成中的改进。二是比序列生成有更多优势的深度隐变量模型，包括生成与编码结合的变分自编码模型(VAE)与对抗生成网络（GAN）。VAE要对离散的文本序列学出光滑连续的隐空间，生成时可以从隐空间采样。而GAN可以附加一个与任务有关的判别器，可以生成与最终任务更相关的文本。第三类是可控贝叶斯方法，可以生成更大多样性和可解释性的文本。最后，我们讲介绍实际场景中的一些应用，例如数据到文本的生成，问题生成等。
Abstract: Natural language generation has been a fundamental technology in many applications such as machine writing, machine translation, chatbots, web search, and computational advertising. In this tutorial, we will give an overview about deep neural models for natural language generation. We will first introduce the basic sequence to sequence learning model and its variants (i.e. Transformer), including the latest advance of non-autoregressive generation models. Then we will describe two deep generative models for text generations from theory to practice, including Variational Auto-encoder (VAE) and Generative Adversarial Networks (GAN). Both of VAE and GAN have advantages than vanilla sequence to sequence models. VAE has a smoothed latent space which enables interpolation and sampling for text generation, and GAN based generation models can be equipped with a task-oriented designed discriminator, always achieving better text generation qualities. The third paradigm is to generate using Bayesian sampling methods, through which we can control the generation in diversity and interpretability. Different deep generation models arouse different applications of text generation. In the last part, we will present various practical applications like data-to-text, Question generation and etc.