自 BERT 起，预训练语言模型沿着海量训练数据和庞大网络结构的方向在不断发展着。在12月落幕的 NeurIPS 2020 会议上，语言模型 GPT-3 荣膺最佳论文奖。OpenAI 的研究人员使用了...

背景 数据挖掘的工程师都知道，短文本数据在我们的生活中无处不在。只要我们上网，我们都会遇到形式多样的短文本，比如文本广告、图片标题、微博、优酷视频、豆瓣评论、短信、百...