一项技术在落地应用时，总会遇见各种各样的难题。以 BERT 为例，在适应业务需求时，需要工程师们根据具体场景进行各种调整。本文介绍了小米 AI 实验室 NLP 团队在应用 BERT 时的实战探索。 近年来，预训练模型在自然语言处理（Natural Language Processing, NLP）领域 ...

20世纪以来，自然语言处理（NLP）领域的发展涌现了许多创新和突破。NLP中许多之前机器不可能完成的任务，如阅读理解、人机对话、自动写新闻稿等，正逐渐成为现实，甚至超越了人类的表现。 如果总结过去20年里，无数先辈辛劳付出带来的璀璨成果，以下3个 ...

为解决电力工程领域自然语言处理（NLP）研究缺乏专用的预训练模型和评测基准的问题，来自成均馆大学的研究人员通过收集近百万篇公开的电力工程论文摘要，构建了领域专用语料库，并在此基础上预训练了PoE BERT模型，同时首次提出了包含文档分类、问答（QA ...

最新消息，谷歌推出了NLP系列「芝麻街」的新成员Big Bird。 这个在外界眼中看起来有点可爱的动漫小鸟，摇身一变，解决了BERT模型中的全注意力机制带来的序列长度二次依赖限制，可以兼顾更长的上下文。 「芝麻街」中的Big Bird 众所周知，谷歌开发的BERT ...