基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。

第11章 未来发展方向 在本书中，我们已经探讨了Transformers在广泛的NLP任务中的强大功能。在这最后一章中，我们将转换视角，看看这些模型目前面临的一些挑战以及试图克服这些挑战的研究趋势。在第一部分中，我们探讨了在模型和语料库规模方面扩大Transformers的主题。然后，我们将注意力转向已经提出的各种技术，以使自注意力机制更加有效。最后，我们探讨了新兴的、令人振奋的多模态Trans ...

第10章 从头训练 Transformers 模型 在本书的开篇，我们提到了一个名为GitHub Copilot的复杂应用，它使用类似GPT的Transformers来实现代码自动完成，这一功能在用新语言或框架编程或学习代码时特别有用，或者用于自动生成模板代码。其他为此目的使用AI模型的产品包括TabNine和Kite。在前面的第5章中，我们仔细研究了如何使用GPT模型来生成高质量的文本。在这一 ...

第9章 处理少标签或零标签情形 有一个问题在每个数据科学家的脑海中根深蒂固，通常是他们在新项目开始时问的第一件事：是否有任何标注的数据？更多的时候，答案是 "没有 "或 “有一点”，然后客户的期望是，你的团队花哨的机器学习模型应该仍然表现良好。由于在非常小的数据集上训练模型通常不会产生好的结果，一个明显的解决方案是标注更多的数据。然而，这需要时间，而且可能非常昂贵，特别是如果 ...

第8章 优化Transformers性能 在前面的章节中，你已经看到了如何对Transformers进行微调以在广泛的任务上产生巨大的结果。然而，在许多情况下，仅有准确度（或任何你要优化的指标）是不够的；如果你的先进模型太慢或太大，无法满足你的应用的业务需求，那么它就没有什么用。一个明显的替代方案是训练一个更快更紧凑的模型，但模型容量的减少往往伴随着性能的下降。那么，当你需要一个快速、紧凑而又高 ...

第７章 问答系统 无论你是一个研究人员、分析师或数据科学家，你都有可能在某些时候需要在海量的文件中寻找你所要的信息。更糟糕的是，谷歌和必应不断提醒你，存在更好的搜索方式，例如，如果我们在谷歌上搜索 “玛丽-居里什么时候获得她的第一个诺贝尔奖？”，我们会立即得到正确的答案 “1903”，如图7-1所示。 在这个例子中，谷歌首先检索了大约319,000个与查询相关的文件，然后进行了一个额外的处理步 ...

第6章 文本摘要 在某一时刻，你可能需要对一份文件进行摘要，无论是研究文章、财务收益报告，还是一连串的电子邮件。如果你仔细想想，这需要一系列的能力，比如理解长篇大论，对内容进行推理，并制作出流畅的文本，将原始文件的主要议题纳入其中。此外，准确地摘要一篇新闻文章与摘要一份法律合同有很大的不同，所以能够做到这一点需要有复杂的领域概括能力。由于这些原因，文本摘要对于神经语言模型，包括Transforme ...

第5章 文本生成 基于Transformers的语言模型最不可思议的特点之一是它们能够生成与人类所写的文本几乎没有区别的文本。一个著名的例子是OpenAI的GPT-2，它在给出以下提示时: In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored ...

第４章 多语言命名实体识别   到目前为止，在本书中我们已经应用了Transformers来解决英语语料的NLP任务，但如果你的文件是用希腊语、斯瓦希里语或克林贡语写的，你该怎么办？ 一种方法是在Hugging Face Hub上搜索合适的预训练语言模型，并在手头的任务上对其进行微调。 然而，这些预训练的模型往往只存在于像德语、俄语或普通话这样的 "高资源 "语言，这些语言有大 ...

第3章 剖析Transformer架构 在第2章中，我们看到了微调和评价一个Transformer模型所需要的东西。 现在让我们来看看它们的背后是如何工作的。 在本章中，我们将探讨Transformer模型的主要组件以及如何使用PyTorch实现它们。 我们还将提供关于如何在TensorFlow中做同样事情的指导。 我们将首先专注于建立注意力机制，然后添加必要组件，使Transformer编码器工 ...