NLP入门系列之人造言语处置

本章为人造言语处置提供了一个上档次的引见。解释了人造言语处置是什么，最经常出现的人造言语处置运行是哪些以及开发人造言语处置运行程序的基本方法是什么。

1. 了解人造言语处置

人类经过人造言语互动，人造言语包括了许多消息。例如说，经过选用不同的词语，语气和句子的高低文可以被用来告发一团体的心境，用意和情感。

此外，诸如书籍，报纸和博客之类的文本文档中充溢了可用于执行各种义务的消息。关于人类来说，了解并且从一个文档中提取有用的消息以及做出基于来自文档的这个消息的选择须要破费少量的期间。

而这，就是人造言语处置施展作用的中央。

人造言语处置被定义为“一个使计算机能够阅读，了解和提取人类所说人造言语含意的人工智能畛域。”

有了人造言语处置，计算机不只能够了解人造言语，而且还能经过人造言语对人类做出回应。除了用于人机交互目的之外，NLP技术还宽泛用于处置公司的少量数据，而手动处置则须要数月甚至数年的期间。

例如，一团体或者须要花几周的期间来从一本一千页的书中人工提敞开息启动总结，但有了人造言语处置，相似的文本摘要可以在几分钟内成功。同理，聘用人工读者通读一切用户评论，并编写蕴含用户对特定产品的意见的报告是破费老本十分高的，但是有了人造言语处置之后，用户意见可以被智能从文本中提取，从而使公司能够制订出组织决策。

2. 人造言语处置的实践运行

从Microsoft的Cortona到Apple的Siri，NLP为各种运行程序提供了允许。本节简明引见了NLP的一些最经常出现的运行程序。

情感剖析

NLP通常被用于执行文本情感剖析。文字方式的群众意见，例如无关特定产品或实体的推文，博客和评论都蕴含了情感。情感剖析是指从这些文字中识别情感。智能检测无关推文的群众心情可以协助公司选择如何改良其产品以及保管或摈弃哪种产品。

渣滓邮件以及非渣滓邮件的分类

Gmail和其余电子邮件主机经常使用NLP技术来准确地域分非渣滓和渣滓邮件。这是文本分类的一个经典运行，其中文本文档被划分为预约义类别之一，即非渣滓邮件或渣滓邮件。

语音到文字的转换

NLP技术被宽泛的经常使用到语音与文字的智能双向转换中。在你说出内容时，你不再须要要求某人代你把你讲的内容写下。谷歌的智能语音识别(就是一个很经典的语音文字转换的例子。

人机交互

须要按键盘按钮并单击鼠标以向计算机收回命令的日子曾经一去不复返了。NLP曾经能够使人类和机器人经过人造言语启动互动。机器人在有了NLP的协助下不只能够了解人类的言语而且能够用人造言语对人类启动回应。Sophia(就是一个经典的经过人造言语处置与人类互动的人形机器人的例子。

增强虚构助手

正如上方所提到的，NLP技术也被用来开发包括亚马逊Alexa,苹果的Siri以及微软的Cortona在内虚构助手。这些虚构公家助手依托NLP方法来了解人类的恳求并以人造言语回复。

文字翻译

智能文本翻译是NLP最弱小的运行程序之一。经常使用文本翻译技术，人们只有单击几下鼠标，便可以将文档从一种言语翻译成另一种言语。Google翻译就是经常使用NLP技术启动文字翻译的最驰名例子之一。

文字摘要

并非每团体都有期间来阅读简短的文章，内容摘要是须要期间和人力的。有了NLP技术，文字文档可以被智能地总结摘要，节俭了期间与人力也浪费了老本。

文本生成

基于深度学习的初级NLP技术如今还被用于文本生成。近年来，文本生成技术被用于生成基于(权势的游戏)脚本的诗歌。文本生成技术目前还处于初始阶段。

3. 学习NLP的路途图

把握NLP须要期间和精神。不能仅经过阅读两个博客就宣称自己是NLP专家。本节分步引见怎样学习NLP。

为了成为一个低劣的NLP专家，须要按顺序依照以下步骤学习。

3.1 了解NLP的所有意义

在开局开发NLP运行程序之前，你须要知道你实践在做什么。你应该了解NLP的所有含意，为何有用以及最关键的一些NLP运行程序。本书的第一章就是为人造言语处置通常建设基础。

3.2 学习一门编程言语

假设你宿愿成为一名NLP专家，你须要学会一点编程，这是无法绕过的事实。你必需学会编程才干开发NLP运行程序。虽然你可以经常使用任何一种编程言语来编程人造言语运行程序，但我还是会倡导学习Python编程言语。Python是NLP最罕用的库之一，具有有数的基本和先进的NLP库。此外，许多NLP运行程序基于机器学习和深度学习。并且Python是一种提供易于经常使用的深度学习和机器学习库的言语。简而言之，学习Python。第2章引见了面向初学者的Python入门的速成课程。

3.3 从基础义务开局

从十分基本的NLP运行程序开局。倡导初学者不要立刻开局开发NLP运行程序，同样，应该首先了解最经常出现和最基本的NLP义务。例如，学习如何执行停用词删除、如何将句子划分为单词以及如何将段落划分为句子、知道如何为文本等中的单词找到一局部语音标签等等。此外，知晓文本荡涤和操作技术也是必需的。最后，你须要把握如何从不同的来源将数据导入你的运行以及如何抓取网站上的数据以将它导入你的运行程序。基本的NLP义务在第四，第五以落第六章中有详细解释。

3.4 了解如何以统计方式示意文本

正如之前提到的，大局部的NLP技术蕴含了深度学习以及机器学习的概念，而深度学习与机器学习都是统计学方面的技术。为了在NLP中成功这些技术，须要用统计学的方式表白文本。有多种方法可以用来统计地示意文本，关于详细消息，请参见第7章。

3.5 了解机器学习与深度学习

一旦学习完一切基本的NLP概念后，则须要学习机器学习和深度学习概念，尤其是有监视的机器学习算法。在深度学习算法中，应该器重了解浓密衔接的神经网络，递归神经网络(尤其是LSTM)和卷积神经网络的基本上班原理。这些概念将在第3章中启动解释。

3.6 开发初级的NLP运行

相熟了基本的NLP义务并且对深度学习和机器学习有基本的了解后，就可以预备开发初级NLP运行程序了。关于NLP运行程序，倡导首先经常使用诸如Logistic回归，RandomForest等机器学习算法开发机器学习运行程序(例如文本分类)。一旦开局能相熟地经常使用机器学习开发NLP运行程序，就可以转向经常使用基于深度学习的运用各种神经网络的初级运行程序。本书的第2局部努力于开发基于深度学习和机器学习NLP运行程序。

3.7 NLP运行部署

基于初级NLP的运行程序与机器学习运行程序十分相似。有几种部署此类运行程序的方法。可以经常使用蕴含RESTAPI的公用主机，这些主机可服务于调用NLP运行程序。要部署此类运行程序，须要学习PythonFlask，Docker或相似的Web技术。此外，还可以经常使用Amazon Web Services或任何其余基于云的部署平台来部署运行程序。

要成为NLP专家，须要不停地依照上述7个步骤练习执行。练习得越多，就可以在NLP取得更好的成就。

4. 关键的人造言语处置方法

人造言语处置的方法分为两大类：基于规定的方法和统计方法。

4.1 基于规定的方法

望文生义，基于规定的方法是由人类定义的规定组成。例如，一个关于情感分类的基于规定的方法或者蕴含了这样一条规定：假设推文中必需词的数量大于否认词的数量，则该推文可以归类为总体上具有踊跃心情。

基于规定的方法有其的好处也有无余。其最关键的一个好处是它们具有很高的可解释性。另外，基于规定的方法不须要少量的数据来做训练。而其最关键的一个无余是，这些基于规定的方法不能灵敏变通，或者无法裁减到不同的数据集。

4.2 统计学方法

望文生义，统计方法触及到用于开发人造言语处置技术的统计算法。机器学习和深度学习方法是NLP统计方法的关键示例。与基于规定的方法相比，统计方法愈加灵敏和可裁减。经常使用统计方法的关键缺陷是缺乏可解释性，并且须要少量的数据集来训练NLP算法。