深度学习和文本分析/提取答案

【问题标题】：Deep learning and text analysis / extraction深度学习和文本分析/提取
【发布时间】：2016-12-31 11:35:14
【问题描述】：

我正在尝试建立一个基于深度学习的模型来从长句中提取特定文本。

让我们假设一个 200 字的文本，以及一个我有我的客户姓名和姓氏的表格。我正在尝试构建一个模型，以使用深度学习从这 200 个单词中提取特定的客户姓名/姓氏。

我读过 CNN 和 RNTN 模型、语义解析和 word2vec 模型，但显然我不是该领域的专家。

我的想法是：

第 1 步：制作第一个模型，其中输入 = 客户姓氏，输出 = 班级姓氏
第 2 步：制作第二个模型，其中 input = 客户名称，输出 = 类名
第 3 步：制作第 3 个模型，其中 input = client 姓名+姓氏和姓氏+姓名，输出=类客户端
第 4 步：制作第 4 个模型，我在输入中发送一袋单词并找到方法在输出中查找客户端类。

就像我们可以找到名词/副词/动词/...一样，我们应该能够创建一种新的“语义分类”作为客户、地址、...。

谁能给我一些关于我的思维方式的建议？或者告诉我应该改变/改进哪一部分？

非常感谢。

【问题讨论】：

您正在寻找的是制作一个无法在句子中检测客户姓名和姓氏的系统。语言处理是一个庞大的领域。我建议你通过标记一些数据并学习模型来做出一个伟大的事实，你的课程最多应该是两个或三个。在应用任何模型（例如“RNN，NN”）之前，首先尝试实现一些方法来清理数据并构建文本。
感谢您的回复。经过一番搜索，我期待着实施一个 CRF 来解决我的问题，并带有适当的 BILOU NER 标记。我将使用 tensorflow 的序列到序列模型。我让你知道事情的进展。顺便说一句，您有什么工具可以建议我，以便我可以清理数据并将其标记为 train 吗？我有一个 CSV 列表，第一列是公司名称，第二列是地址。感谢您的帮助。

标签： deep-learning text-mining text-classification word2vec text-analysis

【解决方案1】：

您可以在构建难以构建/非常耗时的模型后使用命名实体识别 (NER)；但是，如果您知道客户姓名和姓氏，则可以更快地在句子中识别它们。只需使用带有表参数的简单 SQL 查询来定位客户姓名和姓氏。我在 SQL Server 2012 中使用了类似的东西。在这个例子中，你可以传入 X 个客户端作为表值参数来隔离句子。我正在处理的一个项目也遇到了同样的问题，这就是解决方案...总是有替代方案，在这种情况下，您可以在几分钟而不是几周内完成设置：

ALTER Procedure [dbo].[Get_Sentences_Token_Table_Value_Parameter] 
@id_file int,
@sentiment nvarchar(50),
@client_list [dbo].[client_list] READONLY
AS
SELECT        TOP (1000) sentence_id, pos_remaining_token, sentiment AS Sentiment, sentence AS Sentence, id_file, pos_token
FROM            chat_Facets
GROUP BY sentence_id, pos_remaining_token, sentiment, sentence, id_file, pos_token
HAVING        (id_file = @id_file) AND (sentiment = @sentiment) AND chat_Facets.pos_remaining_token IN (SELECT pos_remaining_token FROM @client_list)
ORDER BY pos_remaining_token, Sentence

【讨论】：

这正是我要去的地方：使用来自 tensorflow 的 seq2seq 来实现 NER 标记器。我知道 SQL 解决方案......我们正在谈论数百个单词的长句子，来自 OCR 输出，在数百万人的数据库中......我们有强大的数据中心，因此时间/计算消耗不是问题： ) 我只是想提供一个 POT/POC 并在接下来的几周内工作。 SQL 解决方案的主要问题是这些对 SQL 服务器的调用将使服务器饱和，此时我们可以创建一个智能的深度学习模型来解决所有问题。 :)