Array
(
    [query] => Array
        (
            [match] => Array
                (
                    [text] => Array
                        (
                            [query] => 文本挖掘的基本过程
                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [text] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [size] => 8
    [from] => 0
)
Array
(
)
Array
(
    [query] => Array
        (
            [match] => Array
                (
                    [text] => Array
                        (
                            [query] => 文本挖掘的基本过程
                            [operator] => or
                            [minimum_should_match] => 2<55%
                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [text] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [size] => 8
    [from] => 0
)
Array
(
)
Array
(
    [query] => Array
        (
            [match] => Array
                (
                    [text] => Array
                        (
                            [query] => 文本挖掘的基本过程
                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [text] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [size] => 8
    [from] => 8
)
Array
(
)
Array
(
    [query] => Array
        (
            [match] => Array
                (
                    [text] => Array
                        (
                            [query] => 文本挖掘的基本过程
                            [operator] => or
                            [minimum_should_match] => 2<45%
                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [text] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [size] => 8
    [from] => 8
)
Array
(
)
Array
(
    [query] => Array
        (
            [match] => Array
                (
                    [title] => Array
                        (
                            [query] => 文本挖掘的基本过程
                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [title] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [from] => 0
)
Array
(
)
Array
(
    [query] => Array
        (
            [bool] => Array
                (
                    [must] => Array
                        (
                            [0] => Array
                                (
                                    [match] => Array
                                        (
                                            [title] => Array
                                                (
                                                    [query] => 文本挖掘的基本过程
                                                )

                                        )

                                )

                        )

                    [must_not] => Array
                        (
                            [0] => Array
                                (
                                    [term] => Array
                                        (
                                            [cate1] => 电子书籍
                                        )

                                )

                        )

                )

        )

    [highlight] => Array
        (
            [fields] => Array
                (
                    [title] => stdClass Object
                        (
                        )

                )

            [pre_tags] => #em#
            [post_tags] => #/em#
        )

    [size] => 5
    [from] => 0
)
Array
(
)
文本挖掘的基本过程 - 爱码网
studydo
  • 众所周知,由于缺乏意识和缺乏技术的能力,很多组织的数据都在睡大觉。数据包含这关于客户、伙伴和竞争对手的相关信息,对其进行挖掘,可以提高组织竞争力
  • 在数据洪流(data deluge)面前,文本挖掘的价值是不言而喻的。因为它能够帮助我们减轻信息过载的问题。
  • 什么是文本挖掘
    • 从文本数据中获取新发现的过程
    • 文本挖掘也是一个非结构到结构化的过程。它是多方技术的一个综合。
  • 文本挖掘的框架
    • 文本数据源的获取,比如电子文档
    • 数据预处理,将数据进行整合
      • 文本清理
        • 常用方法有
        • 停词去除
        • 词干提取
      • 词切分(Tokenization )
      • 词性标注(POS tagging)
      • 句法解析(Syntactial Parsing)
        • 句法主要分为组成语法和相关语法两类
      • 信息提取,基于预定义的序列进行信息提取
        • 主题追踪,寻找用户喜欢的主题
        • 摘要(Summarization)
          • 句子提取
            • 权重式
            • 位置式
        • 分类(Categorization)
          • 将文本放入预定的分类
          • 单词出现的概率,特定领域的字典
        • 特征选择
          • 降低维度
        • 实体提取(Entity Extraction)
        • 概念提取
          • 重要的概念
        • 主题提取
          • 主题就是文章的主要思想
          • 重要单词和短语
        • 聚类
    • 知识发现
      • 概念共现的模式
        • 分布和比例
        • 频率
        • 关联
    • 可视化
      • 动态显示
    • 和领域知识进行结合

分类:

技术点:

相关文章: