【问题标题】:How to create feeds for JSON input in Kylo?如何在 Kylo 中为 JSON 输入创建提要?
【发布时间】:2018-08-03 12:14:11
【问题描述】:

如何在 Kylo 中为 JSON 输入创建提要?使用 JSON 示例文件创建 Advanced Ingest 时出错

发生错误意外异常。验证文件是所有有效 json 文件的正确格式。

请分享在 Kylo 中创建 JSON 到 Hive 提要的建议?

【问题讨论】:

    标签: json feed kylo


    【解决方案1】:

    导致此错误的原因有很多,因此我将重点介绍最常见的:

    A) Kylo 需要一个每行包含一个 JSON 字典的文件。它不适用于多行 JSON 文档或 JSON 文档数组。 Kylo 提供了几个示例来帮助您入门:https://github.com/Teradata/kylo/tree/master/samples/sample-data/json

    B) 如果示例不起作用,那么 Kylo 可能无法启动 Spark 作业来分析文件架构。请检查 /var/log/kylo/kylo-services.log 和 /var/log/kylo/kylo-spark-shell.log 文件是否有错误。

    【讨论】:

    • 感谢您的回答。使用链接中提到的示例 JSON 数据时出现同样的错误。由于我在VM中找不到任何文件,您能否分享如何检查kylo中的日志的命令? [root@sandbox ~]# ls anaconda-ks.cfg original-ks.cfg找不到第二点提到的日志。
    • 我使用less /var/log/kylo-services/kylo-services.log 查看日志。您还可以使用 scp -p 2222 root@localhost:/var/log/kylo-services/kylo-services.log . 将它们复制到您的主机
    猜你喜欢
    • 2016-04-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-07-03
    相关资源
    最近更新 更多