【发布时间】:2018-08-03 12:14:11
【问题描述】:
如何在 Kylo 中为 JSON 输入创建提要?使用 JSON 示例文件创建 Advanced Ingest 时出错
发生错误意外异常。验证文件是所有有效 json 文件的正确格式。
请分享在 Kylo 中创建 JSON 到 Hive 提要的建议?
【问题讨论】:
如何在 Kylo 中为 JSON 输入创建提要?使用 JSON 示例文件创建 Advanced Ingest 时出错
发生错误意外异常。验证文件是所有有效 json 文件的正确格式。
请分享在 Kylo 中创建 JSON 到 Hive 提要的建议?
【问题讨论】:
导致此错误的原因有很多,因此我将重点介绍最常见的:
A) Kylo 需要一个每行包含一个 JSON 字典的文件。它不适用于多行 JSON 文档或 JSON 文档数组。 Kylo 提供了几个示例来帮助您入门:https://github.com/Teradata/kylo/tree/master/samples/sample-data/json
B) 如果示例不起作用,那么 Kylo 可能无法启动 Spark 作业来分析文件架构。请检查 /var/log/kylo/kylo-services.log 和 /var/log/kylo/kylo-spark-shell.log 文件是否有错误。
【讨论】:
less /var/log/kylo-services/kylo-services.log 查看日志。您还可以使用 scp -p 2222 root@localhost:/var/log/kylo-services/kylo-services.log . 将它们复制到您的主机