用于加载数据的 Pig Schema答案

【问题标题】：Pig Schema to load the data用于加载数据的 Pig Schema
【发布时间】：2014-04-03 22:31:49
【问题描述】：

我有如下输入数据格式来表示来自源 URL 的传出链接，即源 URL 1 有 2 个和 3 个传出 URL

我想像下面这样加载到 Pig 中

N,  aN
(1,(2,3))
(2,(3,4))
(3,(4))
(4,(1))

我可以使用默认的 AS 架构来执行此操作，还是必须编写自定义加载器函数。

【问题讨论】：

【解决方案1】：

您需要编写一个自定义加载程序，或者稍微修改一下您的数据结构。如果没有自定义加载器，你可以把它变成这种格式：

N,  aN
(1,(2,3))
(2,(3,4))
(,(3,4))
(,(4,1))

【讨论】：

感谢您的回复。以前我预期的格式是错误的，我已经编辑过了。请你再调查一下。基本上，该行中的第一个数字是源 URL，其余是来自该源 URL 的链接，它们可以是 1 到多个。