【问题标题】:OpenCPU and jsonlite: column-based "/json" versus row-basedOpenCPU 和 jsonlite:基于列的“/json”与基于行的
【发布时间】:2014-05-08 06:31:05
【问题描述】:

是否有一种干净的方法可以将 data.frames 上的默认“/json”后缀选项更改为基于列而不是基于行?

如果我理解正确,R 中的 Data.frames 实际上只是命名列表,其中每个列表的长度与其他列表相同。使用jsonlite,很容易看出区别(小例子,是的):

library(jsonlite)
ll <- list(xx=1:3, yy=6:8)
dd <- data.frame(xx=1:3, yy=6:8)
toJSON(dd)
# [1] "[ { \"xx\" : 1, \"yy\" : 6 }, { \"xx\" : 2, \"yy\" : 7 }, { \"xx\" : 3, \"yy\" : 8 } ]"
toJSON(ll)
# [1] "{ \"xx\" : [ 1, 2, 3 ], \"yy\" : [ 6, 7, 8 ] }"
toJSON(dd, dataframe='column')
# [1] "{ \"xx\" : [ 1, 2, 3 ], \"yy\" : [ 6, 7, 8 ] }"
toJSON(as.list(dd))
# [1] "{ \"xx\" : [ 1, 2, 3 ], \"yy\" : [ 6, 7, 8 ] }"

最后三个是相同的。通过使用toJSON 的dataframe 参数或将data.frame 强制转换为list,很容易强制它看起来相同。

使用 OpenCPU 的 API,调用看起来很相似:

$ curl http://localhost:7177/ocpu/library/base/R/list/json -H "Content-Type: application/json" -d '{ "xx":[1,2,3], "yy":[6,7,8] }'
{
        "xx" : [
                1,
                2,
                3
        ],
        "yy" : [
                6,
                7,
                8
        ]
}

$ curl http://localhost:7177/ocpu/library/base/R/data.frame/json -H "Content-Type: application/json" -d '{ "xx":[1,2,3], "yy":[6,7,8] }'
[
        {
                "xx" : 1,
                "yy" : 6
        },
        {
                "xx" : 2,
                "yy" : 7
        },
        {
                "xx" : 3,
                "yy" : 8
        }
]

如果我希望 data.frame 本身基于 JSON 化列,那么我需要将其强制转换为 list:

$ curl http://localhost:7177/ocpu/library/base/R/data.frame -H "Content-Type: application/json" -d '{ "xx":[1,2,3], "yy":[6,7,8] }'
/ocpu/tmp/x000a0fb8/R/.val
/ocpu/tmp/x000a0fb8/stdout
/ocpu/tmp/x000a0fb8/source
/ocpu/tmp/x000a0fb8/console
/ocpu/tmp/x000a0fb8/info

$ curl http://localhost:7177/ocpu/library/base/R/as.list/json -d "x=x000a0fb8"
{
        "xx" : [
                1,
                2,
                3
        ],
        "yy" : [
                6,
                7,
                8
        ]
}

三个问题:

  1. 有没有办法将 OpenCPU 自动 JSON 化的默认行为更改为基于列?

  2. 是否存在默认为基于行的原因(除了“必须默认设置”之外)? (这样我可以更好地理解基础和效率,而不是挑战。)

  3. 不过,这都是学术性的,因为大多数(如果不是全部)接受 JSON 输出的库都会透明地理解和转换格式。对吧?

(Win7 x64, R 3.0.3, opencpu 1.2.3, jsonlite 0.9.4)

(PS:谢谢,Jeroen,OpenCPU 太棒了!我玩的越多,我就越喜欢。)

【问题讨论】:

    标签: json r opencpu jsonlite


    【解决方案1】:

    如果您想避免 GET 请求,您可以在 Javascript 中进行转换:

    var df = [
            {"id":1,"Sepal.Length":5.1,"Sepal.Width":3.5,"Petal.Length":1.4,"Petal.Width":0.2,"Species":"setosa"},
            {"id":2,"Sepal.Length":4.9,"Sepal.Width":3,"Petal.Length":1.4,"Petal.Width":0.2,"Species":"setosa"},
            {"id":3,"Sepal.Length":4.7,"Sepal.Width":3.2,"Petal.Length":1.3,"Petal.Width":0.2,"Species":"setosa"}
            ]
    
    var columns = Object.keys(df[0]);
    var dfcolumns = {};
    for (i = 0; i < columns.length; i++) {
        var column = [];
        var colname = columns[i];
        for (j = 0; j < df.length; j++) {
            column.push(df[j][colname]);
        }
        dfcolumns[colname] = column;
    }
    
    console.log(dfcolumns);
    

    结果:

    { id: [ 1, 2, 3 ],
      'Sepal.Length': [ 5.1, 4.9, 4.7 ],
      'Sepal.Width': [ 3.5, 3, 3.2 ],
      'Petal.Length': [ 1.4, 1.4, 1.3 ],
      'Petal.Width': [ 0.2, 0.2, 0.2 ],
      Species: [ 'setosa', 'setosa', 'setosa' ] }
    

    【讨论】:

      【解决方案2】:

      对于dataframe 对象,您可以使用HTTP GET 并设置dataframe 参数:

      GET http://localhost:7177/ocpu/tmp/x000a0fb8/json?dataframe=rows
      

      例如,MASS 包中的 Boston 对象也是一个数据框:

      https://cran.ocpu.io/MASS/data/Boston/json?dataframe=columns
      https://cran.ocpu.io/MASS/data/Boston/json?dataframe=rows
      

      对于对.../json 端点的HTTP GET 请求,所有http 参数都映射到来自jsonlite package 的toJSON 函数中的参数。您还可以指定其他toJSON 参数:

      https://cran.ocpu.io/MASS/data/Boston/json?dataframe=columns&digits=4
      

      要查看哪些参数可用,请查看jsonlite manual 或this post。

      请注意,这仅在您执行两步过程时才有效:首先在返回 dataframe 的函数上使用 HTTP POST,然后使用 HTTP GET 请求以 json 格式检索该对象。当您使用/json 修复POST 请求时,您不能指定toJSON 参数,因为在POST 请求中,HTTP 参数总是映射到函数调用。

      这种默认设置的原因是基于行的设计似乎是编码表格数据的最传统和可互操作的方式。 jsonlite paper/vignette 更详细。请注意,它也可以反过来工作:您不必调用data.frame 函数来创建数据框,只需在表单中发布一个参数:

      [{"xx":1,"yy":6},{"xx":2,"yy":7},{"xx":3,"yy":8}]
      

      会自动转成数据框:

      curl https://public.opencpu.org/ocpu/library/base/R/summary/console -d object='[{"xx":1,"yy":6},{"xx":2,"yy":7},{"xx":3,"yy":8}]'
      

      【讨论】:

      • 我在其他示例中看到了“数字”选项,但匆忙认为这是原始功能的选项,而不是toJSON。这说明了很多。谢谢!
      • 顺便说一句,您通过 RAppArmor 进行沙盒处理的工作很棒;是否有计划或努力包括一种标准化的方式来简化用户身份验证方法的添加? (可能是为了访问方法和访问数据。)我知道这与 OpenCPU 的计算方面几乎没有关系,但它在许多情况下肯定会有所帮助。 (我个人更喜欢开源和数据和代码的可用性,但我的老板和我的薪水并不总是同意这种理念。)
      • 你的意思是在 OpenCPU 中? opencpu 云服务器只是apache2 和nginx 上的标准http,配置基本身份验证或LDAP 之类的应该不会太难。
      • 我不得不考虑在每个用户和/或每个组的基础上限制 R 中的功能和数据的可用性。我正在尝试实施一些适当的东西以使其现在可以工作,但如果它是合法且良好的代码,我总是喜欢剽窃。也许是 OAuth2 或其他什么...
      猜你喜欢
      • 2017-10-06
      • 1970-01-01
      • 2011-11-20
      • 2012-08-02
      • 1970-01-01
      • 1970-01-01
      • 2014-08-02
      • 1970-01-01
      • 2017-07-18
      相关资源
      最近更新 更多