如何从gramex formhandler中的parquet文件中读取特定数据（即行和列）？答案

【问题标题】：How to read specific data(i.e., rows and columns) from a parquet file in gramex formhandler?如何从gramex formhandler中的parquet文件中读取特定数据（即行和列）？
【发布时间】：2021-06-15 06:21:52
【问题描述】：

我想在 Gramex 中读取仅包含某些列和某些行的 parquet 文件以形成处理程序。

【问题讨论】：

你能详细解释一下用例吗？

标签： gramex

【解决方案1】：

假设你有city.parquet，并且你想：

过滤country 为Japan 的行。
过滤列lat和long，

方法 #1 - 客户端：使用此配置：

url:
  data:
    pattern: /data
    handler: FormHandler
    kwargs:
      url: file.parquet

现在使用 URL /data?country=Japan&_c=lat&_c=long。这将按所需的行和列进行过滤。

方法 #2 - 服务器端：使用此配置

url:
  data:
    pattern: /data
    handler: FormHandler
    kwargs:
      url: file.parquet
      function: data[data.country == 'Japan'][['lat', 'long']]

现在 URL /data 只返回所需的行和列。

何时使用哪种方法：

如果您希望用户或应用程序控制行和列，请使用客户端方法。

如果您只想安全地共享所需数据，请使用服务器端方法。

【讨论】：

Abhijit，请问这两种方法都有效吗？