通过 ODBC/JDBC 使用 Apache Drill 查询 s3答案

【问题标题】：Issue querying s3 with Apache Drill via ODBC/JDBC通过 ODBC/JDBC 使用 Apache Drill 查询 s3
【发布时间】：2017-06-17 04:42:22
【问题描述】：

我正在使用 Apache Drill (v1.10.0) Windows Embedded 连接到 S3，但在成功查询时遇到问题，除非我使用 Drill Explorer 客户端

ODBC 连接有效（下面的连接字符串）

CastAnyToVarchar=true;
Catalog=s3citibike;
Schema=default;
HandshakeTimeout=5;
QueryTimeout=180;
TimestampTZDisplayTimezone=local;
NumberOfPrefetchBuffers=5;
StringColumnLength=1024;
ConvertToCast=false

如果我使用 Drill Explorer（直接到 Drillbit），我可以看到 s3citibike.default 中的文件，并查看数据（见附图），但由于某种原因，当使用 ODBC 与另一个客户端（例如）时，我看不到我的文件Excel。

我可以使用 sqline 查询，例如下面的查询成功返回数据集

SELECT * FROM `s3citibike`.`default`.`./201307-citibike-tripdata.csv` LIMIT 100;

我有点猜想我只是没有正确指定文件夹路径，但我已经四处寻找了一段时间，尝试了 Catalog = DRILL，schema = s3citibike.default，无济于事。

我会为我的客户端尝试使用 Drill-jdbc-all-1.10.0.jar JDBC 驱动程序，但请理解它不适用于嵌入式 Windows

我的一个销售人员刚刚问我是否可以在几个小时内为客户会议使用此功能，因为无法通过 Apache Drill ODBC 或 JDBC 查询 S3 会破坏交易。

谁能看出我哪里出错了？

感谢和问候，杰克

【问题讨论】：

标签： amazon-s3 odbc spring-jdbc apache-drill

【解决方案1】：

从 Apache Drill 用户组得到一些反馈

“使用 Excel 之类的工具，您要么必须弄清楚如何输入自定义 SQL，或者如果您希望数据对这些工具更可见，您必须创建钻取视图，然后通过工具从工具中引用这些视图ODBC/JDBC。在视图中正确定义列名和数据类型，以使最终用户/工具更容易处理数据（这样您就可以将工作推送到 Drill）。”

我在 .tmp 架构中创建了一个视图，该架构引用了包含我的 csv 文件的架构。我能够在我的客户端中成功查看和查询此视图

【讨论】：