【问题标题】:Export data from QlikSense cloud to AWS S3 bucket将数据从 QlikSense 云导出到 AWS S3 存储桶
【发布时间】:2020-02-25 00:44:26
【问题描述】:
我正在尝试创建一个管道以将 Qliksense 应用程序数据导出到 AWS S3 存储桶,但不确定是否可以直接执行。
我尝试了两个选项:
- 使用export API将数据作为qvf导出到本地磁盘,然后通过python脚本连接S3并推送数据。
2.在本地使用qliksense脚本将数据存储为csv,然后推送到S3。
基本上,我理想的解决方案是使用单个 python 脚本连接到 Qliksense、读取数据、转换为 csv 并导出到 S3。
任何想法/代码/方法都会有所帮助。
【问题讨论】:
标签:
amazon-s3
connection
qliksense
【解决方案1】:
Qliksense 是一个消费数据和展示的工具,但在需要时
STORE INTO vFile (text);
是一个简单的选择。这样,您将获得保存在驱动器上的 csv 文件。如果您在同一台机器上运行 python 脚本很容易,因为您可以执行可以运行 python 脚本并使用 boto3 库将其存储到 s3 的语句。
否则只需使用网络驱动器,然后在 cron 中通过 python 将数据从那里放入 s3。
最后一个选项是在 qliksense 服务器上您可以映射 s3 存储桶。像 TnTDrive 这样的工具很少。
很大程度上取决于您的基础架构。