我有大量的 CSV 文件，第 2 列是 x 数据，第 3 列是 y 数据。每个 CSV 文件都有一个不同的时间戳。每个文件中的 x 数据略有不同，但行数是恒定的。我很高兴假设 x 数据实际上是相同的。
我相信 Tableau 是一个很好的界面，可以让我进行一些可视化并愉快地安装了 tabpy 和“voila”，我可以从 Tableau 调用 python...除了...返回一个数组我需要返回一个每个时间戳用逗号分隔值的字符串，然后是每个 x 轴的其中一个字符串，然后......嗯，这听起来不对。
我尝试告诉 Tableau 将它们全部打开，然后我会加入它们，但在运行 30 分钟后放弃了。
那么你认为呢？我完全不可知论。安装 SQL 服务器并创建数据库？创建一个大 CSV 文件，每列都有一个时间戳？谷歌？ JSON？
或者也许 Tableau 中有一些巧妙的方法可以循环浏览 CSV 文件？
【问题讨论】：
标签： python csv tableau-api
我建议在 Tableau 之外进行任何数据准备。由于您似乎熟悉 Python，请尝试使用 Pandas 将所有 csv 文件组合到一个数据帧中，然后输出到数据库或单个 csv。然后连接到那个单一的来源。
【讨论】：
如果您使用的是 Windows，则可以将所有 csv 文件合并为一个 csv，然后将其导入 Tableau。这当然假设您所有的 csv 文件都具有相同的数据结构。
cd 命令）copy *.csv combined-file.csv。 combine-file.csv 可以是您想要的任何名称。【讨论】：
这是我昨晚尝试的。速度极快，任何未来的 CSV 都会自动添加到底部。谢谢大家的建议。
#
#
import os, csv
from tableausdk import *
from tableausdk.HyperExtract import *
basepath = "C:\Users\Admin\Desktop\242RawFiles"
fpattern = "Well_242"
tableau_filename = "BigData.hyper"
ExtractAPI.initialize()
extract = Extract( tableau_filename )
if ( not extract.hasTable( 'Extract' ) ):
schema = TableDefinition()
schema.setDefaultCollation( Collation.EN_GB )
schema.addColumn( 'Datafile', Type.CHAR_STRING )
schema.addColumn( 'Solenoid', Type.DOUBLE )
schema.addColumn( 'Data', Type.DOUBLE )
table = extract.addTable( 'Extract', schema )
if ( table == None ):
print("Error occurred while creating the table:\nExiting now\n.")
exit( -1 )
else:
table = extract.openTable( 'Extract' )
if ( table == None ):
print("Error occurred while opening the table:\nExiting now\n.")
exit( -1 )
schema = table.getTableDefinition()
row = Row( schema )
for filename in os.listdir(basepath):
if (filename.endswith(".csv") and fpattern in filename ):
with open(basepath+"\\" + filename) as csvfile:
readCSV = csv.reader(csvfile,delimiter=",")
readCSV.next()
for datarow in readCSV:
row.setCharString( 0, filename[-17:-4] ) #only the tail
row.setDouble( 1, float(datarow[2]) )
row.setDouble( 2, float(datarow[3]) )
table.insert( row )
# Flush the Extract to Disk
extract.close()
# Close the Tableau Extract API
ExtractAPI.cleanup()
【讨论】：