【问题标题】：Azure Databricks - writing to Az SQL tableAzure Databricks - 写入 Az SQL 表
【发布时间】：2020-04-21 04:26:10
【问题描述】：
我正在将一个 .parquet（源自 MySql）文件作为 DataFrame 读取到 Databricks 中，并希望将少数列数据类型转换为 SQL 数据类型。
示例：
在这种情况下，要将列 active 和 is_agent 转换为 SQL DataType 位并写回新数据帧。
我想遍历数据框中的所有列，并在源列数据类型为字节的情况下应用上述转换。
如何使用 Python 来实现。
【问题讨论】：
标签：
python-3.x
azure-databricks
【解决方案1】：
好的，完成了这个
from pyspark.sql.functions import col
from pyspark.sql.types import BooleanType
df = sourceDF.withColumn("active", col("active").cast(BooleanType())).withColumn("is_agent", col("active").cast(BooleanType()))
我想要的是一个函数，我将传递 DataFrame 并循环遍历所有列，并将 DataType Byte 的列转换为 BooleanType。