databricks 笔记本读取 databricks 作业统计信息并将其写入雪花表

【问题标题】：databricks notebook to read databricks job statistics and write it on a snowflake tabledatabricks 笔记本读取 databricks 作业统计信息并将其写入雪花表
【发布时间】：2021-10-20 09:40:29
【问题描述】：

我在数据块中安排了几项工作，其中我有兴趣阅读两个特定工作的统计信息。我需要编写一个 databricks 笔记本代码来将作业统计信息（jobName、startTime、endTime 和状态）写入雪花表。

【问题讨论】：

标签： aws-databricks

【解决方案1】：

我们可以使用以下python代码从databricks job api中获取详细信息。

注意：这里是测试代码

from pyspark.sql.types import IntegerType
from pyspark.sql.types import *
from pyspark.sql import Row
import base64
import requests
import json

databricks_instance ="<databricks-instances>"

url_list = f"{databricks_instance}/api/2.0/jobs/runs/get?run_id=39347"

headers = {
  'Authorization': 'Bearer <databricks-access-token>',
  'Content-Type': 'application/json'
}

response = requests.request("GET", url_list, headers=headers).json()
print(response)
print(response['job_id'])
print(response['start_time'])
print(response['end_time'])

【讨论】：