使用 BigQuery 提取命中级别数据时，Google Analytics 指标被夸大了

Question

我正在尝试在我已链接到 bigquery 的 Google Analytics（分析）汇总属性中显示源属性名称。问题是，当我尝试下面的一些指标时，会变得非常膨胀。我猜这与重复字段有关，但不确定该怎么做。我尝试了许多解决方法，例如使用“max”，但这并没有显示每个属性名称。

除了用户和访问之外的所有指标似乎都被夸大了。

SELECT
  date,
  MAX(CASE
      WHEN EXISTS(  SELECT 1  FROM UNNEST(hits) hits  WHERE REGEXP_CONTAINS(hits.sourcePropertyInfo.sourcePropertyTrackingId, r'82272640')) THEN 'MUG'
      WHEN EXISTS (
    SELECT
      1
    FROM
      UNNEST(hits) hits
    WHERE
      hits.sourcePropertyInfo.sourcePropertyTrackingId = 'Social') THEN 'Social'ELSE 'Website' END) AS Property,
  geoNetwork.country AS Country,
 COUNT(DISTINCT CONCAT(cast(visitId AS STRING),fullVisitorId)) as visits,
 sum(totals.visits) as visits2,
  COUNT(DISTINCT(fullVisitorId)) AS Users,
 h.sourcePropertyInfo.sourcePropertyDisplayName as display,
  SUM((
    SELECT
      SUM(latencyTracking.pageLoadTime)
    FROM
      UNNEST(hits)
    WHERE
      page.pagePath = '/' ))/SUM((
    SELECT
      SUM(latencyTracking.pageLoadSample)
    FROM
      UNNEST(hits)
    WHERE
      page.pagePath = '/')) AS pageloadspeed,
  SUM(totals.newVisits) AS new_,
  SUM(totals.screenviews) AS PAGEVIEWS,
  SUM(totals.bounces) AS BOUNCES,
   sum(CASE
      WHEN device.isMobile = TRUE THEN (totals.visits)
      ELSE 0 END) mobilevisits,
  SUM(CASE
      WHEN trafficSource.medium = 'organic' THEN (totals.visits)
      ELSE 0 END) organicvisits,
  SUM(CASE
      WHEN EXISTS(  SELECT 1  FROM UNNEST(hits) hits  WHERE REGEXP_CONTAINS(hits.eventInfo.eventAction,'register$|registersuccess|new registration|account signup|registro')) THEN 1
      ELSE 0 END) AS NewRegistrations,
  SUM(CASE
      WHEN EXISTS(  SELECT 1  FROM UNNEST(hits) hits  WHERE REGEXP_CONTAINS(hits.eventInfo.eventAction, 'add to cart|add to bag|click to buy|ass to basket|comprar|addtobasket::')) THEN 1
      ELSE 0 END) AS ClickToBuy,
  SUM(totals.transactions) AS Transactions
FROM
  `project.dataset.ga_sessions_*`, UNNEST(hits) as h
WHERE
  1 = 1
  AND PARSE_TIMESTAMP('%Y%m%d', REGEXP_EXTRACT(_table_suffix, r'.*_(.*)')) BETWEEN TIMESTAMP('2017-05-01')
  AND TIMESTAMP('2017-05-01')
GROUP BY
  date,
  Country,
  display
ORDER BY
  visits DESC;

编辑：

我尝试从 FROM 子句中简单地删除 UNNEST(HITS) 命中作为 h，这给了我以下错误：

错误：无法在 [16:14] 访问类型为 ARRAY> 的值的字段 sourcePropertyInfo

我也尝试在子查询中使用它，如下所示：

(select h.sourcePropertyInfo.sourcePropertyDisplayName from unnest(hits) h) as displayname, 

并得到错误：

标量子查询产生了多个元素

Answer 1

由于您需要在点击级别计算多个值，因此可能取消嵌套字段 hits 是最好的方法。缺点是您丢失了会话级别的 totals 字段聚合，但您仍然可以解决它。

举个例子：

SELECT
  date,
  CASE
    WHEN REGEXP_CONTAINS(h.sourcePropertyInfo.sourcePropertyTrackingId, r'82272640') THEN 'MUG'
    WHEN h.sourcePropertyInfo.sourcePropertyTrackingId = 'Social' THEN 'Social'ELSE 'Website'
  END AS Property,
  geoNetwork.country AS Country,
  COUNT(DISTINCT CONCAT(CAST(visitId AS STRING),fullVisitorId)) AS visits,
  COUNT(DISTINCT(fullVisitorId)) AS Users,
  h.sourcePropertyInfo.sourcePropertyDisplayName AS display,
  SUM(CASE
      WHEN REGEXP_CONTAINS(h.page.pagepath, r'/') THEN h.latencyTracking.pageLoadTime END) / SUM(CASE
      WHEN REGEXP_CONTAINS(h.page.pagepath, r'/') THEN h.latencyTracking.pageLoadSample END) AS pageloadspeed,
  COUNT(DISTINCT
    CASE
      WHEN totals.newVisits = 1 THEN CONCAT(CAST(visitId AS STRING),fullVisitorId) END) new_visits,
  COUNT(CASE
         WHEN h.type = 'PAGE' THEN h.page.pagepath END) pageviews,
  SUM(CASE
       WHEN (h.isentrance = TRUE AND h.isexit = TRUE) THEN 1 END) bounces,
  COUNT(DISTINCT (CASE
        WHEN device.isMobile = TRUE THEN CONCAT(CAST(visitId AS STRING),fullVisitorId) END)) mobilevisits,
  COUNT(DISTINCT (CASE
        WHEN trafficSource.medium = 'organic' THEN CONCAT(CAST(visitId AS STRING),fullVisitorId) END)) organicvisits,
  SUM(CASE
       WHEN REGEXP_CONTAINS(h.eventInfo.eventAction,'register$|registersuccess|new registration|account signup|registro') THEN 1 END) AS NewRegistrations,
  SUM(CASE
       WHEN REGEXP_CONTAINS(h.eventInfo.eventAction, 'add to cart|add to bag|click to buy|ass to basket|comprar|addtobasket::') THEN 1 END) AS ClickToBuy,
  COUNT(h.transaction.transactionid) transactions
FROM
  `project_id.dataset_id.ga_sessions_*`,
  UNNEST(hits) AS h
WHERE
  1 = 1
  AND PARSE_TIMESTAMP('%Y%m%d', REGEXP_EXTRACT(_table_suffix, r'.*_(.*)')) BETWEEN TIMESTAMP('2017-05-01') AND TIMESTAMP('2017-05-01')
GROUP BY
  date,
  Country,
  display,
  Property

我对我们的数据集运行了它，它似乎工作正常。我做了一些改变：

• 删除了 Property 的 MAX 操作并将其添加到 group by。
• pageviews 被认为是 hit.type = 'PAGE' 的点击次数。但不确定屏幕浏览量是否相同。
• 在有进入和退出事件时计算反弹。
• 交易总数是基于交易 ID 的计数（希望您的数据集中也填写了此字段）。

Answer 2

您在最外层的 FROM 语句中将表格展平（即此处：

来自 project.dataset.ga_sessions_*, UNNEST(hits) as h)

您的所有会话级别维度，例如 device.* 或 totals.* 值（如 totals.transactions）已经汇总到会话级别，因此当您通过取消嵌套匹配来展平表格时，这些总计值会被写入多次有命中。例子： 假设一个会话中有 30 个匹配项和 2 个事务，因为您将匹配项展平/取消嵌套，所以您将剩下 30 行包含 totals.transactions = 2，因此当您对它们求和时，结果将是 60本次会议中的交易。 您的用户和访问不会因此受到影响，因为您可以区分它们，因此可以消除任何欺骗。

在我看来，如果你只是删除 ，UNNEST(hits) as h 如果你删除或调整这一行，你的查询就可以工作

h.sourcePropertyInfo.sourcePropertyDisplayName 作为显示

因为您已经在除此特定行之外的需要的地方取消了 select 语句中的命中。

Answer 3

在 UNNESTing 一个数组之后，使用 MAX() 代替 SUMMing 它们以报告会话级矩阵：

使用：

• MAX(totals.screenviews) AS PAGEVIEWS，
• MAX(totals.bounces) 作为反弹，
• MAX(totals.transactions) AS 事务
• ...
• ...

代替：

• SUM(totals.screenviews) 作为 PAGEVIEWS，
• SUM(totals.bounces) 作为反弹，
• SUM(totals.transactions) AS 事务

这应该可以部分解决您的问题。告诉我进展如何？

Answer 4

我认为William Fuks的查询中计算的跳出率要高得多的原因如下

WHEN (h.isentrance = TRUE AND h.isexit = TRUE) THEN 1 END) 反弹

似乎 isEntrance 和 isExit 只发生在 PAGE 命中，因此不考虑事件。因此，跳出次数过多是由于页面上可能发生了一个或多个交互事件的单个页面浏览量。