SQL 将多个多值列拆分为行答案

【问题标题】：SQL Split Multiple Multivalue Columns into RowsSQL 将多个多值列拆分为行
【发布时间】：2015-07-14 14:03:33
【问题描述】：

我有发送给我的数据，我需要对其进行规范化。数据在一个sql表中，但每一行都有多个多值列。一个例子如下：

ID  fname   lname       projects           projdates
1   John    Doe         projA;projB;projC  20150701;20150801;20150901
2   Jane    Smith       projD;;projC       20150701;;20150902
3   Lisa    Anderson    projB;projC        20150801;20150903
4   Nancy   Johnson     projB;projC;projE  20150601;20150822;20150904
5   Chris   Edwards     projA              20150905

需要也是这样的：

ID  fname   lname      projects projdates
1   John    Doe          projA  20150701
1   John    Doe          projB  20150801
1   John    Doe          projC  20150901
2   Jane    Smith        projD  20150701
2   Jane    Smith        projC  20150902
3   Lisa    Anderson     projB  20150801
3   Lisa    Anderson     projC  20150903
4   Nancy   Johnson      projB  20150601
4   Nancy   Johnson      projC  20150822
4   Nancy   Johnson      projE  20150904
5   Chris   Edwards      projA  20150905

我需要将其拆分为 id、fname、lname 的行，并将项目和 proddates 解析为单独的记录。我发现许多带有拆分功能的帖子，我可以让它为 1 列工作，但不是 2。当我做 2 列时，它会渗透到拆分中。即对于 John Doe，它给了我 3 次 projA 的记录，每个 proddates 一次。我需要将每个多值项目记录与其各自的 projdate 而非其他项目记录进行 coorelate。

有什么想法吗？

谢谢！

【问题讨论】：

请发布您的预期结果集
虽然这不是存储数据（非规范化）的好方法，但由于这是其他人发送给您的，您可能没有选择。如果您确实可以选择使其正常化，请这样做或说服对方。对于目前的担忧，您能分享一下您到目前为止所做的尝试吗？
当项目和项目日期计数不匹配时会发生什么？例如有 4 个项目，但有 5 个项目编号。即使它们始终相等，您是否假设一个列表中的第一个元素始终对应于第二个列表中的第一个元素？
我这辈子都无法理解为什么人们会对某个问题投反对票。我有个问题！为什么要做一个粗鲁的混蛋？我到处寻找，只能找到拆分一列的解决方案，而不是 2 个或更多相关列。我想要做的是规范化数据。该数据大约有 30 列，并且它们的组相互关联，前几列是单个记录数据。我将在编辑中发布我希望结果看起来像的表格。我可以说相互关联的列总是匹配的。无论如何，它们的分隔符。
嗯，一个更好的问题将包括预期结果，并讨论边缘情况 - 例如我们可以看到 ID 2 似乎有一个跳过的值 - ;; 应该会产生结果吗？此外，这里的其他 cmets 建议考虑其他边缘情况（如果项目是 ABC;DEF 和 projdates 是 20150101;20150201;20150301，我们该怎么办）

标签： sql parsing split multivalue

【解决方案1】：

如果您使用 Jeff Moden 的“DelimitedSplit8K”拆分器（我在这里重命名为“fDelimitedSplit8K”）（参考图 21：最终的“新”拆分器代码，准备测试）
为拆分做繁重的工作，其余的变得相当简单，使用 CROSS APPLY 和 WHERE 来获得正确的加入。

IF object_ID (N'tempdb..#tInputData') is not null 
   DROP TABLE #tInputData

CREATE TABLE #tInputData (
     ID        INT 
        PRIMARY KEY CLUSTERED  -- Add IDENTITY if ID needs to be set at INSERT time
   , FName     VARCHAR (30)
   , LName     VARCHAR (30)
   , Projects  VARCHAR (4000)
   , ProjDates VARCHAR (4000)
)

INSERT INTO #tInputData
         ( ID, FName, LName, Projects, ProjDates )
VALUES
   ( 1, 'John',  'Doe'      , 'projA;projB;projC' , '20150701;20150801;20150901'),
   ( 2, 'Jane',  'Smith'    , 'projD;;projC'      , '20150701;;20150902'),
   ( 3, 'Lisa',  'Anderson' , 'projB;projC'       , '20150801;20150903'),
   ( 4, 'Nancy', 'Johnson'  , 'projB;projC;projE' , '20150601;20150822;20150904'),
   ( 5, 'Chris', 'Edwards'  , 'projA'             , '20150905')

SELECT * FROM #tInputData  -- Take a look at the INSERT results

; WITH ResultSet  AS 
(
   SELECT 
        InData.ID
      , InData.FName
      , InData.LName
      , ProjectList.ItemNumber AS ProjectID
      , ProjectList.Item AS Project
      , DateList.ItemNumber AS DateID
      , DateList.Item AS ProjDate
   FROM #tInputData AS InData
   CROSS APPLY dbo.fDelimitedSplit8K(InData.Projects,';') AS ProjectList
   CROSS APPLY dbo.fDelimitedSplit8K(InData.ProjDates,';') AS DateList
   WHERE DateList.ItemNumber = ProjectList.ItemNumber  -- Links projects and dates in left-to-r1ght order
   AND (ProjectList.Item <> '' AND DateList.Item <> '') -- Ignore input lines when both Projects and ProjDates have no value; note that these aren't NULLs.
)
SELECT 
      ID
    , FName
    , LName
    , Project
    , ProjDate 
FROM ResultSet
ORDER BY ID, Project

结果

ID  FName  LName     Project  ProjDate  
--  -----  --------  -------  --------  
 1  John   Doe       projA    20150701  
 1  John   Doe       projB    20150801  
 1  John   Doe       projC    20150901  
 2  Jane   Smith     projC    20150902  
 2  Jane   Smith     projD    20150701  
 3  Lisa   Anderson  projB    20150801  
 3  Lisa   Anderson  projC    20150903  
 4  Nancy  Johnson   projB    20150601  
 4  Nancy  Johnson   projC    20150822  
 4  Nancy  Johnson   projE    20150904  
 5  Chris  Edwards   projA    20150905

此算法处理长度相等的项目和日期列表。如果给定行的一个列表比另一个列表短，则需要特别注意将 NULL 应用到适当的位置。

-- Cleanup
DROP TABLE #tInputData

【讨论】：

感谢您抽出宝贵的时间来写这篇文章！我现在就去试试！

【解决方案2】：

你没有说你期望的结果是什么，但这可能是一个很好的起点：

declare @t table (ID int not null,fname varchar(17) not null,lname varchar(15) not null,
projects varchar(76) not null,projdates varchar(310) not null)
insert into @t(ID,fname,lname,projects,projdates) values
(1,'John', 'Doe',     'projA;projB;projC','20150701;20150801;20150901'),
(2,'Jane', 'Smith',   'projD;;projC',     '20150701;;20150902'        ),
(3,'Lisa', 'Anderson','projB;projC',      '20150801;20150903'         ),
(4,'Nancy','Johnson', 'projB;projC;projE','20150601;20150822;20150904'),
(5,'Chris','Edwards', 'projA',            '20150905'                  )

;With Numbers as (
    select ROW_NUMBER() OVER (ORDER BY Number) n
    from master..spt_values
), ProjectPositions as (
    select ID,n.n
    from @t t
        inner join
        Numbers n
            on SUBSTRING(t.projects,n.n,1) = ';'
    union all
    select ID,0 from @t
    union all
    select ID,LEN(projects)+1 from @t
), ProjectsNumbered as (
    select *,ROW_NUMBER() OVER (PARTITION BY ID ORDER BY n) rn
    from ProjectPositions
), ProjectPartitions as (
    select n1.ID,n1.n+1 as startat,n2.n as endat,n1.rn
    from ProjectsNumbered n1
            inner join
        ProjectsNumbered n2
            on
                n1.id = n2.id and
                n1.rn = n2.rn -1
), ProDatePositions as (
    select ID,n.n
    from @t t
        inner join
        Numbers n
            on SUBSTRING(t.projdates,n.n,1) = ';'
    union all
    select ID,0 from @t
    union all
    select ID,LEN(projdates)+1 from @t
), ProDateNumbered as (
    select *,ROW_NUMBER() OVER (PARTITION BY ID ORDER BY n) rn
    from ProDatePositions
), ProDatePartitions as (
    select n1.ID,n1.n+1 as startat,n2.n as endat,n1.rn
    from ProDateNumbered n1
            inner join
        ProDateNumbered n2
            on
                n1.id = n2.id and
                n1.rn = n2.rn -1
)
select
    t.ID,t.fname,t.lname,
    SUBSTRING(projects,pp.startat,pp.endat - pp.startat) as project,
    SUBSTRING(projdates,pdp.startat,pdp.endat - pdp.startat) as projdate
from
    @t t
        inner join
    ProjectPartitions pp
        on
            t.ID = pp.ID
        inner join
    ProDatePartitions pdp
        on
            t.ID = pdp.ID and
            pp.rn = pdp.rn

结果：

ID          fname             lname           project     projdate
----------- ----------------- --------------- ----------- ----------
1           John              Doe             projA       20150701
1           John              Doe             projB       20150801
1           John              Doe             projC       20150901
2           Jane              Smith           projD       20150701
2           Jane              Smith                       
2           Jane              Smith           projC       20150902
3           Lisa              Anderson        projB       20150801
3           Lisa              Anderson        projC       20150903
4           Nancy             Johnson         projB       20150601
4           Nancy             Johnson         projC       20150822
4           Nancy             Johnson         projE       20150904
5           Chris             Edwards         projA       20150905

（不清楚你想为ID 2 的“空”项目做什么）

它是如何工作的 - 我们使用 ROW_NUMBER() 模拟了一个 Numbers 表 - 我们正在查询 master 中的一个未记录的表，但我们没有使用表中的任何实际值 - 我们只知道它有一个良好的行数。如果您有实数表，则可以跳过该 CTE。

然后我们执行两次相同的操作 - 我们将数字表连接到我们的数据表并使用它来查找要拆分的字符串中 ; 字符的位置。我们还为位置 0（字符串开头之前）和字符串结尾之后的 1 位置创建了一对虚拟结果。这定义了ProjectPositions 和ProDatePositions

我们使用另一个ROW_NUMBER()（ProjectNumbered，ProDateNumbered）对这些位置进行编号，然后使用该信息将连续的行连接在一起（ProjectPartitions，ProDatePartitions）。然后最终结果是我们计算了我们在哪里应该从两个字符串中提取子字符串。

最后，我们将这些“分区”CTE 连接回原始数据表，并使用行号来确保对齐来自两个独立字符串的分区信息。

【讨论】：

【解决方案3】：

尝试使用以下查询。

选择 A.ID ,a.fname,a.lname ,a.projects , ltrim(Split.a.value('.', 'VARCHAR(100)')) AS projdates
FROM (SELECT ID , fname, lname , 项目, CAST ('' + REPLACE([projdates], ';', '') + '' AS XML) 作为字符串
FROM ) AS A CROSS APPLY String.nodes ('/M') AS Split(a);

试试这个，你会得到预期的输出。

谢谢。

【讨论】：

但这不会只拆分项目日期而不拆分项目日期吗？我尝试了一些交叉应用/拆分功能，但它们似乎不适用于一次拆分 2 列或更多列。

【解决方案4】：

检查此答案（数据库：SQL Server 2019）

select  name, Location_Type, b.value as spltrows from Location__c  A
CROSS APPLY string_split(A.Location_Type,';') b
where Location_Type is not null
ORDER BY 1

在 Location_Type 列中，我们有多个值，例如“Mailing;Shipping;Billing”

【讨论】：