如何为 SQL 表自动生成数据类型

Question

我有许多包含 200 多列的非规范化表。这些表位于 SQL Server 中，并且它们通常（如果不总是）具有 varchar(100) 或 nvarchar(100)（字符串）数据类型。但是，大多数列是整数、浮点数或其他数据类型。我不可能遍历每个表和列并挑选数据类型。由于许多原因，包括应用程序兼容性、性能、加入和其他原因，我必须将这些转换为正确的（或至少接近正确的）数据类型。有什么我可以使用的工具吗？有没有人创建代码来完成这个？它不一定是完美的，但接近匹配就可以了。

我尝试了什么：

1. 我尝试将这些表导出到 Excel，然后返回 SQL。它起作用了，但是比手动操作要花费更多的时间，因为 Excel 会破坏您的数据并将其转换为任何感觉（想想科学记数法、数字日期等……天哪！）。这非常耗时并且失败了。如果您选择在 Excel 中使用“文本”选项，它只会将所有内容转换回 varchar (x)
2. 我尝试导出到平面文件并使用具有智能数据类型的 VS 或 SSMS 新版本。这比 Excel 效果更好，但不幸的是，即使是单行冲突也会停止整个过程。该工具很笨重，会出现严重错误，并且不会告诉您是哪一行导致了问题。使用这种方法也很糟糕，因为这些表很大，而且非常耗时。尤其是在考虑工具故障排除时。

感谢您的帮助。如果您不要求我通过尝试说我的设置不好/等等来放弃任务，我也很感激。

Answer 1

我现在假设您只关心以下字符串列：

1. 应保留为字符串，但定义的宽度可能超出所需范围
2. 不应该是字符串，因为：
   • 它们只包含日期
   • 它们只包含数字，在这种情况下：
     • 您将关心长度（以确定潜在的 tinyint/int/bigint）
     • 你会关心它们是否包含小数

您已经看到了一种确定if columns already defined as integers could be made smaller 的方法，但类似的方法可用于在数据类型当前为字符串但符合上述条件之一的表中查找潜在候选者。

假设你有一张这样的桌子：

CREATE TABLE dbo.foo
(
  a int PRIMARY KEY, 
  h varchar(100),
  i varchar(100),
  j varchar(100)
);

INSERT dbo.foo VALUES 
(1,'123','123','20200101 04:00:00'),
(2,'456','456','20200101'),
(3,'789','789','20200101'),
(4,'867','foo','20200101'),
(5,'876','876','20200101'),
(6,'6.54','654','20200101');

一种方法是确定列的所有元数据按照它们的定义（您可以从sys.dm_exec_describe_first_result_set 轻松获得），然后从该构建动态 SQL 中检查每一列的最长的值（这将确定最小的字符串大小），是否有单个非数字（这意味着您无法转换为数字），是否有单个非日期（这意味着您无法转换为日期），以及是否有小数点（这意味着您不能转换为 int 系列，但您还需要检查精度/比例）。

这绝对只​​是一个粗鲁、肮脏的开始，但它应该能让你继续前进。

DECLARE @table nvarchar(513) = N'dbo.foo';

DECLARE @sql nvarchar(max) = N'SELECT ', @un nvarchar(max) = N'',
  @un_sub nvarchar(max) = N'
  SELECT ColumnName =  MIN([col $c$]), 
  CurrentType = MIN([type $c$]), 
  LongestValue = MAX([len $c$]), 
  [AllNumerics?] = MIN([is_num $c$]), 
  [AllDates?] = MIN([is_date $c$]),
  [AnyContainDecimal] = MAX([has_dec $c$]) FROM x '

SELECT @sql += N'[col ' + name + '] = ''' + name + ''',
   [type ' + name + '] = '''
  + system_type_name + ''',' + QUOTENAME(name)
  + ', [len ' + name + '] = LEN(' + QUOTENAME(name) + '),
  [is_num ' + name + '] = CONVERT(tinyint, ISNUMERIC(' + QUOTENAME(name) + ')),
  [is_date ' + name + '] = CONVERT(tinyint, ISDATE(' + QUOTENAME(name) + ')),
  [has_dec ' + name + '] = CASE WHEN ISNUMERIC(' + QUOTENAME(name) + ') = 1
    AND ' + QUOTENAME(name) + ' LIKE N''%.%'' THEN 1 ELSE 0 END,',
  @un += N'
UNION ALL ' + REPLACE(@un_sub, N'$c$', name)
  
FROM sys.dm_exec_describe_first_result_set('SELECT * FROM ' + @table, NULL, 1)
WHERE system_type_name like '%char%'

SELECT @sql += N'[$garbage$]='''' FROM ' + @table;

SELECT @sql = N';WITH x AS (
' + @sql + N'
) ' + STUFF(@un, 1, 10, '');

EXEC sys.sp_executesql @sql;

要消化的东西很多……动态 SQL 很强大，但它真的很丑，而且不完全面向对象。

结果（try it out in this fiddle）：

你可以在那里看到：

1. h全是数字，最长为4，但至少有一个值包含小数点，所以这里的最优类型是decimal(something, something)。
2. i 至少包含一个非数字，至少一个非日期，因此只能是字符串，但由于最长的值只有 3 个字符，varchar(100) 太多了。无论您可以转到 varchar(3) 或 char(3) 还是需要通过一些填充来保证未来的发展，这实际上只是一个您可以根据您的数据模型、现在和以后的业务需求等定性回答的问题。
3. j 包含所有日期类型，但是您不能从这里的最大长度解释太多（因为您不知道日期实际上是如何存储的，因为它们存储为字符串和许多形式的字符串可以解释为有效日期）。因此，您可能知道j 应该是某种风格的datetime，但您需要仔细查看值以了解实际存在的内容。

您可以将此查询的结果（尤其是对于具有大量列的表）更改为仅返回值得研究的值，在这种情况下，我返回所有行以进行演示（无论如何，所有行在我的示例中都有潜在的修复） .只需在联合周围添加另一个 CTE 并根据这些列（或您添加的其他列）进行过滤。

当然，在大表上，这可能会扫描每一列，所以不要指望它很快，如果你缺少它，它会不喜欢很多内存。同样，这可能很明显，但这不能保护您免于选择以后会伤害您的类型。假设该列正在收集整数并且它刚刚达到 99，因此您将类型更改为 tinyint，因为没有小数并且最长长度为 2。然后有人插入 256 并繁荣。

您还可以添加其他增强功能，例如获取最小长度（如果它们都是字符串，也许您有 varchar 但它可能是 char），或者检查是否有任何字符在 ASCII 之外（也许你有nvarchar，但它可能是varchar）、小数点两边的位数（更精确地表示十进制类型）或最大值（以提高确定整数类型的准确性）。我会把这些留作练习。

Answer 2

您可能在 SQL Server 中有一个更简单的解决方案。只需尝试转换值并选择最合适的类型。对于单列处理整数、日期和时间非常简单：

select (case when count(try_convert(tinyint, col)) = count(col) then 'tinyint'
             when count(try_convert(int, col)) = count(col) then 'int'
             when count(try_convert(bigint, col)) = count(col) then 'bigint'
             when count(try_convert(date, col)) = count(col) then 'date'
             when count(try_convert(time, col)) = count(col) then 'time'
             when count(try_convert(datetime, col)) = count(col) then 'datetime'
             else 'varchar(255)'  -- or whatever default
        end)
from t
where col is not null;

这需要以两种方式扩展。一个用于更多列，第二个用于其他类型的数字。第一个很简单：

select colname,
       (case when count(try_convert(tinyint, col)) = count(col) then 'tinyint'
             when count(try_convert(int, col)) = count(col) then 'int'
             when count(try_convert(bigint, col)) = count(col) then 'bigint'
             when count(try_convert(date, col)) = count(col) then 'date'
             when count(try_convert(time, col)) = count(col) then 'time'
             when count(try_convert(datetime, col)) = count(col) then 'datetime'
             else 'varchar(255)'  -- or whatever default
        end)
from t cross apply
     (values ('col1', col1), ('col2', col2), . . . ) v(colname, col)
where col is not null
group by colname;

注意：如果值都是NULL，则无法检查。

带小数点的数字的问题是值不明确——您想要数字还是浮点数？一种可能性是您考虑到了数据类型。所以，您可能知道所有数字都可能是，所以numeric(20, 4) 因为它们代表货币金额——您可以将它们包括在上面。

或者您可以测试小数位的位置并使用该信息来推导类型。我认为最简单的解决方案可能是这样的：

select colname,
       (case when count(try_convert(tinyint, col)) = count(col) then 'tinyint'
             when count(try_convert(int, col)) = count(col) then 'int'
             when count(try_convert(bigint, col)) = count(col) then 'bigint'
             when count(try_convert(date, col)) = count(col) then 'date'
             when count(try_convert(time, col)) = count(col) then 'time'
             when count(try_convert(datetime, col)) = count(col) then 'datetime'
             when count(try_convert(numeric(20, 4), col)) = count(col) and
                  sum(case when col like '%._____' then 1 else 0 end) = 0
             then 'numeric(20, 4)'
             when count(try_convert(float, col) = count(col)
             then 'float'
             else 'varchar(255)'  -- or whatever default
        end)
from t cross apply
     (values ('col1', col1), ('col2', col2), . . . ) v(colname, col)
where col is not null
group by colname;

Answer 3

你可以考虑在表格上使用一个视图，其中视图使用一个带有转换函数的select

select someFunction(colA), someOtherFunction(colB) ... from tableName

例如对于sqlserver

CREATE VIEW myView
as
select CAST(colA AS int) as colA, CAST(colB AS text) as colB ... 
from tableName

然后你可以说 select ... from myView