如何将大型结果集从 SQL 查询直接传输到 LINQpad 中的 CSV？答案

【问题标题】：how do I pipe large resultsets from SQL query directly to CSV in LINQpad?如何将大型结果集从 SQL 查询直接传输到 LINQpad 中的 CSV？
【发布时间】：2013-01-10 15:09:07
【问题描述】：

我们将 Linqpad 用于我们的数据管理员，作为 SSMS 的替代报告工具。我们的大多数管家仍然坚持使用 SQL（我们正在慢慢地将其中一些转换为 LINQ，但一次只需要一步）。但是，我们在 LINQPad 中遇到了一个限制，我不确定如何处理。对于大型结果集，由于 LINQPad 在推送到屏幕之前首先将查询拉入内存，因此在大型结果集上内存不足。有没有办法将 LINQPad 中的 SQL 查询直接推送到 CSV？

【问题讨论】：

标签： linqpad

【解决方案1】：

LINQPad 没有为此的内置方法（我应该添加它），但它很容易编写。将以下内容放入“我的扩展”：

public static class MyExtensions
{
    public static void WriteCsv<T> (this IEnumerable<T> elements, string filePath)
    {
        var fields = typeof (T).GetFields();

        var props = typeof (T).GetProperties()
            .Where (p => IsSimpleType (p.PropertyType))
            .ToArray();

        using (var writer = new StreamWriter (filePath))
        {
            string header = string.Join (",", 
                fields.Select (f => f.Name).Concat (props.Select (p => p.Name)))

            // Work around bug in Excel
            if (header.StartsWith ("ID")) header = " " + header;

            writer.WriteLine (header);
            foreach (var element in elements)
            {
                var values =
                    fields.Select (f => Format (f.GetValue (element))).Concat (
                    props.Select (p => Format (p.GetValue (element, null))));

                writer.WriteLine (string.Join (",", values));
            }
        }
    }

    static string Format (object value)
    {
        if (value == null) return "";

        // With DateTimes, it's safest to force a culture insensitive format:
        if (value is DateTime) return ((DateTime)value).ToString ("s");
        if (value is DateTimeOffset) return ((DateTimeOffset)value).ToString ("s");

        string result = value.ToString();
        result = result.Replace ("\"", "\"\"");
        if (result.Contains (",") || result.Contains ("\"") || result.Any (c => c < 0x20))
            result = "\"" + result + "\"";

        return result;
    }

    public static bool IsSimpleType (Type t)
    {
        if (t.IsGenericType && t.GetGenericTypeDefinition () == typeof (Nullable<>))
            t = t.GetGenericArguments() [0];

        return t.IsPrimitive || Type.GetTypeCode (t) != TypeCode.Object ||
               typeof (IFormattable).IsAssignableFrom (t);
    }
}

请注意，这会使用当前区域性格式化值（日期除外）。如果你想使用不变的文化，这很容易改变。

在调用它之前，您必须通过将ObjectTrackingEnabled 设置为false 来禁用对象跟踪以避免将对象缓存在内存中：

ObjectTrackingEnabled = false;
Customers.WriteCsv (@"c:\\temp\\customers.csv");

【讨论】：

这不会输出可为空的属性（因为 typeof (IFormattable).IsAssignableFrom (p.PropertyType)) 返回 false ）
看起来 beta 版本的 Util.WriteCSV 是另一种方式（我假设你是因为这个和类似的帖子而内置的），尽管在任何一种情况下它似乎都没有在 SQL 选项卡中工作。将其标记为已回答，尽管我将不得不进行一些工作和培训才能使其在我的情况下发挥作用。