如何在 php 中使用 BULK INSERT DATA 添加外部变量？

Question

我有一个以 UTF-8-BOM 编码的大型 csv 文件（超过 100,000 行），如下所示：

27336;00203-AND1;90-BLACK;9.5;2
27336;00203-ET1;90-BLACK;10;1
27336;00203-ET1;90-BLACK;12;1
...

我的 SQL Server 数据库中的一个表包含这些列：

storenumber | stylecode | colour | size | units | timestamp

我使用批量插入数据一次加载文件，但我想将我的 $timestamp 变量添加到插入到表中的每一行，但它不起作用......我该怎么做？

 <?php

include("connexion.php");

ini_set('max_execution_time', 32400);
$timestamp= date("y-m-d H:i");


$csv= "D:/xampp/htdocs/retail_BI/files/BI2_20200720_1344_00076.txt";

                     $query = "BULK INSERT dbo.Y2_Inventory 
                    FROM '$csv' 
                    WITH (
                    FIELDTERMINATOR = ';', 
                    ROWTERMINATOR = '\n',
                    ERRORFILE = 'myfileerror.log'
                     )";

                     $stmt = $conn->query( $query );     
                     if (!$stmt) { echo $conn->error;} 


$query2 = "UPDATE dbo.Y2_Inventory SET timestamp = ? WHERE timestamp IS NULL";

                     $stmt = $conn->query( $query2 );     
                    
            
        echo "good";        

?>

Answer 1

您需要考虑以下几点：

• 始终尝试在语句中使用参数（当然，如果可能的话）或仔细清理输入数据。在这种特定情况下，您可以尝试检查输入文件是否存在，然后在您的语句中注入文件名。
• 输入数据与表定义不匹配，您可以尝试在临时表中导入数据。
• 使用明确的格式（例如 2020-07-25T12:00:00）将 datetime 值作为文本传递。

以下示例是您的问题的可能解决方案：

表：

CREATE TABLE Y2_Inventory (
    storenumber int,
    stylecode nvarchar(50),
    colour nvarchar(50),
    size numeric(10, 1), 
    units int,
    [timestamp] datetime
)

PHP 脚本：

<?php
//
include("connexion.php");
ini_set('max_execution_time', 32400);

// CSV file
$csv = "D:/xampp/htdocs/retail_BI/files/BI2_20200720_1344_00076.txt";  
$err = "D:/xampp/htdocs/retail_BI/files/BI2_20200720_1344_00076.err";
if (!file_exists($csv)) {
    die("CSV file not exists.");    
}
    
// Time stamp
$timestamp = date("Y-m-d\TH:i:s");

// INSERT Data
try {
    $query = "
        SET NOCOUNT ON;
        
        SELECT storenumber, stylecode, colour, size, units
        INTO #t
        FROM Y2_Inventory
        WHERE 1 = 0;
        
        BULK INSERT #t 
        FROM '$csv' 
        WITH (
            ERRORFILE = '$err',
            FIELDTERMINATOR = ';', 
            ROWTERMINATOR = '\n'
        );
        
        INSERT INTO Y2_Inventory (storenumber, stylecode, colour, size, units, [timestamp])
        SELECT storenumber, stylecode, colour, size, units, ?
        FROM #t;
    
        DROP TABLE #t;
    ";
    $stmt = $conn->prepare($query);     
    $stmt->bindParam(1, $timestamp, PDO::PARAM_STR);
    $stmt->execute();
    echo "OK";        
} catch (PDOException $e) {
    die ("Error executing query. ".$e->getMessage());
}
?>

Answer 2

就像我在评论中提到的那样，您不能参数化 BULK INSERT 语句。因此，您必须使用动态 SQL。我不知道/写 PHP，但是，我可以清楚地看到上面的 wide 可以注入，因为您只是将文件名注入到 SQL 语句中。你需要解决这个问题，并参数化你的声明How to: Perform Parameterized Queries。

至于 SQL，它看起来像这样：

DECLARE @FilePath nvarchar(256); --This would be your parameter, so might not bneed a declaration

DECLARE @SQL nvarchar(MAX);
SET @SQL = N'BULK INSERT dbo.Y2_Inventory 
FROM N''' + REPLACE(@FilePath,'''','''''') + N'''
     WITH(FIELDTERMINATOR = '';'',
          FIELDTERMINATOR = ''\n'',
          ERRORFILE = ''myfileerror.log'');';

--PRINT @SQL; --Your Best Friend

EXEC sys.sp_executesql @SQL;