MS Access 使用 Powershell 脚本插入 UTF-8

Question

我有一个带有西班牙变音符号的 CSV 文件 UTF-8 格式，如果我从 Access 加载它并选择 UTF-8 一切都很好。我想自动化我的工作，所以我制作了一个 Powershell 脚本。因为表已经创建，所以我无法使用SELECT * 但INSERT INTO 加载数据。使用SELECT *，我可以指定UTF-8 字符集，如[text;HDR=Yes;CharacterSet=65001;]。如何使用“INSERT INTO”做到这一点？

到目前为止我的代码（工作但 utf-8 字符乱码）：

$PSDefaultParameterValues['*:Encoding'] = 'utf8'
$connectstring = "Provider=Microsoft.ACE.OLEDB.12.0; Data Source=C:\Users\Nobody\Desktop\Mexico-test.accdb"
$conn = New-Object System.Data.OleDb.OleDbConnection($connectstring)

$conn.Open()

$Voters = Import-Csv -Delimiter "," -Path "C:\Users\Nobody\Desktop\mexico.csv"

foreach ($Voter in $Voters)
{
    $curp = $Voter.curp
    $age = $Voter.age
    $forename = $Voter.forename
    $middlename = $Voter.middlename
    $surname = $Voter.surname
    $fatherSurname = $Voter.fatherSurname
    $motherSurname = $Voter.motherSurname
    $cmd = $conn.CreateCommand()
    $cmd.CommandText="INSERT INTO voters(curp,age,forename,middlename,surname,fatherSurname,motherSurname) VALUES('$curp','$age','$forename','$middlename','$surname','$fatherSurname','$motherSurname')"
    $cmd.ExecuteNonQuery()
}

$conn.Close()

Answer 1

您的代码通过以下语句正确请求会话范围使用 UTF-8 编码：

$PSDefaultParameterValues['*:Encoding'] = 'utf8'

^{查看通过首选项变量$PSDefaultParameterValues实现的参数预设字典的文档。}

因此，在您的情况下，-Encoding UTF8 在调用任何具有-Encoding 参数（例如Import-Csv）的 cmdlet 时隐式生效。

因此：

• 您的Import-Csv 调用确实将您的 CSV 文件读取为 UTF-8。

• 但是，您的症状（控制台中的值未正确打印）表明您的 CSV 输入文件实际上不是 UTF-8 编码的。

因此，解决方案是确定 CSV 文件的实际编码^[1] 并将其名称传递给
-Encoding 参数强>：

鉴于您已经确认，您的文件的实际编码是 ANSI（由系统的活动旧代码页确定的固定单字节编码），请使用 @987654335 Windows PowerShell 中的@编码名称：

$voters = Import-Csv -Encoding Default -Delimiter ',' -Path C:\Users\Nobody\Desktop\mexico.csv

在 PowerShell [Core] 6+ 中，您实际上需要传递使用的特定 ANSI 代码页e，这在美国英语例如，systems 是Windows-1252（有关支持的代码页列表，请参阅the docs；使用“.NET 名称”列中的值或“标识符”列中的数字，但没有前导0 )。

# Use the Windows-1252 ANSI encoding.
$voters = Import-Csv -Encoding 1252 -Delimiter ',' -Path C:\Users\Nobody\Desktop\mexico.csv

注意：从 v7.0 开始，对 Default 编码名称引用活动 ANSI 代码页的支持莫名其妙地没有实现 - 请参阅 this GitHub issue；如果您希望看到这种变化，请在那里听到您的声音。

有关 PowerShell 中编码行为的全面概述 以及它在 Windows PowerShell（最高 v5.1 的版本）和 PowerShell [Core]（从 v6 开始的版本）之间的变化，请参阅 @987654324 @。

---

[1] 确定文本文件的编码：

注意：在 PowerShell [Core] 6+ 中，Get-Content 将文件的文本正确打印到屏幕 意味着 所有 cmdlet 将正确解释它；可悲的是，由于 Windows PowerShell（最高 v5.1 的版本）中 cmdlet 的行为非常不一致，这不一定是正确的； Import-Csv 是一个很好的例子，因为它默认为 ASCII(!) 编码 - 有关背景信息，请参阅 this answer。

• 平台特定选项：

  • Windows：

    • 将文件加载到 记事本，在没有 Unicode BOM（签名）的情况下尝试自动检测编码，然后通常可以区分 UTF-8 和 ANSI：查看文本是否正确显示，然后在右下角（状态栏）查看正在显示的编码名称，例如“ANSI”；但是请注意，它无法告诉您可能使用了哪些特定的 ANSI 代码页（如果文件来自不同的文化），因为这通常无法推断。

  • 类 Unix 平台（macOS、Linux，包括 WSL）：

    • 使用 file 实用程序（例如，file mexico.csv）尝试自动检测编码。
    • 警告：file 错误地将 Windows-1252 识别为 ISO-8859，这并不完全正确 - 它们在很大程度上重叠，但并不完全相同：请参阅 the docs。

• 跨平台选项：

  • 将您的文件传递给Format-Hex（例如Format-Hex mexico.csv）以检查字节值；注意：务必将文件作为参数传递给（隐含的）-Path 参数，而不是通过Get-Content 将其内容传递给Format-Hex，因为在后一种情况Get-Content 可能已经曲解了文件。

  • 使用 Visual Studio Code：虽然它不会尝试自动检测编码，但它提供了一种方便的方法来重新读取具有不同编码的文件 strong>：点击右下角附近的编码名称（状态栏；例如“UTF-8”）并选择Reopen with Encoding，然后选择感兴趣的编码；冲洗并重复，直到文本正确显示。

Answer 2

我实现了一个没有数据库连接的最小示例，因为我没有 MS Access。能不能在你的电脑上把-Encoding参数指定为Import-Csv看看能不能用？

省略此参数会在我的屏幕上呈现乱码。

C??mo est??s

将其显式指定为 UTF8 会呈现此内容。

Cómo estás

$lines = Import-Csv -Delimiter "," -Path "words.csv" -Encoding utf8

foreach ($line in $lines)
{
    $word = $line
    $query = "INSERT INTO voters(word) VALUES('$line')"
    Write-Host $query
}

words.csv

Cómo estás
Dónde estás
quién eres tú
cuando estás llegando