验证 csv 文件

Question

这是我的示例文件

#%cty_id1,#%ccy_id2,#%cty_src,#%cty_cd3,#%cty_nm4,#%cty_reg5,#%cty_natnl6,#%cty_bus7,#%cty_data8
690,ALL2,,AL,ALBALODMNIA,,,,
90,ALL2,,,AQ,AKNTARLDKCTICA,,,
161,IDR2,,AZ,AZLKFMERBALFKIJAN,,,,
252,LTL2,,BJ,BENLFMIN,,,,
206,CVE2,,BL,SAILFKNT BAFSDRTHLEMY,,,,
360,,,BW2,BOPSLFTSWLSOANA,,,,

问题在于#%cty_cd3 是一个仅长度为 2 个字母的standard column(NOT NULL)，但在 sql server 中，记录转移到另一列，（由于 btw 中有一个额外的逗号）我如何验证 csv 文件，以确保 当有 2 个字符的词只需要在 4 列中？

大约有 10000 条记录？

定义的规则集！

Should have a standard set of delimiters for eachrow
 if not
   Check for NOT NULL values having Null values
     If found Null
       remove delimiter at the pointer

3个,,,不会被2个,,替换

#UPDATED：我能知道这是否可以使用脚本来完成吗？

更新了我只需要一个对像这样的记录进行操作的函数

90,ALL2,,,AQ,AKNTARLDKCTICA,,, 使用正则表达式或任何其他方法更正它们并放回源文件！

Answer 1

如果这是唯一的问题（并且如果您在字段 bt_cty_ccy_id 中从来没有逗号），那么您可以通过将文件加载到支持正则表达式的编辑器并替换它来删除这样一个额外的逗号

^([^,]*,[^,]*,[^,]*,),(?="[A-Z]{2}")

\1.

Answer 2

我会质疑向您发送此文件的源系统，为什么在某些行之间有这个额外的逗号？我猜你会使用逗号作为分隔符来将此 .csv 文件导入 talend。

（或者另一个建议是在输入文件中要求分号作为列分隔符）

9,"ALL",,,"AQ","ANTARCTICA",,,,

将会

9;"所有";,;"AQ";"南极洲";;;;

Answer 3

如果第 4 列没有，您可以尝试删除第 4 列中的空字段。 4 不是两个字符的字段，如下：

awk 'BEGIN {FS=OFS=","}
{
    for (i=1; i<=NF; i++) {
        if (!(i==4 && length($4)!=4))
            printf "%s%s",$i,(i<NF)?OFS:ORS
    }
}' file.csv

输出：

"id","cty_ccy_id","cty_src","cty_nm","cty_region","cty_natnl","cty_bus_load","cty_data_load"
6,"ALL",,"AL","ALBANIA",,,,
9,"ALL",,"AQ","ANTARCTICA",,,
16,"IDR",,"AZ","AZERBAIJAN",,,,
25,"LTL",,"BJ","BENIN",,,,
26,"CVE",,"BL","SAINT BARTH�LEMY",,,,
36,,,"BW","BOTSWANA",,,,
41,"BNS",,"CF","CENTRAL AFRICAN REPUBLIC",,,,
47,"CVE",,"CL","CHILE",,,,
50,"IDR",,"CO","COLOMBIA",,,,
61,"BNS",,"DK","DENMARK",,,,

注意：

• 我们使用length($4)!=4，因为我们假设第 4 列中有两个字符，但我们还必须为双引号添加两个额外字符..

Answer 4

解决方案是使用前瞻正则表达式，如前所述。为了重现您的问题，我使用了这个：

"\\,\\,\\,(?=\\\"[A-Z]{2}\\\")"

匹配三个逗号后跟两个带引号的大写字母，但在匹配中不包括这些。 Ofc 您可能需要根据自己的需要对其进行一些调整（即任意数量的逗号，而不是恰好三个）。

但是您不能直接在 Talend 中使用它而不会出现大量错误。以下是设计工作的方法：

换句话说，你需要逐行读取文件，还没有字段。然后，在 tMap 中，进行匹配和替换，例如：

row1.line.replaceAll("\\,\\,\\,(?=\\\"[A-Z]{2}\\\")", ",,")

最后使用“，”作为分隔符对行进行标记以获得最终模式。您可能需要在这里和那里手动修剪引号，因为 tExtractDelimitedFields 不会。

这是一个输出示例（需要一些清理，ofc）：

您无需手动输入 tExtractDelimitedFields 的架构。使用向导将 DelimitedFile Schema 记录到元数据存储库中，您可能已经这样做了。您也可以将此模式用作通用模式，使其适合 tExtractDelimitedField 的传出连接。不是纯粹主义者闲逛的东西，但它有效且节省时间。

关于您的 UI 问题，它们通常与文件编码和区域设置有关。不要太担心，它们（通常）不会影响作业的执行。

编辑：这是一个显示解决方案的示例 TOS 作业，只需在您的项目中导入：TOS job archive

EDIT2：添加了一些截图

Answer 5

您最好的选择可能是在 Talend 中使用 tSchemaComplianceCheck 组件。

如果您使用tFileInputDelimited 组件读取文件，然后使用tSchemaComplianceCheck 检查它，您将cty_cd 设置为不可为空，那么它将拒绝您的南极行，因为您希望没有空值。

从这里您可以使用 tMap 并将字段映射到上面的字段。

您应该能够根据需要轻松地对此进行调整，可能还可以通过进一步的tSchemaComplianceChecks 沿着拒绝行和映射来适应。这种方法更加自我解释，当您想要适应文件结构的不同变体时，您不必处理需要复杂管理的复杂正则表达式，其好处是您将始终捕获所有格式良好的行。

Answer 6

使用基于 VBA 的方法迟到。正则表达式的另一种方法是解析文件并在第 4 个字段为空时删除逗号。使用微软脚本运行时，可以实现代码打开文件然后读取每一行，将其复制到新的临时文件中。如果第 4 个元素是空的，如果是，它会写一行，去掉多余的逗号。然后将清理后的数据复制到原始文件并删除临时文件。这似乎有点漫长，但是当我根据您的样本在 14000 行的文件上对其进行测试时，完成时间不到 2 秒。

Sub Remove4thFieldIfEmpty()

    Const iNUMBER_OF_FIELDS As Integer = 9

    Dim str As String
    Dim fileHandleInput As Scripting.TextStream
    Dim fileHandleCleaned As Scripting.TextStream
    Dim fsoObject As Scripting.FileSystemObject
    Dim sPath As String
    Dim sFilenameCleaned As String
    Dim sFilenameInput As String
    Dim vFields As Variant
    Dim iCounter As Integer
    Dim sNewString As String

    sFilenameInput = "Regex.CSV"
    sFilenameCleaned = "Cleaned.CSV"
    Set fsoObject = New FileSystemObject

    sPath = ThisWorkbook.Path & "\"


    Set fileHandleInput = fsoObject.OpenTextFile(sPath & sFilenameInput)

    If fsoObject.FileExists(sPath & sFilenameCleaned) Then
        Set fileHandleCleaned = fsoObject.OpenTextFile(sPath & sFilenameCleaned, ForWriting)
    Else
        Set fileHandleCleaned = fsoObject.CreateTextFile((sPath & sFilenameCleaned), True)
    End If


    Do While Not fileHandleInput.AtEndOfStream
        str = fileHandleInput.ReadLine
            vFields = Split(str, ",")
            If vFields(3) = "" Then
                sNewString = vFields(0)
                For iCounter = 1 To UBound(vFields) 
                    If iCounter <> 3 Then sNewString = sNewString & "," & vFields(iCounter)
                Next iCounter
                str = sNewString
            End If
        fileHandleCleaned.WriteLine (str)
    Loop


    fileHandleInput.Close
    fileHandleCleaned.Close

    Set fileHandleInput = fsoObject.OpenTextFile(sPath & sFilenameInput, ForWriting)
    Set fileHandleCleaned = fsoObject.OpenTextFile(sPath & sFilenameCleaned)

    Do While Not fileHandleCleaned.AtEndOfStream
        fileHandleInput.WriteLine (fileHandleCleaned.ReadLine)
    Loop

    fileHandleInput.Close
    fileHandleCleaned.Close



    Set fileHandleCleaned = Nothing
    Set fileHandleInput = Nothing

    KillFile (sPath & sFilenameCleaned)

    Set fsoObject = Nothing


End Sub