使用 PowerShell 将新文件从 S3 存储桶中新创建的文件夹复制到本地计算机

Question

我们有一个在服务器上运行的程序，它将 .xml 文件复制到我们的 S3 存储桶中。但它会根据日期创建文件夹。因此，创建了一年的文件夹，然后创建了月份的子文件夹，然后创建了当天的另一个子文件夹。例如：

S3://AppMyBucket/Documents/2018/Oct/05

所以它每天都按照当天创建一个文件夹，01、02、03 等，并将 .xml 文件放入这些文件夹中。我必须创建一个每 15 分钟运行一次的 PowerShell 脚本，以将进入从我们的 S3 存储桶创建的最新文件夹中的新文件复制到我本地计算机上的文件夹中，然后调用另一个程序来处理这些文件。

我的问题是如何将在我们的 S3 存储桶 (S3://AppBucket/Documents/2018/Oct/05...) 中创建的新文件夹创建的新文件复制到我的本地 Windows 机器 (D:\DocFolder\)，然后调用程序 (AIMParser.exe) 来处理这些 .xml文件？

请原谅我，因为我是 PowerShell 的初学者。

Answer 1

下面的例子：

• 使用WinSCP .NET assembly 访问 S3 存储桶
• 查找最近的年份（按字典顺序）
• 查找一年中的最后一个月
• 查找该月的最后一天（按字典顺序）
• 查找当天最新的文件（按文件时间戳）

Add-Type -Path "WinSCPnet.dll"

$sessionOptions = New-Object WinSCP.SessionOptions -Property @{
    Protocol = [WinSCP.Protocol]::S3
    HostName = "s3.amazonaws.com"
    PortNumber = 443
    UserName = "access key id"
    Password = "secret access key"
}

Write-Host "Connecting..."
$session = New-Object WinSCP.Session
$session.SessionLogPath = "s3.log"
$session.Open($sessionOptions)

$remotePath = "/AppMyBucket/Documents";
$localPath = "D:\DocFolder"

$yearFolder =
    $session.ListDirectory($remotePath).Files |
        Where-Object { $_.IsDirectory } |
        Sort-Object -Descending |
        Select-Object -First 1
Write-Host "Latest year is $($yearFolder.Name)"

$yearPath = [WinSCP.RemotePath]::Combine($remotePath, $yearFolder.Name)

$monthFolder =
    $session.ListDirectory($yearPath).Files |
        Where-Object { $_.IsDirectory } |
        Sort-Object -Descending -Property @{ Expression = {
            Get-Date -Date "$($_.Name) 1 $($yearFolder.Name)" -Format "MM" } } |
        Select-Object -First 1

Write-Host "Latest month is $($monthFolder.Name)"

$monthPath = [WinSCP.RemotePath]::Combine($yearPath, $monthFolder.Name)

$dayFolder =
    $session.ListDirectory($monthPath).Files |
        Where-Object { $_.IsDirectory } |
        Sort-Object -Descending |
        Select-Object -First 1

Write-Host "Latest day is $($dayFolder.Name)"

$dayPath = [WinSCP.RemotePath]::Combine($monthPath, $dayFolder.Name)

$latest = 
    $session.ListDirectory($dayPath).Files |
        Where-Object { -Not $_.IsDirectory } |
        Sort-Object LastWriteTime -Descending |
        Select-Object -First 1

Write-Host "Latest file is $($latest.Name), downloading..."

$session.GetFiles($latest.FullName, (Join-Path $localPath "*")).Check()

Write-Host "Done"
$session.Dispose()

（我是 WinSCP 的作者）