Amazon S3 - 当文件被 s3cmd 删除时，ColdFusion 的 fileExists 中断

Question

我在 ColdFusion 9 上运行一个站点，该站点将缓存信息存储在 Amazon S3 上。

ColdFusion 应用程序构建文件并将它们放入 Amazon S3。每隔N 小时，缓存就会被一个执行s3cmd del 的bash 脚本刷新，因为它比ColdFusion 的fileDelete 或directoryDelete 效率更高。

但是，在文件被 s3cmd 删除后，ColdFusion 仍会将其标记为现有文件，即使它无法读取其内容。

对于 ColdFusion 应用，我在 Application.cfc 上提供了 S3 凭据，它们与 s3cmd 使用的身份验证密钥相同，因此我认为这不是用户权限问题。

让我们来看看这个过程：

// Create an S3 directory with 3 files
fileWrite( myBucket & 'rabbits/bugs-bunny.txt', 'Hi there, I am Bugs Bunny' );
fileWrite( myBucket & 'rabbits/peter-rabbit.txt', 'Hi there, I am Peter Rabbit' );
fileWrite( myBucket & 'rabbits/roger-rabbit.txt', 'Hi there, I am Roger Rabbit' );

 

writeDump( var = directoryList(myBucket & 'rabbits/', 'true', 'name' ), label = 'Contents of the rabbits/ folder on S3' );

 

// Delete one of the files with ColdFusion's fileDelete
fileDelete( myBucket & 'rabbits/roger-rabbit.txt' );

 

writeDump( var = directoryList(myBucket & 'rabbits/', 'true', 'name' ), label = 'Contents of the rabbits/ folder on S3' );

 

// Now, let's delete a file using the command line:
[~]$ s3cmd del s3://myBucket/rabbits/peter-rabbit.txt
File s3://myBucket/rabbits/peter-rabbit.txt deleted

 

writeDump( var = directoryList(myBucket & 'rabbits/', 'true', 'name' ), label = 'Contents of the rabbits/ folder on S3' );

 

// So far, so good!
// BUT!... ColdFusion still thinks that peter-rabbit.txt exists, even
// though it cannot display its contents

writeOutput( 'Does bugs-bunny.txt exist?: ' & fileExists(myBucket & 'rabbits/bugs-bunny.txt') );
writeOutput( 'Then show me the content of bugs-bunny.txt: ' & fileRead(myBucket & 'rabbits/bugs-bunny.txt') );

writeOutput( 'Does peter-rabbit.txt exist?: ' & fileExists(myBucket & 'rabbits/peter-rabbit.txt') );
writeOutput( 'Then show me the content of peter-rabbit.txt: ' & fileRead(myBucket & 'rabbits/peter-rabbit.txt') );
// Error on fileRead(peter-rabbit.txt) !!!

Answer 1

我同意@MarkAKruger 的评论，即这里的问题是延迟。

鉴于 ColdFusion 无法始终如一地判断文件是否存在，但它确实始终如一地读取其最新内容（并且在它们不可用时始终无法读取它们），我想出了这个解决方案：

string function cacheFileRead(
    required string cacheFileName
){
    var strContent = '';

    try{
        strContent = FileRead( ARGUMENTS.cachefileName );
    }catch(Any e){
        strContent = '';
    }

    return strContent;
}

Answer 2

此答案假定延迟是您的问题，正如我在上面的 cmets 中所断言的那样。

我想我会跟踪 s3cmd 的运行时间。如果您通过 CFEXECUTE 运行它，则将时间戳存储在应用程序范围或文件或数据库表中。然后，在检查文件时，如果该命令已在最后 N 分钟内运行（您必须尝试找出什么是有意义的），您将自动重新缓存。当 N 分钟过去后，您可以相信您的检查系统是可靠的。

如果您不从 cfexecute 运行 s3cmd，请尝试创建一个脚本来更新应用程序范围内的时间戳，然后将 curl 命令添加到您的 s3cmd 脚本中，该命令会命中您的 cf 脚本 - 保留 2进程同步。

您的另一个选择是不断使用 fileExists() （不是一个好主意 - 非常昂贵）或跟踪缓存的内容或未缓存的内容，以其他可以实时更新的方式 - 例如数据库表。然后，您需要从 s3cmd 脚本中清除该表（可能使用 mysql 命令行）。

我可能会想些别的给你。这就是我现在所拥有的。 :)