【发布时间】：2011-08-29 16:23:24
【问题描述】：
我在从我们的一台服务器上将文件上传到 S3 时遇到问题。我们使用 S3 来存储我们的备份，我们所有的服务器都运行 Ubuntu 8.04 和 PHP 5.2.4 和 libcurl 7.18.0。每当我尝试上传文件时，亚马逊都会返回 RequestTimeout 错误。我知道我们当前版本的 libcurl 中存在一个错误，阻止了超过 200MB 的上传。因此，我们将备份拆分为更小的文件。
我们的服务器托管在 Amazon 的 EC2 上，服务器托管在客户的“私有云”（他们公司防火墙后面的 VMWare ESX 盒子）上。我遇到问题的特定服务器托管在客户的私有云上。
我们使用来自http://undesigned.org.za/2007/10/22/amazon-s3-php-class 的 Amazon S3 PHP 类。我试过 200MB、100MB 和 50MB 的文件，结果都一样。我们使用以下方式上传文件：
$s3 = new S3($access_key, $secret_key, false);
$success = $s3->putObjectFile($local_path, $bucket_name,
$remote_name, S3::ACL_PRIVATE);
我尝试设置curl_setopt($curl, CURLOPT_NOPROGRESS, false); 以在上传文件时查看进度条。我第一次使用此选项集运行它时，它起作用了。然而，之后的每一次都失败了。似乎以大约 3Mb/s 的速度上传文件 5-10 秒，然后降至 0。在 0 的 20 秒后，亚马逊返回“RequestTimeout - 您与服务器的套接字连接未在超时内读取或写入期间。空闲连接将被关闭。”错误。
我尝试将 S3 类从 GitHub 更新到最新版本，但没有任何区别。我还找到了Amazon S3 Stream Wrapper 类，并尝试使用以下代码：
include 'gs3.php';
define('S3_KEY', 'ACCESSKEYGOESHERE');
define('S3_PRIVATE','SECRETKEYGOESHERE');
$local = fopen('/path/to/backup_id.tar.gz.0000', 'r');
$remote = fopen('s3://bucket-name/customer/backup_id.tar.gz.0000', 'w+r');
$count = 0;
while (!feof($local))
{
$result = fwrite($remote, fread($local, (1024 * 1024)));
if ($result === false)
{
fwrite(STDOUT, $count++.': Unable to write!'."\n");
}
else
{
fwrite(STDOUT, $count++.': Wrote '.$result.' bytes'."\n");
}
}
fclose($local);
fclose($remote);
此代码一次读取一 MB 的文件，以便将其流式传输到 S3。对于一个 50MB 的文件，我得到“1：写了 1048576 字节”49 次（当然，第一个数字每次都会改变）但是在循环的最后一次迭代中，我得到一个错误，上面写着“注意：fputs(): send of 8192 bytes 失败，errno=11 资源在 /path/to/http.php 的第 230 行暂时不可用。
我的第一个想法是这是一个网络问题。我们打电话给客户并解释了这个问题，并要求他们查看他们的防火墙，看看他们是否丢弃了任何东西。根据他们的网络管理员的说法，流量流动得很好。
我不知道接下来我能做什么。我一直在手动运行备份并使用 SCP 将它们传输到另一台机器并上传它们。这显然不是理想的，任何帮助将不胜感激。
更新 - 2011 年 6 月 23 日
我尝试了以下许多选项，但它们都提供了相同的结果。我发现即使尝试将文件从有问题的服务器发送到另一台服务器也会立即停止并最终超时。但是，我可以使用 scp 从另一台机器下载相同的文件。这让我更加确信这是客户端的网络问题，任何进一步的建议将不胜感激。
【问题讨论】：
-
我在使用 PHP 时遇到过类似的情况，最终获得了 PHP 的 linux FTP 命令行包装器/处理程序，也许类似的解决方案可能对您有用。当涉及到像您这样的繁重工作时，我对 PHP5 的流网络层几乎没有信心。
-
您应该尝试隔离问题以了解您的配置的哪一部分失败了。使用相似和不同版本的 PHP 等在云上启动另一个实例，看看是否可以复制失败。