【问题标题】:Transferring results from Zookeeper to webserver将结果从 Zookeeper 传输到网络服务器
【发布时间】:2015-01-09 18:06:47
【问题描述】:
在我的项目中,我正在计算动物园管理员工作人员的大约 10-100mbs 数据。然后我使用 HTTP PUT 将数据从工作进程传输到我的网络服务器,最终传送到客户端。无论如何使用 Zookeeper 或 Curator 来传输数据,还是我自己将数据从 Worker 进程中取出并转移到我的 ensemble 之外的进程中?
【问题讨论】:
标签:
apache
http
apache-zookeeper
apache-curator
【解决方案1】:
我不建议使用 Zookeeper 传输数据,尤其是相对较大的数据。它并不是真的设计来做到这一点的。 Zookeeper 在用于同步分布式进程或存储一些在多个主机之间共享的相对较小的配置数据时效果最好。
有一个hard limit of 1 Mb per ZK node,如果您尝试将其推到极限,Zookeeper 客户端可能会在 Zookeeper 服务处理大量数据时超时并进入断开状态。