我目前的任务是找出在 solr 中加载数百万个文档的最佳方法。 数据文件是从数据库导出的 csv 格式。
目前，我正在考虑将文件拆分为较小的文件并编写一个脚本，同时使用 curl 发布这些较小的文件。
我注意到，如果您发布大量数据，大多数情况下请求都会超时。
我正在研究数据导入器，这似乎是一个不错的选择
任何其他想法高度赞赏
谢谢
【问题讨论】：
标签： csv import solr bulkinsert dataimporthandler
除非数据库已经是您解决方案的一部分，否则我不会为您的解决方案增加额外的复杂性。引用 SOLR FAQ 是您的 servlet 容器发出会话超时。
在我看来，你有几个选择（按照我的偏好）：
增加容器超时时间。 （“maxIdleTime”参数，如果您使用的是嵌入式 Jetty 实例）。
我假设您只是偶尔索引这么大的文件？暂时增加超时可能只是最简单的选择。
这是一个简单的 unix 脚本，可以完成这项工作（将文件分成 500,000 行块）：
split -d -l 500000 data.csv split_files.
for file in `ls split_files.*`
do
curl 'http://localhost:8983/solr/update/csv?fieldnames=id,name,category&commit=true' -H 'Content-type:text/plain; charset=utf-8' --data-binary @$file
done
以下 groovy 脚本使用 opencsv 和 solrj 解析 CSV 文件并每 500,000 行将更改提交到 Solr。
import au.com.bytecode.opencsv.CSVReader
import org.apache.solr.client.solrj.SolrServer
import org.apache.solr.client.solrj.impl.CommonsHttpSolrServer
import org.apache.solr.common.SolrInputDocument
@Grapes([
@Grab(group='net.sf.opencsv', module='opencsv', version='2.3'),
@Grab(group='org.apache.solr', module='solr-solrj', version='3.5.0'),
@Grab(group='ch.qos.logback', module='logback-classic', version='1.0.0'),
])
SolrServer server = new CommonsHttpSolrServer("http://localhost:8983/solr/");
new File("data.csv").withReader { reader ->
CSVReader csv = new CSVReader(reader)
String[] result
Integer count = 1
Integer chunkSize = 500000
while (result = csv.readNext()) {
SolrInputDocument doc = new SolrInputDocument();
doc.addField("id", result[0])
doc.addField("name_s", result[1])
doc.addField("category_s", result[2])
server.add(doc)
if (count.mod(chunkSize) == 0) {
server.commit()
}
count++
}
server.commit()
}
【讨论】：
在 SOLR 4.0（目前为 BETA）中，可以使用 UpdateHandler 直接导入本地目录中的 CSV。从the SOLR Wiki修改示例
curl http://localhost:8983/solr/update?stream.file=exampledocs/books.csv&stream.contentType=text/csv;charset=utf-8
这会从本地位置流式传输文件，因此无需将其分块并通过 HTTP 发布。
【讨论】：
以上答案已经很好地解释了单机的摄取策略。
如果您拥有大数据基础架构并希望实施分布式数据摄取管道，则几乎没有其他选择。
hive- solr connector, spark- solr connector.
PS：
StandardDirectoryFactory。solrconfig.xml 文件中调整 autoCommit 和 autoSoftCommit 配置。SolrServerException: 没有可用的实时 SolrServers 来处理这个 请求
【讨论】：
当然只是先将这些加载到普通数据库中。有各种处理 CSV 的工具（例如，postgres' COPY），所以应该很容易。使用Data Import Handler 也非常简单，因此这似乎是加载数据最顺畅的方式。此方法也会更快，因为您不会有不必要的网络/HTTP 开销。
【讨论】：
The reference guide says ConcurrentUpdateSolrServer 可以/应该用于批量更新。
Javadocs 有点不正确（v 3.6.2、v 4.7.0）：
ConcurrentUpdateSolrServer 缓冲所有添加的文档并将它们写入打开的 HTTP 连接。
它不会无限期地缓冲，而是直到int queueSize，这是一个构造函数参数。
【讨论】：