【发布时间】:2021-08-16 04:58:27
【问题描述】:
我将 Kafka 与 Avro 和 Schema Registry 一起使用。 在向 Kafka 发布消息时,avro 序列化程序使用 java.net.URL 并执行 POST 以在模式注册表中注册 Avro 模式。当模式很大时,HTTP 请求会中断,套接字内容就会变得混乱。我不确定这是否与 Mac 有关。
在一个终端中我使用了 NC 并执行了:
nc -lv 8102
在我的 ide (IntelliJ) 和命令行上,我执行了:
public class Main {
public static void main(String[] args) throws Exception {
var url = new URL("http://localhost:8102/subjects/local.something-something/versions");
var connection = (HttpURLConnection) url.openConnection();
connection.setRequestMethod("POST");
connection.setDoInput(true);
connection.setRequestProperty("Content-Type", "application/vnd.schemaregistry.v1+json");
connection.setRequestProperty("Cache-Control", "no-cache");
connection.setRequestProperty("Pragma", "no-cache");
connection.setRequestProperty("User-Agent", "Java/11.0.11");
connection.setRequestProperty("Accept", "text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2");
connection.setRequestProperty("Content-Length", "67193");
connection.setUseCaches(false);
connection.setDoOutput(true);
var os = connection.getOutputStream();
var body = new byte[67193];
Arrays.fill(body, (byte) 'a');
os.write(body);
os.flush();
os.close();
connection.getResponseCode();
}
}
NC 的输出有(我删除了一些 'a's 以便于可视化):
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaPOST /subjects/local.something-something/versions HTTP/1.1
Content-Type: application/vnd.schemaregistry.v1+json
Cache-Control: no-cache
Pragma: no-cache
User-Agent: Java/11.0.11
Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2
Host: localhost:8102
Connection: keep-alive
Content-Length: 67193
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
这是无效的,并且架构注册表返回 400
我正在使用 Java 11 adoptOpenJdk,也尝试了 oracle JDK 和 Correto,但没有成功。
有什么想法吗?
- 我不能丢弃 URL,它嵌入在 kafka-schema-registry-client 中
- 我使用 curl 来复制请求,没有问题。
【问题讨论】:
-
'setDoOutput(true)` 和
setRequestMethod("POST")都做同样的事情。不要设置内容长度。它会自动为您设置。doInput(true)是默认值,但您没有进行任何输入。不要丢弃响应代码:打印它。flush()之前的close()是多余的。 -
我以前使用过相当大的模式,它工作正常......也许你可以分享你自己的模式,这样我们就可以重现这个问题
-
Workaroud:如果我将 JVM 设置为使用 ipv4,它会按预期工作,但不确定 Mac 上的 ipv6 发生了什么。
-
值得指出的是,Schema Registry 项目将 Java 客户端发布为 Maven/Gradle 依赖项
标签: java http apache-kafka confluent-schema-registry