【问题标题】:Discover+Request a Kafka Streams Instance on Kubernetes when ReplicaSet=2当 ReplicaSet=2 时发现+请求 Kubernetes 上的 Kafka Streams 实例
【发布时间】:2019-01-24 12:15:22
【问题描述】:

如何向同一 Kubernetes 服务上的同一 Kafka Streams 应用程序实例的另一个实例发送 RPC 请求。

注意:以前在 Docker 上使用 application.server 属性公开当前实例 ip:port 时,此方法有效

例如ReplicaSet=2

StreamApp 实例 1 端点 = 1.2.3.4:7079

StreamApp 实例 2 端点 = 1.2.3.5:7079

我想从实例 1 发送一个休息请求,以访问实例 2 上的远程交互式查询

我已经尝试过了

我从实例 1 -> 实例 2 发送了一个 CURL 请求:但收到 404 错误

curl -X GET "http://1.2.3.5:7079/user/1" -H "accept: application/json"

但如果我从 K8 Host -> Instance 2 发送 CURL 请求:我得到 200 ok

curl -X GET "http://1.2.3.5:7079/user/1" -H "accept: application/json"



 #values.yml
replicaCount: 1

 image:
  repository: "docker.hosted/steam-app"
  tag: "0.1.0"
  pullPolicy: Always
  pullSecret: "a_secret"

service:
 name: http
 type: NodePort
 externalPort: 7079
 internalPort: 7079

kafka:
 host: "kafka.default"
 port: "9092"

ingress:
 enabled: false

deployment.yml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: {{ template "stream-app.fullname" . }}
  labels:
    app: {{ template "stream-app.name" . }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  replicas: {{ .Values.replicaCount }}
  template:
    metadata:
      labels:
        app: {{ template "stream-app.name" . }}
        release: {{ .Release.Name }}
    spec:
      containers:
        - name: {{ .Chart.Name }}
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
          imagePullPolicy: {{ .Values.image.pullPolicy }}
          env:
            - name: KAFKA_HOST
              value: "{{ tpl .Values.kafka.host . }}"
            - name: KAFKA_PORT
              value: "{{ .Values.kafka.port }}"
            - name: MY_POD_IP
              valueFrom:
               fieldRef:
                fieldPath: status.podIP
            - name: MY_POD_PORT
              value: "{{ .Values.service.internalPort }}"
          ports:
            - containerPort: {{ .Values.service.internalPort }}
          livenessProbe:
            httpGet:
              path: /actuator/alive
              port: {{ .Values.service.internalPort }}
            initialDelaySeconds: 60
            periodSeconds: 10
            timeoutSeconds: 1
            successThreshold: 1
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /actuator/ready
              port: {{ .Values.service.internalPort }}
          initialDelaySeconds: 60
          periodSeconds: 10
          timeoutSeconds: 1
          successThreshold: 1
          failureThreshold: 3
          resources:
{{ toYaml .Values.resources | indent 12 }}
    {{- if .Values.nodeSelector }}
      nodeSelector:
{{ toYaml .Values.nodeSelector | indent 8 }}
    {{- end }}
      imagePullSecrets:
        - name: {{ .Values.image.pullSecret }

service.yml

kind: Service
metadata:
  name: {{ template "stream-app.fullname" . }}
  labels:
    app: {{ template "stream-app.name" . }}
    chart: {{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  type: {{ .Values.service.type }}
  ports:
    - port: {{ .Values.service.externalPort }}
      targetPort: {{ .Values.service.internalPort }}
      protocol: TCP
      name: {{ .Values.service.name }}
  selector:
    app: {{ template "stream-app.name" . }}
    release: {{ .Release.Name }}

【问题讨论】:

  • 您的 instances 2 有不同的 IP 地址,例如。没事吧?
  • @MauroBaraldi,是的,你可以在执行kubectl get ep时获取这些端点
  • 能否为 StreamApp 实例 Pod 或 Deployment 提供 yaml 文件? Kubernetes 组件不会给您 404 错误,但 pod 中的应用程序会。
  • 添加了 .yml,是的,404 错误是当无法从当前 pod 实例 (1) 中(通过 curl)找到其他 pod 实例 (2) 的其余端点时,这些其余端点可以当我从 K8 主 ssh 控制台(使用 curl)执行它们时被击中,所以 host_ip+port+url 似乎是正确的。
  • 这个图表是来自“稳定”的 helm 存储库还是您正在使用自己的图表来安装 kafka?

标签: kubernetes apache-kafka-streams


【解决方案1】:

我在安装服务之前禁用了 Istio 注入,然后在安装服务后重新启用它,现在一切正常,所以对我有用的命令是:

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-01-31
    • 1970-01-01
    • 2018-09-14
    • 2018-08-24
    • 2021-03-12
    • 2020-12-19
    • 2022-10-13
    相关资源
    最近更新 更多