【问题标题】:Can Kubernetes pods be scaled besides tight coupling to Hana?除了与 Hana 紧密耦合之外,Kubernetes pod 还可以扩展吗?
【发布时间】:2021-03-23 14:23:05
【问题描述】:
我们有一个带有后端服务的 Kubernetes 集群,这些服务从外部 Hana 提取数据并将它们发送到 Kafka。每当启动 pod 时,导入过程就会开始,大约需要 90 分钟。由于与 Hana 的紧密耦合,我们无法运行这些后端服务的多个 Pod。我觉得这可以通过某种方式得到改善。但我不知道怎么做。
在不将相同数据三次拉入 Kafka 的情况下,为后端服务提供多个 pod 的方法是什么?
对此设置还有其他想法吗?
【问题讨论】:
标签:
kubernetes
apache-kafka
microservices
【解决方案1】:
让容器只执行一项操作通常是个好主意。
如果您想并行运行下载和推送,我会考虑以下几点:
- 一个正在运行的容器,用于下载数据。
- 推送数据的运行容器。
- 两者之间为数据共享卷。
每个容器都有自己的资源和就绪探测。
如果下载和推送不能同时进行,您可以:
- 一个用于下载数据的初始化容器
- 用于推送数据的运行容器。
- 两者之间为数据共享卷。
每个容器都有自己的资源和就绪探测。
这将有一个额外的优势,如果数据推送出现问题,那么您无需再次下载所有内容,并且数据推送将根据需要重试多次(取决于就绪探针配置)
【解决方案2】:
K8ns中有init containers的概念,请翻阅文档。
总而言之,如果导入过程作为一个单独的例程转移到 init 容器中,那么实际服务可以在多个实例中启动。
下面给出了一个示例 pod.yml - 它只是一个指示性示例,可以让您了解。
apiVersion: v1
kind: Pod
metadata:
name: myapp-pod
labels:
app: myapp
spec:
containers:
- name: myapp-container
image: busybox:1.28
command: ['sh', '-c', 'echo The app is running! && sleep 3600']
initContainers:
- name: init-myservice
image: busybox:1.28
command: ['sh', '-c', "until nslookup myservice.$(cat
/var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local;
do echo waiting for myservice; sleep 2; done"]
- name: init-mydb
image: busybox:1.28
command: ['sh', '-c', "until nslookup mydb.$(cat
/var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local;
do echo waiting for mydb; sleep 2; done"]
最后,您必须将导入数据的功能分解为一个单独的函数 - 您可以水平缩放的帖子。