k8s跨集群访问网络

1.1 | 现状

• 不同工程团队有各自的 k8s 开发集群, 负责的服务部署在各自的集群上
• 但是这些服务之间存在调用关系（单项或者双向的）
• 不同 k8s 集群之间内网是联通的
• 其中一个集群要作为流量入口，面向用户

1.2 | 需求

• 实现服务跨集群访问
• 服务之间只能通过内网调用
• 统一的外部流量接入控制

2 | 方案有挺多的

跨集群访问，应该是一个比较普遍的需求，市面上有很多各种各样的方案。比如：

• 跨集群的注册发现服务 比如使用 nacos 作为跨集群的注册发现中间件，所有在不同集群里的服务都注册到 nacos 上，由 nacos 来进行服务的注册发现以及负载均衡。
• 配置集群内网SLB 每一个集群各自配置一个自己的内网 SLB 地址，通过 ingress 的 path 配置不同的路由转发。
• 使用ExternalName Service 在 请求发起方集群 配置 跨集群服务 在 本集群的 service，type 为 ExternalName 的headless service。

以上三种方案，都可以实现跨集群的服务调用。然而，方案三却是目前最符合现状且能推进下去的。所以，下面就方案三展开来说。

3 | 展开来讲讲

https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#externalname

方案三用到了 k8s 的 ExternalName Service（这里不展开讲这是什么，感兴趣可以点击查看）。主要讲怎么用。下面分几个场景来讲解：

3.1 | 场景 1

假设：k8s2 集群有个服务 s2, 对外以 Ingress 方式提供服务，访问地址是： abc.com 调用方集群创建一个 service ：

apiVersion: v1
kind: Service
metadata:
  name: k8s2-s2
  namespace: prod
spec:
  type: ExternalName
  externalName: abc.com
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80

那么, 在调用方集群内的服务，就可以通过本集群的服务名（
k8s2-s2.prod.svc.cluster.local）去访问跨集群的服务

3.2 | 场景 2

假设：k8s3 集群有个服务 s3, 对外以 NodePort 方式提供服务，访问地址是：192.168.0.199:30099 按照场景 1 的配置生成一个 service，可以用么？

apiVersion: v1
kind: Service
metadata:
  name: k8s3-s3
  namespace: prod
spec:
  type: ExternalName
  externalName: 192.168.0.199
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 30099

可以用，但是有问题。在 nginx 的日志里会疯狂打印一个错误：找不到 192.168.0.199 这个域名对应的 ip。原因是，在集群看来， externalName 字段是一个域名，是需要做 dns 解析成 ip 的。如果我们直接填一个 ip 的字段，虽然能用，但是会疯狂输出日志，冲掉正常 nginx 请求的日志

那既然这样，改成域名调用呗。那么问题来了，对方给我一个 ip，我上哪去变一个域名呢？修改 hosts，准确的说，修改 k8s coredns 服务的 hosts：

# kubectl -n kube-system edit cm coredns
apiVersion: v1
data:
  Corefile: |
    .:53 {
        ...
        hosts {
            192.168.0.199 s3.k8s3 
            fallthrough
        }
        ...
    }
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system

然后修改 service

apiVersion: v1
kind: Service
metadata:
  name: k8s3-s3
  namespace: prod
spec:
  type: ExternalName
  externalName: s3.k8s3
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 30099

此时，在调用方集群内的服务，就可以通过本集群的服务名（
k8s3-s3.prod.svc.cluster.local）去访问跨集群的服务。

转换访问：s3.k8s3(192.168.0.199)

#ExternalName：将服务通过 DNS CNAME 记录方式转发到指定的域名