备案控制台
探索云世界
开发者社区 云原生 文章 正文

Kubernetes网络部署方案

2017-10-11 4054
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文讲的是Kubernetes网络部署方案【编者的话】现在网络上流传很多Kubernetes的部署和搭建的文档，其中比较出名就是Kubernetes The Hard Way，还有基于这个翻译和衍生的版本follow-me-install-kubernetes-cluster，这两篇文章带我走过了K...
本文讲的是 Kubernetes网络部署方案【编者的话】现在网络上流传很多Kubernetes的部署和搭建的文档，其中比较出名就是 Kubernetes The Hard Way，还有基于这个翻译和衍生的版本 follow-me-install-kubernetes-cluster，这两篇文章带我走过了Kubernetes的搭建的童年，我第一搭建成功就是抄袭的张俊的follow-me-install-kubernetes-cluster，然后随着新版的发展，越来越多的配置参数存在各种各样的问题，最大的问题是在CNI产生后，两篇文章的配置参数和系统默认或者CNI配置参数有稍微的冲突导致很多人在利用CNI做网络方案的时候会出现很多问题，这篇文章目的第一是向两位前辈致敬，第二是共享下在Flanneld和Calico部署过程中遇到挫折和问题。

【烧脑式Kubernetes实战训练营】本次培训理论结合实践，主要包括：Kubernetes架构和资源调度原理、Kubernetes DNS与服务发现、基于Kubernetes和Jenkins的持续部署方案 、Kubernetes网络部署实践、监控、日志、Kubernetes与云原生应用、在CentOS中部署Kubernetes集群、Kubernetes中的容器设计模式、开发Kubernetes原生应用步骤介绍等。

为啥只说明以下两种方案的部署模式，因为其他网络方案不争气。

Flanneld [Systemd部署模式]

03.png

Flannel部署相对来说简单容易、坑少，直接上配置。

flannel.service 
[Unit]
Description=Flanneld overlay address etcd agent
After=network.target
After=network-online.target
Wants=network-online.target
Before=docker.service
[Service]
Type=notify
ExecStart=/usr/local/bin/flanneld \
-etcd-cafile=/etc/kubernetes/ssl/ca.pem \
-etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \
-etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \
-etcd-endpoints=https://{Etcd IP}:2379 \
-iface=ens3 \
--ip-masq
Restart=on-failure
[Install]
WantedBy=multi-user.target
RequiredBy=docker.service 

记住一定要提前在etcd把你的backend写进去。

HOST-GW的配置： 
etcdctl \
--endpoints=https://{Etcd-IP}:2379 \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
set /coreos.com/network/config '{"Network":"'10.200.0.0/16'", "SubnetLen": 24, "Backend": {"Type":"host-gw"}}' 

VXLAN的配置： 
etcdctl \
--endpoints=https://{Etcd-IP}:2379 \
--ca-file=/etc/kubernetes/ssl/ca.pem \
--cert-file=/etc/kubernetes/ssl/kubernetes.pem \
--key-file=/etc/kubernetes/ssl/kubernetes-key.pem \
set /coreos.com/network/config '{"Network":"'10.200.0.0/16'", "SubnetLen": 24, "Backend": {"Type":"vxlan"}}' 

然后可以开始你的表演，如果你创建2个pod，互ping一下发现不通，你部署DNS服务，一直报错no route to host（就是Kubernetes那个SVC对应的IP），恭喜你，你下面要做的就是： 
iptables -P FORWARD ACCEPT

因为1.13版本以上Docker好似在iptable写了这么一条策略： 
iptables -P FORWARD DROP 

到此为止你起来Flanneld就可以开始你的Kubernetes之旅，当然现在好似还不行记得在/etc/cni/net.d下写一个.conf结尾的文件，当然叫什么名字无所谓。etc：

10-flanneld-cni.conf 
{
  "name": "cbr0",
  "type": "flannel",
  "delegate": {
    "isDefaultGateway": true
  }
} 

然后继续你的表演就可以了。

Calico [Systemd部署模式]

01.png

其实吧，Calico在Kubernetes网络方案用用的比Flanneld多，Calico懂得玩伸缩，技术也比较牛，在很多物理设备不开启BGP的情况下做了折中，用的IP-IP虽然性能有点损失，在云上被大面积使用。Flanneld的host-gw模式性能虽然不错，但是只能在2层玩下，过了二层路由被重写就GG了。

开始表演IP-IP模式。

第一步创建IPpool，pool就是所有calico分配ip的池子，其实就是Kubernetes的pool，不过Calico分配出来是/26的IP，一下少很多。其实我觉得/26比较符合机器配置的现状至少，不会造成IP的浪费。

设置pool

calicoctl apply -f - << EOF
apiVersion: v1
kind: ipPool
metadata:
cidr: 10.200.0.0/16
spec:
ipip:
enabled: true
mode: cross-subnet
nat-outgoing: true
EOF 

部署calico-node（其实就2个文件）

calico.env 
ETCD_ENDPOINTS="https://{ETCD1}:2379,https://{ETCD2}:2379"
ETCD_CA_FILE="/etc/kubernetes/ssl/ca.pem"
ETCD_CERT_FILE="/etc/kubernetes/ssl/kubernetes.pem"
ETCD_KEY_FILE="/etc/kubernetes/ssl/kubernetes-key.pem"
CALICO_NODENAME="node46"
CALICO_NO_DEFAULT_POOLS=""
CALICO_IP="{HOST-IP}"
CALICO_IP6=""
CALICO_AS=""
CALICO_LIBNETWORK_ENABLED=true
CALICO_NETWORKING_BACKEND=bird 


calico.service
[Unit]
Description=calico-node
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=/etc/calico/calico.env
ExecStartPre=-/usr/bin/docker rm -f calico-node
ExecStart=/usr/bin/docker run --net=host --privileged \
--name=calico-node \
-e NODENAME=${CALICO_NODENAME} \
-e IP=${CALICO_IP} \
-e IP6=${CALICO_IP6} \
-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \
-e CALICO_STARTUP_LOGLEVEL=DEBUG \
-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \
-e FELIX_DEFAULTENDPOINTTOHOSTACTION=ACCEPT \
-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \
-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \
-e ETCD_CA_CERT_FILE=/etc/kubernetes/ssl/ca.pem \
-e ETCD_CERT_FILE=/etc/kubernetes/ssl/kubernetes.pem \
-e ETCD_KEY_FILE=/etc/kubernetes/ssl/kubernetes-key.pem \
-v /var/log/calico:/var/log/calico \
-v /run/docker/plugins:/run/docker/plugins \
-v /lib/modules:/lib/modules \
-v /var/run/calico:/var/run/calico \
-v /etc/kubernetes/ssl/:/etc/kubernetes/ssl/:ro \
quay.io/calico/node:v2.4.0

ExecStop=-/usr/bin/docker stop calico-node

[Install]
WantedBy=multi-user.target 

CNI配置文件（/etc/cni/net.d下随便写一个.conf结尾的文件）

calico.conf 
{
"name": "k8s-pod-network",
"cniVersion": "0.1.0",
"type": "calico",
"etcd_endpoints": "https://{ETCD1},https://{ETCD2}:2379",
"etcd_key_file": "/etc/kubernetes/ssl/kubernetes-key.pem",
"etcd_cert_file": "/etc/kubernetes/ssl/kubernetes.pem",
"etcd_ca_cert_file": "/etc/kubernetes/ssl/ca.pem",
"log_level": "info",
"ipam": {
    "type": "calico-ipam"
 },
"kubernetes": {
    "kubeconfig": "/etc/kubernetes/kube-proxy.kubeconfig"
}
} 

然后你就可以装逼了，记得把CNI的组件calico-ipam放到/opt/cni/bin。

RR部署模式

其实就是在以上的基础上多部署一个RR容器。 
docker run --privileged --net=host -d \
       -e IP={HOST-IP} \
       -e ETCD_ENDPOINTS=https://{ETCD}:2379 \
       -e ETCD_CA_CERT_FILE=/etc/kubernetes/ssl/ca.pem \
       -e ETCD_CERT_FILE=/etc/kubernetes/ssl/kubernetes.pem \
       -e ETCD_KEY_FILE=/etc/kubernetes/ssl/kubernetes-key.pem \
       -v /etc/kubernetes/ssl:/etc/kubernetes/ssl:ro \
       calico/routereflector:v0.4.0 

然后把这个IP写到etcd里。 
curl --cacert /etc/kubernetes/ssl/ca.pem --cert 
/etc/kubernetes/ssl/kubernetes.pem --key 
/etc/kubernetes/ssl/kubernetes-key.pem -L https://{ETCD}:2379/v2/keys/calico/bgp/v1/rr_v4/{HOST-IP} -XPUT -d value="{\"ip\":\"{HOST-IP}\",\"cluster_id\":\"1.0.0.2\"} 

然后就是创建一个全局的BGPpeer。 
cat << EOF | calicoctl delete -f -
apiVersion: v1
kind: bgpPeer
metadata:
peerIP: {HOST-IP}
scope: global
spec:
asNumber: 64567
EOF

关闭 node-to-node mesh。 
calicoctl config set nodeToNodeMesh off 

重新启动你所有的calico-node。

附一份calicoctl的配置文件（在/etc/calico下）

calicoctl.cfg 
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
etcdEndpoints: https://{ETCD}:2379
etcdKeyFile: /etc/kubernetes/ssl/kubernetes-key.pem
etcdCertFile: /etc/kubernetes/ssl/kubernetes.pem
etcdCACertFile: /etc/kubernetes/ssl/ca.pem 

开始你的装逼之旅吧。

关于calico-bgp有硬件的自己尝试吧。

附一份非标准的kube-proxy.service

[Unit]
Description=Kubernetes Kube Proxy
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
ExecStart=/usr/local/bin/kube-proxy \
--hostname-override={HOST-IP} \
--kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig \
--v=2
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target 
原文发布时间为： 2017-08-28
本文作者： 尼古拉斯
本文来自云栖社区合作伙伴Dockerone.io，了解相关信息可以关注Dockerone.io。
原文标题：Kubernetes网络部署方案
文章标签：
容器服务Kubernetes版
容器
Kubernetes
网络安全
Docker
关键词：
容器服务Kubernetes版方案
容器服务Kubernetes版部署
容器服务Kubernetes版网络
网络部署
网络kubernetes
相关实践学习
容器服务Serverless版ACK Serverless 快速入门：在线魔方应用部署和监控
通过本实验，您将了解到容器服务Serverless版ACK Serverless 的基本产品能力，即可以实现快速部署一个在线魔方应用，并借助阿里云容器服务成熟的产品生态，实现在线应用的企业级监控，提升应用稳定性。
云原生实践公开课
课程大纲 开篇：如何学习并实践云原生技术 基础篇： 5 步上手 Kubernetes 进阶篇：生产环境下的 K8s 实践 相关的阿里云产品：容器服务&nbsp;ACK 容器服务&nbsp;Kubernetes&nbsp;版（简称&nbsp;ACK）提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳容器化应用运行环境。 了解产品详情:&nbsp;https://www.aliyun.com/product/kubernetes
猫饭先生
目录
相关文章
风水道人
|
26天前
|
Kubernetes 网络协议 应用服务中间件
K8S二进制部署实践-1.15.5
K8S二进制部署实践-1.15.5
风水道人
34 0
陌陌谣
|
29天前
|
数据采集 监控 安全
快速部署：基于Kotlin的公司网络流量控制方案
本文介绍了使用Kotlin构建网络流量控制系统的方案，该系统包括数据采集、分析和自动提交到网站的功能。`TrafficMonitor`类负责监控网络流量，收集流量数据并进行分析，然后通过HTTP POST请求将数据安全提交到指定网站，以实现对公司网络流量的有效管理和安全优化。此方案有助于提升网络安全性和性能，支持数字化业务发展。
陌陌谣
76 5
游客2xksyu44sqbag
|
17天前
|
运维 Kubernetes Cloud Native
探索Kubernetes的大二层网络：原理、优势与挑战🚀
在云原生领域，Kubernetes (K8s) 已经成为容器编排的事实标准☁️📦。为了支撑其灵活的服务发现和负载均衡🔍🔄，K8s采用了大二层网络的设计理念🕸️。本文将深入探讨大二层网络的工作原理、带来的好处✨，以及面临的挑战和解决方案❗🛠️。
游客2xksyu44sqbag
51 1
探索Kubernetes的大二层网络：原理、优势与挑战🚀
sunrr
|
27天前
|
Kubernetes 流计算 Perl
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的
在Rancher K8s上部署Flink时，TaskManager连接不上并不断重启可能是由多种原因导致的
sunrr
34 7
wljslmz
|
1天前
|
Kubernetes 监控 Cloud Native
Kubernetes自动伸缩方案的终极指南
【4月更文挑战第18天】
wljslmz
10 0
Kubernetes自动伸缩方案的终极指南
穿过生命散发芬芳
|
11天前
|
JSON Kubernetes 网络架构
Kubernetes CNI 网络模型及常见开源组件
【4月更文挑战第13天】目前主流的容器网络模型是CoreOS 公司推出的 Container Network Interface(CNI)模型
穿过生命散发芬芳
20 0
小蜗牛耶
|
14天前
|
JavaScript Java 测试技术
基于Java的网络类课程思政学习系统的设计与实现(源码+lw+部署文档+讲解等)
基于Java的网络类课程思政学习系统的设计与实现(源码+lw+部署文档+讲解等)
小蜗牛耶
30 0
基于Java的网络类课程思政学习系统的设计与实现(源码+lw+部署文档+讲解等)
jianz123
|
10天前
|
Kubernetes 搜索推荐 Docker
使用 kubeadm 部署 Kubernetes 集群（二）k8s环境安装
使用 kubeadm 部署 Kubernetes 集群（二）k8s环境安装
jianz123
48 17
didiplus
|
22天前
|
Kubernetes Ubuntu 应用服务中间件
Ubuntu 22.04 利用kubeadm方式部署Kubernetes(v1.28.2版本)
Ubuntu 22.04 利用kubeadm方式部署Kubernetes(v1.28.2版本)
didiplus
93 0
蓝易云
|
25天前
|
人工智能 监控 Serverless
如何基于ACK Serverless快速部署AI推理服务
通过上述步骤，可以在ACK Serverless上快速部署AI推理服务，实现高可用、弹性扩展的服务架构。
蓝易云
19 1

热门文章

最新文章

  • 1
    网络名称空间在Linux虚拟化技术中的位置
  • 2
    【MATLAB】GA_ELM神经网络时序预测算法
  • 3
    RPN(Region Proposal Networks)候选区域网络算法解析（附PyTorch代码）
  • 4
    机器学习PAI常见问题之编译包下载不了如何解决
  • 5
    【软件设计师备考 专题 】网络体系结构（网络拓扑、OSIRM、基本的网络协议）
  • 6
    网络安全与信息安全：防御前线的构筑与维护
  • 7
    【软件设计师备考 专题 】常用网络设备和各类通信设备（一）
  • 8
    R语言用加性多元线性回归、随机森林、弹性网络模型预测鲍鱼年龄和可视化
  • 9
    快速部署：基于Kotlin的公司网络流量控制方案
  • 10
    【计算机网络】第一章 概述
  • 1
    Kubernetes 集群的持续性能优化实践
    14
  • 2
    kubeadm安装k8s
    58
  • 3
    构建高效云原生应用：基于Kubernetes的微服务治理实践
    15
  • 4
    Kubernetes CNI 网络模型及常见开源组件
    20
  • 5
    无缝集成：在IntelliJ IDEA中利用Kubernetes插件轻松管理容器化应用
    22
  • 6
    Kubernetes命名空间
    17
  • 7
    Kubernetes的ConfigMap和Secret
    31
  • 8
    Kubernetes控制器（一）
    33
  • 9
    Kubernetes Pod生命周期
    18
  • 10
    IDEA使用Kubernetes插件编写YAML
    26

    • 相关课程

    更多
  • 阿里云K8S微服务部署案例
  • Kubernetes极速入门
  • Serverless 容器从入门到精通: - Serverless Kubernetes
  • 企业上云攻略-阿里云网络产品应用系列教程
  • Kubernetes云原生管理实践
  • Kubernetes入门

    • 相关电子书

    更多
  • ACK 云原生弹性方案—云原生时代的加速器
  • ACK集群类型选择最佳实践
  • 企业运维之云原生和Kubernetes 实战

    • 相关实验场景

    更多
  • 在ACK Serverless中部署Stable Diffusion应用
  • 使用ACK-Koordinator部署在离线混部应用
  • 基于 ACK Serverless 解锁你家萌宠的 AI 形象
  • 基于ACK Serverless实现容器应用弹性伸缩
  • 通过Ingress进行容器应用灰度发布
  • 通过EDAS部署并访问应用

    • 推荐镜像

    更多
  • kubernetes
  • ceph
  • pouch
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）