Kubernetes在CentOS7下二进制文件离线安装

时间：2018-05-11 17:26:43 收藏：0 阅读：3895

Kubernetes在CentOS7下二进制文件离线安装

一、下载Kubernetes(简称K8S)二进制文件

1）https://github.com/kubernetes/kubernetes/releases
从上边的网址中选择相应的版本，本文以1.9.1版本为例，从 CHANGELOG页面下载二进制文件到/root目录

2）组件选择：选择Service Binaries中的kubernetes-server-linux-amd64.tar.gz
该文件已经包含了 K8S所需要的全部组件，无需单独下载Client等组件。

二、安装思路

解压kubernetes-server-linux-amd64.tar.gz 二进制包，将service/bin/下的可执行二进制文件复制到/usr/bin/下，并设置对应的systemd文件和配置文件。

三、节点规划

节点IP	角色	安装组件
192.168.1.10	Master	etcd，apiserver,kube-controller-manager,kube-scheduler
192.168.1.128	Node1	Kubelet,kube-proxy,flannel

其中，etcd为k8s的数据库，etcd保存kubernetes中增删改查等操作。

提前做好/etc/hosts文件绑定

sed -i '$a 192.168.1.10 master' /etc/hosts

sed -i '$a 192.168.1.128 node1' /etc/hosts

四、部署master节点

1）复制对应的二进制文件到/usr/bin目录下
2）创建systemd service启动服务文件
3）创建service 中对应的配置参数文件
4）将该应用加入到开机自启

0. 离线安装docker服务

解压docker.tar.gz文件，然后使用rpm命令忽略依赖关系强制安装

tar zxf docker.tar.gz

cd docker

rpm -ivh *.rpm --nodeps --force

启动docker：

systemctl daemon-reload

systemctl start docker

1 . etcd数据库安装
（1） ectd数据库安装
下载：K8S需要etcd作为数据库。以 v3.2.11为例，下载地址如下：
https://github.com/coreos/etcd/releases/
解压，将etcd、etcdctl二进制文件复制到/usr/bin目录

tar zxf etcd-v3.2.11-linux-amd64.tar.gz

cd etcd-v3.2.11-linux-amd64

cp etcd etcdctl /usr/bin/

（2）设置 etcd.service服务文件
在/usr/lib/systemd/system/目录里创建etcd.service
vim /usr/lib/systemd/system/etcd.service,内容如下:

[Unit]

Description=etcd.service

[Service]

Type=notify

TimeoutStartSec=0

Restart=always

WorkingDirectory=/var/lib/etcd

EnvironmentFile=-/etc/etcd/etcd.conf

ExecStart=/usr/bin/etcd

[Install]

WantedBy=multi-user.target

（3）创建红色字体的路径：

mkdir -p /var/lib/etcd && mkdir -p /etc/etcd/

（4）创建etcd.conf文件：

vim /etc/etcd/etcd.conf

并写入内容：

ETCD_NAME=ETCD Server

ETCD_DATA_DIR="/var/lib/etcd/"

ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379

ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.10:2379"

#上一项配置项中的192.168.1.10为k8s中etcd的IP，本案例中etcd和master在一台服务器上，具体情况填写具体IP

（5）启动etcd

systemctl daemon-reload

systemctl start etcd.service

（6）检查etcd是否启动成功

[root@server1 ~]# etcdctl cluster-health

member 8e9e05c52164694d is healthy: got healthy result from http://192.168.1.10:2379

cluster is healthy

有此结果表示成功

（7）etcd默认监控服务器的TCP/2379端口

[root@server1 ~]# netstat -lntp | grep etcd

tcp 0 0 127.0.0.1:2380 0.0.0.0:* LISTEN 11376/etcd

tcp6 0 0 :::2379 :::* LISTEN 11376/etcd

1. 安装kube-apiserver服务

注意：服务器或者虚拟机网卡一定要配置默认网关，否则就会出现服务不能启动的问题！！！

（1）解压之前下载好的kubernetes-server-linux-amd64.tar.gz ，将其子目录server/bin下的kube-apiserver、 kube-controller-manager 、kube-scheduler复制到/usr/bin/目录下

tar zxf kubernetes-server-linux-amd64.tar.gz

cd kubernetes/server/bin/

cp kube-apiserver kube-controller-manager kube-scheduler /usr/bin/

（2）添加/usr/lib/systemd/system/kube-apiserver.service文件

vim /usr/lib/systemd/system/kube-apiserver.service，内容如下：

[Unit]

Description=Kubernetes API Server

After=etcd.service

Wants=etcd.service

[Service]

EnvironmentFile=/etc/kubernetes/apiserver

ExecStart=/usr/bin/kube-apiserver \

$KUBE_ETCD_SERVERS \

$KUBE_API_ADDRESS \

$KUBE_API_PORT \

$KUBE_SERVICE_ADDRESSES \

$KUBE_ADMISSION_CONTROL \

$KUBE_API_LOG \

$KUBE_API_ARGS

Restart=on-failure

Type=notify

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

（3）创建kube-apiserver需要的路径

mkdir -p /etc/kubernetes/

（4）建立kube-apiserver的配置文件： /etc/kubernetes/apiserver

vim /etc/kubernetes/apiserver，内容如下：

KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0"

KUBE_API_PORT="--port=8080"

KUBELET_PORT="--kubelet-port=10250"

KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.1.10:2379"

KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=172.18.0.0/24"

KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"

KUBE_API_ARGS=""

（5）启动kube-apiserver

systemctl daemon-reload

systemctl start kube-apiserver.service

（6）查看是否启动成功

[root@server1 bin]# netstat -lntp | grep kube

tcp6 0 0 :::6443 :::* LISTEN 11471/kube-apiserve

tcp6 0 0 :::8080 :::* LISTEN 11471/kube-apiserve

3. 部署kube-controller-manager

（1）添加/usr/lib/systemd/system/kube-controller-manager.service文件

vim /usr/lib/systemd/system/kube-controller-manager.service，内容如下：

[Unit]

Description=Kubernetes Scheduler

After=kube-apiserver.service

Requires=kube-apiserver.service

[Service]

EnvironmentFile=-/etc/kubernetes/controller-manager

ExecStart=/usr/bin/kube-controller-manager \

$KUBE_MASTER \

$KUBE_CONTROLLER_MANAGER_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

（2）添加配置文件controller-manager

vim /etc/kubernetes/controller-manager ,内容如下：

KUBE_MASTER="--master=http://192.168.1.10:8080" KUBE_CONTROLLER_MANAGER_ARGS=" "

（3）启动kube-controller-manager

systemctl daemon-reload

systemctl start kube-controller-manager.service

（4）验证kube-controller-manager是否启动成功

[root@server1 bin]# netstat -lntp | grep kube-controll

tcp6 0 0 :::10252 :::* LISTEN 11546/kube-controll

4. 部署kube-scheduler服务

（1）编辑/usr/lib/systemd/system/kube-scheduler.service

vim /usr/lib/systemd/system/kube-scheduler.service，内容如下：

[Unit]

Description=Kubernetes Scheduler

After=kube-apiserver.service

Requires=kube-apiserver.service

[Service]

User=root

EnvironmentFile=-/etc/kubernetes/scheduler

ExecStart=/usr/bin/kube-scheduler \

$KUBE_MASTER \

$KUBE_SCHEDULER_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

（2）编辑kube-scheduler配置文件

vim /etc/kubernetes/scheduler，内容如下：

KUBE_MASTER="--master=http://192.168.1.10:8080"

KUBE_SCHEDULER_ARGS="--logtostderr=true --log-dir=/home/k8s-t/log/kubernetes --v=2"

（3）启动kube-scheduler

systemctl daemon-reload

systemctl start kube-scheduler.service

（4）验证是否启动

[root@server1 bin]# netstat -lntp | grep kube-schedule

tcp6 0 0 :::10251 :::* LISTEN 11605/kube-schedule

5. 将kubernetes/service/bin设置为默认搜索路径

sed -i '$a export PATH=$PATH:/root/kubernetes/server/bin/' /etc/profile

source /etc/profile

6.查看几个节点的状态：

[root@server1 bin]# kubectl get cs

NAME STATUS MESSAGE ERROR

scheduler Healthy ok

controller-manager Healthy ok

etcd-0 Healthy {"health": "true"}

至此，k8smaster节点安装完毕

Master一键重启服务：

for i in etcd kube-apiserver kube-controller-manager kube-scheduler docker;do systemctl restart $i;done

====================================

Node节点安装：

Node节点安装需要复制kubernetes/service/bin的kube-proxy，kubelet到/usr/bin/目录下，以及flannel二进制文件包

1. 离线安装docker服务

解压docker.tar.gz文件，然后使用rpm命令忽略依赖关系强制安装

tar zxf docker.tar.gz

cd docker

rpm -ivh *.rpm --nodeps --force

2. 修改docker启动文件：

vi /usr/lib/systemd/system/docker.service

[Unit]

Description=Docker Application Container Engine

Documentation=https://docs.docker.com

After=network-online.target firewalld.service

Wants=network-online.target

[Service]

Type=notify

# the default is not to use systemd for cgroups because the delegate issues still

# exists and systemd currently does not support the cgroup feature set required

# for containers run by docker

ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS

ExecReload=/bin/kill -s HUP $MAINPID

# Having non-zero Limit*s causes performance problems due to accounting overhead

# in the kernel. We recommend using cgroups to do container-local accounting.

LimitNOFILE=infinity

LimitNPROC=infinity

LimitCORE=infinity

# Uncomment TasksMax if your systemd version supports it.

# Only systemd 226 and above support this version.

#TasksMax=infinity

TimeoutStartSec=0

# set delegate yes so that systemd does not reset the cgroups of docker containers

Delegate=yes

# kill only the docker process, not all processes in the cgroup

KillMode=process

# restart the docker process if it exits prematurely

Restart=on-failure

StartLimitBurst=3

StartLimitInterval=60s

[Install]

WantedBy=multi-user.target

3.启动docker：

systemctl daemon-reload

systemctl start docker

3. 解压k8s二进制文件包

tar zxf kubernetes-server-linux-amd64.tar.gz

cd /root/kubernetes/server/bin/

cp kube-proxy kubelet /usr/bin/

4. 安装kube-proxy服务

（1）添加/usr/lib/systemd/system/kube-proxy.service文件，内容如下：

[Unit]

Description=Kubernetes Kube-Proxy Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=network.target

[Service]

EnvironmentFile=-/etc/kubernetes/config

EnvironmentFile=-/etc/kubernetes/proxy

ExecStart=/usr/bin/kube-proxy \

$KUBE_LOGTOSTDERR \

$KUBE_LOG_LEVEL \

$KUBE_MASTER \

$KUBE_PROXY_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

（2）创建/etc/kubernetes目录

mkdir -p /etc/kubernetes

（3）添加/etc/kubernetes/proxy配置文件

vim /etc/kubernetes/proxy，内容如下：

KUBE_PROXY_ARGS=""

（4）添加/etc/kubernetes/config文件

KUBE_LOGTOSTDERR="--logtostderr=true"

KUBE_LOG_LEVEL="--v=0"

KUBE_ALLOW_PRIV="--allow_privileged=false"

KUBE_MASTER="--master=http://192.168.1.10:8080"

（5）启动kube-proxy服务

systemctl daemon-reload

systemctl start kube-proxy.service

（6）查看kube-proxy启动状态

[root@server2 bin]# netstat -lntp | grep kube-proxy

tcp 0 0 127.0.0.1:10249 0.0.0.0:* LISTEN 11754/kube-proxy

tcp6 0 0 :::10256 :::* LISTEN 11754/kube-proxy

5. 安装kubelet服务

（1）创建/usr/lib/systemd/system/kubelet.service文件

vim /usr/lib/systemd/system/kubelet.service，内容如下：

[Unit]

Description=Kubernetes Kubelet Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=docker.service

Requires=docker.service

[Service]

WorkingDirectory=/var/lib/kubelet

EnvironmentFile=-/etc/kubernetes/kubelet

ExecStart=/usr/bin/kubelet $KUBELET_ARGS

Restart=on-failure

KillMode=process

[Install]

WantedBy=multi-user.target

（2）创建kubelet所需文件路径

mkdir -p /var/lib/kubelet

（3）创建kubelet配置文件

vim /etc/kubernetes/kubelet,内容如下：

KUBELET_HOSTNAME="--hostname-override=192.168.1.128"

KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=reg.docker.tb/harbor/pod-infrastructure:latest"

KUBELET_ARGS="--enable-server=true --enable-debugging-handlers=true --fail-swap-on=false --kubeconfig=/var/lib/kubelet/kubeconfig"

（4）添加/var/lib/kubelet/kubeconfig文件

然后还要添加一个配置文件，因为1.9.0在kubelet里不再使用KUBELET_API_SERVER来跟API通信，而是通过别一个yaml的配置来实现。

vim /var/lib/kubelet/kubeconfig ，内容如下：

apiVersion: v1

kind: Config

users:

- name: kubelet

clusters:

- name: kubernetes

cluster:

server: http://192.168.1.10:8080

contexts:

- context:

cluster: kubernetes

user: kubelet

name: service-account-context

current-context: service-account-context

（5）启动kubelet

关闭swap分区：swapoff -a (不然kubelet启动报错)

systemctl daemon-reload

systemctl start kubelet.service

（4）查看kubelet文件状态

[root@server2 ~]# netstat -lntp | grep kubelet

tcp 0 0 127.0.0.1:10248 0.0.0.0:* LISTEN 15410/kubelet

tcp6 0 0 :::10250 :::* LISTEN 15410/kubelet

tcp6 0 0 :::10255 :::* LISTEN 15410/kubelet

tcp6 0 0 :::4194 :::* LISTEN 15410/kubelet

6. 搭建flannel网络

Flannel可以使整个集群的docker容器拥有唯一的内网IP，并且多个node之间的docker0可以互相访问

（1） Flannel网络只需要安装在node节点上，不需要安装在etcd节点和master节点上，flannel的下载地址为:https://github.com/coreos/flannel/releases

（2）下载之后解压tar zxf flannel-v0.10.0-linux-amd64.tar.gz

将二进制文件flanneld、mk-docker-opts.sh拷贝到/usr/bin/下，即安装完成flannel

cp flanneld mk-docker-opts.sh /usr/bin/

（3）编写flannel的systemd文件，便于启动

vi /usr/lib/systemd/system/flanneld.service,内容如下：

[Unit]

Description=Flanneld overlay address etcd agent

After=network.target

After=network-online.target

Wants=network-online.target

After=etcd.service

Before=docker.service

[Service]

Type=notify

EnvironmentFile=-/etc/sysconfig/flanneld

EnvironmentFile=-/etc/sysconfig/docker-network

ExecStart=/usr/bin/flanneld-start $FLANNEL_OPTIONS

ExecStartPost=/usr/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker

Restart=on-failure

[Install]

WantedBy=multi-user.target

RequiredBy=docker.service

（4）编写flannel配置文件，路径对应上文的/etc/sysconfig/flanneld

vim /etc/sysconfig/flanneld，内容如下：

# flanneld configuration options

# etcd url location. Point this to the server where etcd runs

FLANNEL_ETCD="http://192.168.1.10:2379"

# etcd config key. This is the configuration key that flannel queries

# For address range assignment

FLANNEL_ETCD_KEY="/atomic.io/network/"

（5） vi /usr/bin/flanneld-start

#!/bin/sh

exec /usr/bin/flanneld \

        -etcd-endpoints=${FLANNEL_ETCD_ENDPOINTS:-${FLANNEL_ETCD}} \

        -etcd-prefix=${FLANNEL_ETCD_PREFIX:-${FLANNEL_ETCD_KEY}} \

        "$@"

赋执行权限

chmod +x /usr/bin/flanneld-start

（6）在etcd节点定义一个flannel网络

etcdctl mk /atomic.io/network/config '{"Network":"172.18.0.0/24"}'

（7）停止docker和关闭docker0

因为flannel将覆盖docker0网络，所以最好在开启flannel之前关闭docker0网卡和docker

systemctl stop docker

关闭docker服务后，kubelet也会关闭，master会显示node节点不可用，这是正常现象，等flannel网络设置完毕之后再开启kubelet和docker即可。

（8）启动flannel服务

systemctl daemon-reload

systemctl start flanneld

（9）设置docker0网桥的IP地址

mkdir -p /usr/lib/systemd/system/docker.service.d

cd /usr/lib/systemd/system/docker.service.d

mk-docker-opts.sh -i

source /run/flannel/subnet.env

vi /usr/lib/systemd/system/docker.service.d/flannel.conf

[Service]

EnvironmentFile=-/run/flannel/docker

（10）重启docker和kubelet服务

systemctl restart docker

systemctl restart kubelet

（11）确认docker0地址和flannel位于同一网段

ifconfig

到此完成了flannel覆盖网络的设置。

各个node之间的docker0就可以互相访问了。

Etcd数据库操作

删除一个键值：

举例：etcdctl mk /atomic.io/network/config '{"Network":"172.18.0.0/24"}'不小心写错了，可以删除值，重新赋值：

etcdctl rm /atomic.io/network/config

然后重新赋值就可以了，然后需要去node上删除/run/flannel/subnet.env文件，重启flanneld即可获取新的IP网段。