备案控制台
探索云世界
开发者社区 数据库 文章 正文

Cloudstack+Glusterfs+Kvm 集群（笔记）

2017-11-04 1807
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介：


一、环境介绍：

Cloudstack-Management：10.12.0.10

Gluster-Management：10.12.0.11

Node：10.12.0.12

Node：10.12.0.13

Node：10.12.0.14

Node：10.12.0.15

Node：10.12.0.16

Node：10.12.0.17

Node：10.12.0.18

Node：10.12.0.19

Node：10.12.0.20

Node：10.12.0.21

Node：10.12.0.22

Node：10.12.0.23

Node：10.12.0.24

Node：10.12.0.25

Node：10.12.0.26

二 、安装：

    

    首先搭建Glusterfs存储环境（10.12.0.11）：

    

    

Glusterfs 分部式存储搭建：

wget -P /etc/yum.repos.d/ http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repo

yum -y install epel-release.noarch

yum clean all

yum makecache

yum -y install glusterfs glusterfs-server

添加服务并启动：

chkconfig glusterd on

service glusterd start

创建卷目录

mkdir -p /home/primary  （建立用于主存的文件目录）

mkdir -p /home/secondary  （建立用于辅存的文件目录）

mkdir -p /home/ctdb        (建立用于ctdb的文件目录)

sed -i "/OUTPUT/a -A INPUT -s 10.12.0.0/16 -j ACCEPT" /etc/sysconfig/iptables


添加Gluster节点：

gluster peer probe 10.12.0.12

gluster peer probe 10.12.0.13

gluster peer probe 10.12.0.14

gluster peer probe 10.12.0.15

gluster peer probe 10.12.0.16

gluster peer probe 10.12.0.17

gluster peer probe 10.12.0.18

gluster peer probe 10.12.0.19

gluster peer probe 10.12.0.20

gluster peer probe 10.12.0.21

gluster peer probe 10.12.0.22

gluster peer probe 10.12.0.23

gluster peer probe 10.12.0.24

gluster peer probe 10.12.0.25

gluster peer probe 10.12.0.26

查看节点状态：

gluster peer status

gluster volume info


创建虚拟卷：

gluster volume create 虚拟卷名 stripe 3 replica 2 10.12.0.12:/home/primary 

{ 

distribute分布式, stripe条带式, replica副本式，可叠加组合 


“replica 2”表示每个文件保存为两个副本，最少需要2台服务器。

“stripe 2 replica 2”表示每个文件切成条保存到2个地方，且保存为两个副本，最少需要4台服务器。

如果卷目录位于根分区下，后面要加force


}


例：

gluster volume create primary stripe 8 replica 2 10.12.0.11:/home/primary/ 10.12.0.12:/home/primary/ 10.12.0.13:/home/primary/ 10.12.0.14:/home/primary/ 10.12.0.15:/home/primary/ 10.12.0.16:/home/primary/ 10.12.0.17:/home/primary/ 10.12.0.18:/home/primary/ 10.12.0.19:/home/primary/ 10.12.0.20:/home/primary/ 10.12.0.21:/home/primary/ 10.12.0.22:/home/primary/ 10.12.0.23:/home/primary/ 10.12.0.24:/home/primary/ 10.12.0.25:/home/primary/ 10.12.0.26:/home/primary/

gluster volume create secondary stripe 8 replica 2 10.12.0.11:/home/secondary/ 10.12.0.12:/home/secondary/ 10.12.0.13:/home/secondary/ 10.12.0.14:/home/secondary/ 10.12.0.15:/home/secondary/ 10.12.0.16:/home/secondary/ 10.12.0.17:/home/secondary/ 10.12.0.18:/home/secondary/ 10.12.0.19:/home/secondary/ 10.12.0.20:/home/secondary/ 10.12.0.21:/home/secondary/ 10.12.0.22:/home/secondary/ 10.12.0.23:/home/secondary/ 10.12.0.24:/home/secondary/ 10.12.0.25:/home/secondary/ 10.12.0.26:/home/secondary/

启动卷：

gluster volume start primary

gluster volume start secondary


设置访问权限：

gluster volume set primary auth.allow 10.12.0.*  （设置允许访问的地址，如果有多个地址可以用逗号连接，不设置，默认允许所有）

gluster volume set secondary auth.allow 10.12.0.*



搭建ctdb来使用nfs共享：

安装ctdb(此操作也在：10.12.0.11上):

yum install nfs-utils

yum install ctdb


创建本地挂载Glusterfs的secondary卷目录并挂载：

mkdir /secondary

mount -t glusterfs 10.12.0.11:/secondary /secondary

修改开机自动挂载：在/etc/fstab的后面一行加入以下：

vim /etc/fstab


192.168.30.239:/secondary /secondary          glusterfs defaults      0 0


创建ctdb配置文件：

1、创建nfs文件：

    mv /etc/sysconfig/nfs /etc/sysconfig/nfs.bak

    vim /secondary/nfs


CTDB_MANAGES_NFS=yes
NFS_TICKLE_SHARED_DIRECTORY=/secondary/nfs-tickles
STATD_PORT=595
STATD_OUTGOING_PORT=596
MOUNTD_PORT=597
RQUOTAD_PORT=598
LOCKD_UDPPORT=599
LOCKD_TCPPORT=599
STATD_SHARED_DIRECTORY=/secondary/lock/nfs-state
NFS_HOSTNAME="Node11.test.com"
STATD_HOSTNAME="$NFS_HOSTNAME -P "$STATD_SHARED_DIRECTORY/$PUBLIC_IP" -H /etc/ctdb/statd-callout -p 97"
RPCNFSDARGS="-N 4"


2、创建NFS配置文件：

ln -s /secondary/nfs /etc/sysconfig/nfs


3、创建NFS共享目录配置文件： 

vi /secondary/exports


/secondary  *(fsid=1235,insecure,rw,async,no_root_squash,no_subtree_check)


rm -rf /etc/exports

ln -s /secondary/exports /etc/exports


添加防火墙规则：

vim /etc/sysconfig/iptables 

-A INPUT -s 10.12.0.0/16 -m state --state NEW -p udp --dport 111 -j ACCEPT
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s 
-A INPUT -s



创建ctdb配置文件，同样是放到存储卷里面，给其他服务器共用:

vim /secondary/ctdb


CTDB_RECOVERY_LOCK=/secondary/lockfile
CTDB_PUBLIC_INTERFACE=eth0
CTDB_PUBLIC_ADDRESSES=/secondary/public_addresses
CTDB_MANAGES_NFS=yes
CTDB_NODES=/secondary/nodes
CTDB_DEBUGLEVEL=ERR


(注;ctdb可能是对网桥模式有干扰,建议使用“直连”网卡：即：eth0-3)


mv /etc/sysconfig/ctdb /etc/sysconfig/ctdb.bak

ln -s /secondary/ctdb /etc/sysconfig/ctdb


创建ctdb虚拟地址（VIP）：

vim /secondary/public_addresses

10.12.0.10/24 eth0


创建ctdb节点文件：

vim /secondary/nodes


10.12.0.11

10.12.0.12

10.12.0.13

10.12.0.14

10.12.0.15

10.12.0.16

10.12.0.17

10.12.0.18

10.12.0.19

10.12.0.20

10.12.0.21

10.12.0.22

10.12.0.23

10.12.0.24

10.12.0.25

10.12.0.26


设置开机启动并启动：

chkconfig ctdb on

chkconfig nfs off 

/etc/init.d/ctdb start


查看ctdb信息：

ctdb status


ctdb ping -n all


ctdb ip
Public IPs on node 1
10.10.10.15 node[0] active[] available[eth0] configured[eth0]  （显示10.10.10.15这个接口地址正工作在node0上）

ctdb pnn
PNN:1      （自己是node1）


以下操作是在所有节点服务器上操作（即：12---26）

yum -y install nfs-utils

yum -y install ctdb

mkdir /secondary

mount -t glusterfs 10.12.0.11:/secondary /secondary

修改开机自动挂载：在/etc/fstab的后面一行加入以下：

vim /etc/fstab


192.168.30.239:/secondary /secondary            glusterfs defaults      0 0

mv /etc/sysconfig/nfs /etc/sysconfig/nfs.bak

ln -s /secondary/nfs /etc/sysconfig/nfs


rm -rf /etc/exports

ln -s /secondary/exports /etc/exports


mv /etc/sysconfig/ctdb /etc/sysconfig/ctdb.bak

ln -s /secondary/ctdb /etc/sysconfig/ctdb


设置开机启动并启动：

chkconfig ctdb on

chkconfig rpcbind on

chkconfig nfs off 

/etc/init.d/ctdb start

最后再重启下10.12.10.11这台机器的ctdb:

/etc/init.d/ctdb restart

ctdb status

ctdb ping -n all

ctdb ip

ctdb pnn


使用ip r查看下是否有VIP：

ip r



测试：

找任何一台机器，mount上后创建一个文件，查看其它机器上是否已经写入；

例：

mount -t nfs 10.12.0.10:/secondary /mnt

touch /mnt/a.txt

在其它节点（12--26）上安装操作：


wget -P /etc/yum.repos.d/ http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repo

yum -y install epel-release.noarch

yum clean all

yum makecache

yum -y install glusterfs glusterfs-server

chkconfig glusterd on

service glusterd start


在 Cloudstack-Management：10.12.0.10上安装：

网络配置

使用脚本脚本修改：

脚本下载地址：http://pan.baidu.com/s/1pLaNjZ1

或 使用以下方式修改：

cd /etc/sysconfig/network-scripts/

cat <<EOF> /etc/sysconfig/network-scripts/ifcfg-cloudbr0

DEVICE="cloudbr0"

BOOTPROTO="static"

MTU="1500"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Bridge"

IPADDR=172.16.0.2

NETMASK=255.255.0.0

GATEWAY=172.16.0.1

DNS1=223.5.5.5

EOF

cat <<EOF> /etc/sysconfig/network-scripts/ifcfg-cloudbr1

DEVICE="cloudbr1"

BOOTPROTO="static"

MTU="1500"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Bridge"

IPADDR=10.10.0.2

NETMASK=255.255.0.0

EOF

cat <<EOF> /etc/sysconfig/network-scripts/ifcfg-cloudbr2

DEVICE="cloudbr2"

BOOTPROTO="static"

MTU="1500"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Bridge"

IPADDR=10.11.0.2

NETMASK=255.255.0.0

EOF

cat <<EOF> /etc/sysconfig/network-scripts/ifcfg-cloudbr3

DEVICE="cloudbr3"

BOOTPROTO="static"

MTU="1500"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Bridge"

IPADDR=10.12.0.2

NETMASK=255.255.0.0

EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="static"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

BRIDGE=cloudbr0

EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE="eth1"

TYPE="Ethernet"

ONBOOT="yes"

NM_CONTROLLED="yes"

BOOTPROTO="static"

BRIDGE="cloudbr1"

EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-eth2

DEVICE="eth2"

TYPE="Ethernet"

ONBOOT="yes"

NM_CONTROLLED="yes"

BOOTPROTO="static"

BRIDGE="cloudbr2"

EOF

cat <<EOF > /etc/sysconfig/network-scripts/ifcfg-eth3

DEVICE="eth3"

TYPE="Ethernet"

ONBOOT="yes"

NM_CONTROLLED="yes"

BOOTPROTO="static"

BRIDGE="cloudbr3"

EOF


chkconfig network on

service network restart

（注：以上这些命令需要在每个Node节点上去操作，桥接网卡信息，因为cloudstack要求必须桥接网卡）


主机名

Cloudstack要求正确设置主机名，如果安装时您接受了默认选项，主机名为localhost.localdomain，输入如下命令可以进行验证


hostname --fqdn

在此处将返回：


localhost


为了纠正这个问题，需设置主机名，通过编辑/etc/hosts 文件，将其更改为类似如下内容：

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.0.2 srvr1.cloud.priv

更改配置文件后，重启网络服务：


service network restart


通过hostname –fqdn命令重新检查主机名，并确认返回了正确的FQDN


SELinux

当前的CloudStack需要将SELinux设置为permissive才能正常工作，您需要改变当前配置，同时将该配置持久化，使其在主机重启后仍然生效。

在系统运行状态下将SELinux配置为permissive需执行如下命令：

setenforce 0

为确保其持久生效需更改配置文件/etc/selinux/config，设置为permissive，如下例所示：

# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=permissive# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted


NTP

为了同步云平台中主机的时间，需要配置NTP，但NTP默认没有安装。因此需要先安装NTP，然后进行配置。通过以下命令进行安装：

yum -y install ntp

实际上默认配置项即可满足的需求，仅需启用NTP并设置为开机启动，如下所示：

 chkconfig ntpd on service ntpd start

管理服务器安装

接下来进行CloudStack管理节点和相关工具的安装。

数据库安装和配置

首先安装MySQL，并对它进行配置，以确保CloudStack运行正常。

运行如下命令安装：

yum -y install mysql-server

MySQL安装完成后，需更改其配置文件/etc/my.cnf。在[mysqld]下添加下列参数：

innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=mysql-bin
binlog-format='ROW'

正确配置MySQL后，启动它并配置为开机自启动：

service mysqld start
chkconfig mysqld on

（为安全起见，建议修改mysql的root密码，默认为空）

安装Cloudstack

首先下载Cloudstack的RPM包：

下载地址：

http://pan.baidu.com/s/1eRCdaYu

下载完成后，完速的安装目录为：

spacer.gif

如果安装包不正确，请留言索取正确的安装包！

现在将要开始安装管理服务器。执行以下命令：

yum -y localinstall cloudstack-awsapi-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-cli-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-common-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-management-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-usage-4.4.1-NONOSS_3.el6.x86_64.rpm

在程序执行完毕后，需初始化数据库，通过如下命令和选项完成：

cloudstack-setup-databases cloud:password@localhost --deploy-as=root

当该过程结束后，您应该可以看到类似信息：”CloudStack has successfully initialized the database.”。

数据库创建后，最后一步是配置管理服务器，执行如下命令：

cloudstack-setup-management
上传系统模板

CloudStack通过一系列系统虚拟机提供功能，如访问虚拟机控制台，如提供各类网络服务，以及管理辅助存储的中的各类资源。该步骤会获取系统虚拟机模板，用于云平台引导后系统虚拟机的部署。

然后需要下载系统虚拟机模板，并把这些模板部署于刚才创建的辅助存储中；管理服务器包含一个脚本可以正确的操作这些系统虚拟机模板：

/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt \-m /secondary \-f /soft/systemvm64template-4.4.1-7-kvm.qcow2.bz2 \
-h kvm -F

至此，Management就已经安装完成，以下在所以的Node节点上操作：


yum -y localinstall cloudstack-common-4.4.1-NONOSS_3.el6.x86_64.rpm cloudstack-agent-4.4.1-NONOSS_3.el6.x86_64.rpm

启动服务：

/etc/init.d/cloudstack-agent start





     本文转自yangxuncai110 51CTO博客，原文链接：http://blog.51cto.com/zlyang/1762920，如需转载请自行联系原作者







文章标签：
云虚拟主机
云数据库 RDS MySQL 版
开发工具
存储
关系型数据库
MySQL
数据库
技术小胖子
目录
相关文章
chen2ha
|
5月前
|
存储 网络协议 Linux
CentOS 7.6 部署 GlusterFS 分布式存储系统
CentOS 7.6 部署 GlusterFS 分布式存储系统
chen2ha
128 0
yuanfan_2012
|
存储 数据安全/隐私保护
CentOS7.7.1908下部署Ceph分布式存储(下)
CentOS7.7.1908下部署Ceph分布式存储(下)
yuanfan_2012
165 0
CentOS7.7.1908下部署Ceph分布式存储(下)
yuanfan_2012
|
存储 监控 网络安全
CentOS7.7.1908下部署Ceph分布式存储(上)
CentOS7.7.1908下部署Ceph分布式存储(上)
yuanfan_2012
198 0
CentOS7.7.1908下部署Ceph分布式存储(上)
shnaks
基于xenserver搭建cloudstack时出现的问题——求助
基于xenserver搭建cloudstack时出现的问题——求助
shnaks
712 0
余二五
|
Web App开发 存储 网络协议
RHEL6 搭建部署共享存储服务
余二五
1264 0
余二五
|
存储 KVM 虚拟化
CloudStack集成KVM报NFS错误
余二五
1198 0
技术小胖子
|
存储 KVM 虚拟化
CloudStack 4.4+KVM之CloudStack配置过程
技术小胖子
1669 0
技术小胖子
|
存储 Linux 块存储
企业私有云之共享存储ceph在centos7安装与应用
技术小胖子
1133 0
科技小能手
|
存储 算法 网络协议
glusterfs搭建安装
科技小能手
1679 0
余二五
|
缓存 网络协议 Linux
集群文件系统GlusterFS安装配置
余二五
1447 0

热门文章

最新文章

  • 1
    Linux查看进程的内存占用情况
  • 2
    大咖云集，技术宅开趴倒计时 —— 2017 Kubernetes Meetup | 成都站
  • 3
    ubuntu安装KVM虚拟机管理virt-manager
  • 4
    OpenCV4之C++入门详解 （上）
  • 5
    vue2中computed中无法获取到this
  • 6
    Visual Basic快速入门
  • 7
    HDU 4968 Improving the GPA
  • 8
    这56家公司共同发力智慧城市
  • 9
    书写高质量JavaScript代码的要义（The Essentials of Writing High Quality JavaScript）翻译
  • 10
    linux驱动开发--字符设备：信号量
  • 1
    【软件工程】融通未来的工艺：深度解析统一过程在软件开发中的角色
    16
  • 2
    IBM SPSS Modeler分类决策树C5.0模型分析空气污染物数据
    14
  • 3
    【软件工程】走进瀑布模型：传统软件开发的经典之路
    14
  • 4
    数据分享|R语言用lme4多层次（混合效应）广义线性模型（GLM），逻辑回归分析教育留级调查数据（下）
    12
  • 5
    【软件工程】走近演化过程模型：软件开发的不断进化之路
    88
  • 6
    【Mybatis】深入学习MyBatis：概述、主要特性以及配置与映射
    17
  • 7
    【MySQL】数据库规范化的三大法则 — 一探范式设计原则
    16
  • 8
    r语言中对LASSO回归，Ridge岭回归和弹性网络Elastic Net模型实现（下）
    14
  • 9
    【MySQL】数据库中为什么使用B+树不用B树
    11
  • 10
    【MySQL】SQL优化
    11

    • 相关课程

    更多
  • KVM 虚拟化

    • 相关电子书

    更多
  • Virtualizing Spark on Vmware vSphere
  • 采用Harbor开源企业级Registry实现高效安全的镜像
  • 低代码开发师（初级）实战教程

    • 相关实验场景

    更多
  • 基于ROS快速部署LNMP环境（CentOS 7）
  • 手动部署MySQL数据库（CentOS 7）
  • 部署并使用Docker（CentOS 8）
  • 部署Linux主机管理系统WDCP
  • 部署LAMP环境（Ubuntu 20）
  • 手动部署LNMP环境（CentOS 8）
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）