备案控制台
探索云世界
开发者社区 数据库 文章 正文

MogileFS高可用分布式文件系统详解

2017-11-16 1583
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介：

一、关于MogileFS

MongileFS是一个由Perl开发的分布式文件系统，遵循CAP理论，即Consistency：数据的一致性；Availability：数据的可用性；Tolerance of network Partition：数据的容错性；而这里的MongileFS满足了后俩者，也就是只满足数据的可用性和容错性，对于大型网站，数据的可用性和容错性要优先于数据的一致性。

MongileFS使用一致性hash来解决数据的可用性，使用虚拟节点来解决数据倾斜的问题；MongileFS特别适合存储海量小文件的数据，与之类似的分布式文件系统还有：FastDFS，MooseFS等，也适合存储海量小文件。

MongileFS的特性：

1、应用层实现，不需要特殊的核心组件；

2、无单点失败，MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库）,均可运行在多个机器上,因此没有单点失；

3、自动的文件复制 — 基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储4节点上,这样可以满足这个“类别”的最少复制要求；

4、简单的命名空间 –文件通过一个给定的key来确定,是一个全局的命名空间.你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突；

5、不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘；


实现MogileFS分布文件系统所需要的主机角色：

1、Tracker(MogileFSd 进程)：这个是 MogileFS 的核心部分，他是一个调度器，MogileFSd 进程就是trackers进程程序，trackers 做了很多工作：Replication ,Deletion,Query,Reaper,Monitor 等等，这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed),，包括将请求负载平衡到多个“query workers”中，然后让 MogileFSd 的子进程去处理；

2、MySQL：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)，是Trackers 来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；

3、Storage Nodes：实际文件存放的地方，存储节点是一个HTTP服务器,用来做删除,存放,重命名等事情，任何WebDAV服务器都可以, 不过推荐使用mogstored，MogileFSd 可以配置到两个机器上使用不同端口，mogstored来进行所有的DAV操作和流量，IO监测, 并且你自己选择的HTTP服务器(默认为 perlbal)用来做GET操作给客户端提供文件。


MogileFS管理的几个概念：

1、Domain：一个MogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须为一，不同Domain内，key可以相同；

2、Class：文件属性管理，定位文件存储在不同设备上的份数；



二、MongileFS工作原理图

wKiom1NGZNiTKzaNAAD4rEDUBXs571.jpg



三、实验环境

10.232.50.239 OS：CentOS 6.4 x86_64  node1.luojianlong.com

10.232.42.218 OS：CentOS 6.4 x86_64  node2.luojianlong.com

10.232.42.219 OS：CentOS 6.4 x86_64  node3.luojianlong.com



拓扑图

wKiom1NGaLOjannfAAEA7emcEBk572.jpg


首先，分别在node1，node2，node3上面安装cpan以及依赖的包

1
2
3
[root@node1 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node2 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
[root@node3 ~] # yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan


使用cpan命令安装MogileFS::Server，MogileFS::Client，以及依赖的模块，前提是主机能够上互联网

1
2
3
4
5
6
7
8
9
10
# 安装过程中，如有提示安装依赖的模块，直接回答yes即可
[root@node1 ~] # cpan -i install MogileFS::Server
[root@node1 ~] # cpan -i install MogileFS::Client
[root@node1 ~] # cpan -i install MogileFS::Utils
[root@node2 ~] # cpan -i install MogileFS::Server
[root@node2 ~] # cpan -i install MogileFS::Client
[root@node2 ~] # cpan -i install MogileFS::Utils
[root@node3 ~] # cpan -i install MogileFS::Server
[root@node3 ~] # cpan -i install MogileFS::Client
[root@node3 ~] # cpan -i install MogileFS::Utils

安装完成以后，在node1上面安装mysql


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@node1 ~] # useradd -r mysql
[root@node1 ~] # tar zxvf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/
[root@node1 ~] # cd /usr/local/
[root@node1  local ] # ln -s mysql-5.5.33-linux2.6-x86_64 mysql
[root@node1  local ] # cd mysql
[root@node1 mysql] # chown -R root.mysql ./*
[root@node1 mysql] # mkdir /mydata/data -p
[root@node1 mysql] # chown -R mysql.mysql /mydata/data/
[root@node1 mysql] # cp support-files/mysql.server /etc/rc.d/init.d/mysqld
[root@node1 mysql] # chmod +x /etc/rc.d/init.d/mysqld
[root@node1 mysql] # chkconfig --add mysqld
[root@node1 mysql] # chkconfig mysqld on
[root@node1 mysql] # cp support-files/my-large.cnf /etc/my.cnf
[root@node1 mysql] # ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
[root@node1 mysql] # vi /etc/my.cnf
# 添加如下俩行
datadir =  /mydata/data
innodb_file_per_table = 1
[root@node1 mysql] # vi /etc/profile.d/mysql.sh
export  PATH= /usr/local/mysql/bin :$PATH
[root@node1 mysql] # . /etc/profile.d/mysql.sh
[root@node1 mysql] # service mysqld start
Starting MySQL.... SUCCESS!


创建Tracker连接mysql的远程用户

1
2
3
4
mysql> grant all on *.* to  'root' @ '%'  identified by  '123456' ;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)


配置Tracker

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
[root@node1 ~] # useradd -r mogilefs
[root@node1 ~] # mkdir /var/run/mogilefsd/ -p
[root@node1 ~] # chown -R mogilefs.mogilefs /var/run/mogilefsd
[root@node1 ~] # mkdir /etc/mogilefs/
# 编辑配置文件：/etc/mogilefs/mogilefsd.conf
[root@node1 ~] # vi /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=10.232.50.239;port=3306;mysql_connect_timeout=5
db_user = mogile
db_pass = 123456
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1
# 编写mogilefsd启动脚本
[root@node1 ~] # vi /etc/rc.d/init.d/mogilefsd
#!/bin/bash
#
# mogilefsd - Startup script for the MogileFS tracker
#
# chkconfig: - 85 15
# description: MogileFS tracker
# processname: mogilefsd
# config: /etc/mogilefs/mogilefsd.conf
# pidfile: /var/run/mogilefsd/mogilefsd.pid
# Source function library.
.  /etc/rc .d /init .d /functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE- /var/lock/subsys/mogilefsd }
RETVAL=0
prog=$( which  mogilefsd)
start() {
     ulimit  -n 65535
     echo  -n $ "Starting mogilefsd"
     su  - mogilefs -c  "$prog -c /etc/mogilefs/mogilefsd.conf --daemon"
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  touch  ${lockfile} || failure
     echo
     return  $RETVAL
}
stop() {
     echo  -n $ "Stopping mogilefsd"
     netstat  -nlp| grep  "mogilefsd" | grep  - v  grep | awk  '{print $7}' | awk  -F "/"  '{print $1}' | xargs  kill  -9
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  rm  -f ${lockfile} || failure
     echo
}
reload() {
     echo  -n $ "Reloading mogilefsd: "
     killall mogilefsd -HUP
     RETVAL=$?
     [ $RETVAL = 0 ] && success || failure
     echo
}
case  "$1"  in
     start)
         start
         ;;
     stop)
         stop
         ;;
     status)
         status mogilefsd
         RETVAL=$?
         ;;
     restart)
         stop
         sleep  1
         start
         ;;
     reload)
         reload
         ;;
     *)
         echo  $ "Usage: mogilefsd {start|stop|restart|reload|status}"
         exit  1
esac
exit  $RETVAL
[root@node1 ~] # chmod +x /etc/rc.d/init.d/mogilefsd
[root@node1 ~] # chkconfig --add mogilefsd
[root@node1 ~] # chkconfig mogilefsd on
# 初始化数据库
[root@node1 ~] # mogdbsetup --dbhost=127.0.0.1 --dbrootuser=root --dbpass=123456 --dbname=mogilefs --dbuser=mogile --dbpassword=123456
This will attempt to setup or upgrade your MogileFS database.
It won't destroy existing data.
Run with --help  for  more  information.  Run with -- yes  to shut up these prompts.
Continue? [N /y ]: y
Create /Upgrade  database name  'mogilefs' ? [Y /n ]: y
Grant all privileges to user  'mogile' , connecting from anywhere, to the mogilefs database  'mogilefs' ? [Y /n ]: y
[root@node1 ~] # ln -s /usr/local/bin/mogilefsd /usr/bin/
[root@node1 ~] # ln -s /usr/local/bin/mogilefsd /usr/sbin/
[root@node1 ~] # service mogilefsd start
Starting mogilefsd                                         [  OK  ]
[root@node1 ~] # ss -anptl
Recv-Q Send-Q                                                                    Local Address:Port                                                                      Peer Address:Port
0      128                                                                                  :::22                                                                                  :::*       users :(( "sshd" ,8066,4))
0      128                                                                                   *:22                                                                                   *:*       users :(( "sshd" ,8066,3))
0      128                                                                                   *:7001                                                                                 *:*       users :(( "mogilefsd" ,3444,6))
0      50                                                                                    *:3306                                                                                 *:*       users :(( "mysqld" ,1003,11))
# 启动成功
# 在node2,node3上面执行相同的操作，安装mogilefsd,不需要初始化数据

配置mogstored

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
# 编辑mogstored配置文件
[root@node1 ~] # vi /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot =  /mogdata
[root@node1 ~] # mkdir /mogdata/dev1
[root@node1 ~] # chown -R mogilefs.mogilefs /mogdata/dev1
# 编写mogstored启动脚本
[root@node1 ~] # vi /etc/rc.d/init.d/mogstored
#!/bin/bash
#
# mogstored - Startup script for the MogileFS storage
#
# chkconfig: - 86 14
# description: MogileFS storage
# processname: mogstored
# config: /etc/mogilefs/mogstored.conf
# pidfile: /var/run/mogilefsd/mogstored.pid
# Source function library.
.  /etc/rc .d /init .d /functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE- /var/lock/subsys/mogstored }
RETVAL=0
configfile= '/etc/mogilefs/mogstored.conf'
prog=$( which  mogstored)
start() {
     ulimit  -n 65535
     echo  -n $ "Starting mogstored"
     su  - mogilefs -c  "$prog -c $configfile --daemon"   &>  /dev/null
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  touch  ${lockfile} || failure
     echo
     return  $RETVAL
}
stop() {
     echo  -n $ "Stopping mogstored"
     netstat  -nlp| grep  "mogstored" | grep  - v  grep | awk  '{print $7}' | awk  -F "/"  '{print $1}' | xargs  kill  -9
     RETVAL=$?
     [ $RETVAL = 0 ] && success &&  rm  -f ${lockfile} || failure
     echo
}
reload() {
     echo  -n $ "Reloading mogstored: "
     killall mogstored -HUP
     RETVAL=$?
     [ $RETVAL = 0 ] && success || failure
     echo
}
case  "$1"  in
     start)
         start
         ;;
     stop)
         stop
         ;;
     status)
         status mogstored
         RETVAL=$?
         ;;
     restart)
         stop
         sleep  1
         start
         ;;
     reload)
         reload
         ;;
     *)
         echo  $ "Usage: mogstored {start|stop|restart|reload|status}"
         exit  1
esac
exit  $RETVAL
[root@node1 ~] # chmod +x /etc/rc.d/init.d/mogstored
[root@node1 ~] # chkconfig --add mogstored
[root@node1 ~] # chkconfig mogstored on
[root@node1 ~] # ln -s /usr/local/bin/mogstored  /usr/bin/
[root@node1 ~] # ln -s /usr/local/bin/mogstored  /usr/sbin/
[root@node1 ~] # service mogstored start
Starting mogstored                                         [  OK  ]
[root@node1 ~] # ss -anptl
Recv-Q Send-Q                                          Local Address:Port                                            Peer Address:Port
0      128                                                         *:7500                                                       *:*       users :(( "mogstored" ,5108,4))
0      128                                                         *:7501                                                       *:*       users :(( "mogstored" ,5108,9))
0      128                                                        :::22                                                        :::*       users :(( "sshd" ,8066,4))
0      128                                                         *:22                                                         *:*       users :(( "sshd" ,8066,3))
0      128                                                         *:7001                                                       *:*       users :(( "mogilefsd" ,3444,6))
0      50                                                          *:3306                                                       *:*       users :(( "mysqld" ,1003,11))
# 启动成功
# node2，node3执行相同的操作,对应的存储目录为/mogdata/dev2，/mogdata/dev3

在node2上面编译安装nginx

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[root@node2 ~] # yum -y groupinstall "Development Tools" "Server Platform Deveopment"
[root@node2 ~] # yum -y install openssl-devel pcre-devel
[root@node2 ~] # groupadd -r nginx
[root@node2 ~] # useradd -r -g nginx nginx
# 解压nginx的第三方模块mogilefs模块
[root@node2 ~] # unzip nginx-mogilefs-module-master.zip
[root@node2 ~] # tar zxvf nginx-1.4.2.tar.gz
[root@node2 ~] # cd nginx-1.4.2
[root@node2 nginx-1.4.2] # ./configure \
> --prefix= /usr  \
> --sbin-path= /usr/sbin/nginx  \
> --conf-path= /etc/nginx/nginx .conf \
> --error-log-path= /var/log/nginx/error .log \
> --http-log-path= /var/log/nginx/access .log \
> --pid-path= /var/run/nginx/nginx .pid  \
> --lock-path= /var/lock/nginx .lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path= /var/tmp/nginx/client/  \
> --http-proxy-temp-path= /var/tmp/nginx/proxy/  \
> --http-fastcgi-temp-path= /var/tmp/nginx/fcgi/  \
> --http-uwsgi-temp-path= /var/tmp/nginx/uwsgi  \
> --http-scgi-temp-path= /var/tmp/nginx/scgi  \
> --with-pcre \
> --add-module= /root/nginx-mogilefs-module-master
[root@node2 nginx-1.4.2] # make && make install
[root@node2 nginx-1.4.2] # mkdir /var/tmp/nginx/client -p
[root@node2 nginx-1.4.2] # nginx


Nginx 做为 MogileFS 的前端客户端，我们使用Nginx来吐文件,做前端的查询代理时,我们需要使用到mogilefs的这个模块，可以下载这个模块编译进Nginx就行了，直接使用 ./configure -add-module=这个参数就可以了，最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module


在node1上，使用mogadm添加节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~] # mogadm host add 10.232.50.239 --ip=10.232.50.239 --status=alive
[root@node1 ~] # mogadm host add 10.232.42.218 --ip=10.232.42.218 --status=alive
[root@node1 ~] # mogadm host add 10.232.42.219 --ip=10.232.42.219 --status=alive
[root@node1 ~] # mogadm check                                     
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   ---- ------------ ---------- ---------- ---------- ------
              total:     0.000      0.000      0.000   0.00%
# 添加host成功


为每个host添加device

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@node1 ~] # mogadm device add 10.232.50.239 1
[root@node1 ~] # mogadm device add 10.232.42.218 2
[root@node1 ~] # mogadm device add 10.232.42.219 3
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 1] dev1             7.472      2.443      5.029  32.69%  writeable   N /A
   [ 2] dev2             7.472      1.839      5.633  24.61%  writeable   N /A
   [ 3] dev3             7.472      1.647      5.825  22.04%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    22.416      5.928     16.488  26.45%
# 添加成功


添加domain

1
2
3
4
5
6
7
8
[root@node1 ~] # mogadm domain add files
[root@node1 ~] # mogadm domain add images
[root@node1 ~] # mogadm domain list
  domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
  files                default                   2        MultipleHosts() NONE
  images               default                   2        MultipleHosts() NONE
# 发现已经自动添加了default class


上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@node1 ~] # mogupload --trackers=10.232.50.239 --domain=files --key='/fstab' --file='/etc/fstab'
[root@node1 ~] # mogfileinfo --trackers=10.232.50.239 --domain=files --key='/fstab'
-  file :  /fstab
      class:              default
   devcount:                    3
     domain:                files
        fid:                    5
        key:                /fstab
     length:                  463
  - http: //10 .232.42.219:7500 /dev3/0/000/000/0000000005 .fid
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000005 .fid
# 可以看到文件被自动保存为2个副本
[root@node1 ~] # curl http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
/dev/xvda1             /                    ext3       noatime,acl,user_xattr 1 1
/dev/xvdc             swap                 swap       defaults 0 0
proc                  /proc                 proc       defaults              0 0
sysfs                 /sys                  sysfs      noauto                0 0
debugfs               /sys/kernel/debug     debugfs    noauto                0 0
devpts                /dev/pts              devpts     mode=0620,gid=5       0 0
# 可以正常访问

模拟down掉一个节点，看文件会不会丢失

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@node1 ~] # mogadm host mark 10.232.42.218 down
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... OK
   [ 2] 10.232.42.218 ... skipping; status = down
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 1] dev1             7.472      2.443      5.029  32.70%  writeable   N /A
   [ 3] dev3             7.472      1.648      5.824  22.05%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    14.944      4.091     10.853  27.37%
[root@node1 ~] # mogfileinfo --trackers=10.232.42.218 --domain=files --key='/fstab'
-  file :  /fstab
      class:              default
   devcount:                    1
     domain:                files
        fid:                    5
        key:                /fstab
     length:                  463
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000005 .fid
# 发现文件依然存在


下面使用Nginx来替换storage nodes上 mogstored中的Perlbal

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@node2 ~] # vi /etc/nginx/nginx.conf
# 添加如下
   upstream trackers {
     server 10.232.50.239:7001;
     server 10.232.42.218:7001;
     server 10.232.42.219:7001;
}
   location  /files/  {
         mogilefs_tracker trackers;
         mogilefs_domain files;
         mogilefs_methods get;
         mogilefs_pass {
         proxy_pass $mogilefs_path;
         proxy_hide_header Content-Type;
         proxy_buffering off;
         }
         }
[root@node2 ~] # nginx -s reload


关于如上配置解释一下，比如:

http://www.a.com/files/A6B00135E24AB17E043B9B5453762438.png

这个URL中的UUID是A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做key来存到MogileFS中就行，再结合rewrite,只要key在url里有,就能直接代理到后端的mogilefs，如果使用了多个tracker的话，要配置使用多个tracker来进行负载均衡和备份，可以直接配置tracker到upstrame里面，然后后面配置tracker的连接时,直接加上mogilefs_tracker online_mogilefs就行了，如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁，上面的配置一样，关键对于上传的配置,需要给方法修改为mogilefs_methods PUT DETEL。



上传文件测试

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 设置files domain的class复制份数为3
[root@node1 ~] # mogadm class modify files default --mindevcount=3
# 上传文件
[root@node1 ~] # echo "9966" > /tmp/index11.html
[root@node1 ~] # mogupload --trackers=10.232.50.239 --domain=files --key='index11.html' --file='/tmp/index11.html'
[root@node1 ~] # mogfileinfo --trackers=10.232.50.239 --domain=files --key='index11.html'
-  file : index11.html
      class:              default
   devcount:                    3
     domain:                files
        fid:                   24
        key:         index11.html
     length:                    5
  - http: //10 .232.42.218:7500 /dev2/0/000/000/0000000024 .fid
  - http: //10 .232.50.239:7500 /dev1/0/000/000/0000000024 .fid
  - http: //10 .232.42.219:7500 /dev3/0/000/000/0000000024 .fid
# 发现有3个副本
[root@node2 ~] # curl http://10.232.42.218/files/index11.html
9966


测试正常访问

下面模拟down掉一个节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@node1 ~] # mogadm host mark 10.232.50.239 down
[root@node1 ~] # mogadm check
Checking trackers...
   127.0.0.1:7001 ... OK
Checking hosts...
   [ 1] 10.232.50.239 ... skipping; status = down
   [ 2] 10.232.42.218 ... OK
   [ 3] 10.232.42.219 ... OK
Checking devices...
   host device         size(G)    used(G)     free (G)   use%   ob state   I /O %
   ---- ------------ ---------- ---------- ---------- ------ ---------- -----
   [ 2] dev2             7.472      1.843      5.629  24.67%  writeable   N /A
   [ 3] dev3             7.472      1.652      5.820  22.11%  writeable   N /A
   ---- ------------ ---------- ---------- ---------- ------
              total:    14.944      3.495     11.449  23.39%
[root@node2 ~] # curl http://10.232.42.218/files/index11.html
9966


发现访问一切正常

如果想根据跨多机房多网段来复制不同class份数，需要安装MogileFS::Network模块

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@node1 ~] # cpan -i MogileFS::Network
# 安装完成后
# 添加网段名称，这里添加2个
[root@node1 ~] # mogadm settings set network_zones near,far
# 添加网段地址
[root@node1 ~] # mogadm settings set zone_near 10.0.0.0/8
# 修改class属性
[root@node1 ~] # mogadm class modify files default --replpolicy "HostsPerNetwork(near=2)"
# 发现修改生效
[root@node1 ~] # mogadm class list
  domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
  files                default                   2        HostsPerNetwork(near=2) NONE
  files                index                     3        MultipleHosts() NONE
  images               default                   2        MultipleHosts() NONE
# 这里就实现了根据网段不同复制不同的class数量


注意：如果是多个tracker的话，每个tracker主机上都需要安装MogileFS::Network模块。



常见问题及解决方法：

如果遇到class的devcount始终为1，修改class的mindevcount也无效的话，可以设置如下：

1
2
3
4
5
6
7
[root@node1 ~] # perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.25
# 显示为0.25版本，这就会有问题
[root@node1 ~] # cpanm http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz
[root@node1 ~] # perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.23
# 降级为0.23的版本就能解决次问题了


到此，MogileFS， nginx-mogilefs高可用分布式文件系统配置完成。







     本文转自ljl_19880709 51CTO博客，原文链接：http://blog.51cto.com/luojianlong/1393547，如需转载请自行联系原作者








文章标签：
云数据库 RDS MySQL 版
关系型数据库
Perl
MySQL
应用服务中间件
存储
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
技术小胖子
目录
相关文章
刘牌
|
7月前
|
存储 负载均衡 应用服务中间件
分布式文件系统FastDFS
　FastDFS是一个开源的轻量级分布式文件系统，由阿里巴巴余庆大神开发，底层采用C语言，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
刘牌
95 0
流楚丶格念
|
存储 负载均衡 架构师
分布式存储FastDFS介绍
分布式存储FastDFS介绍
流楚丶格念
883 0
分布式存储FastDFS介绍
奔向技术的星辰大海
|
9月前
|
存储 监控 Linux
分布式文件系统Moosefs
MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个备份副本。对于访问的客户端或者用户来说，整个分布式网络文件系统集群看起来就像一个资源一样。
奔向技术的星辰大海
79 1
冰封三尺非一日之寒
|
8月前
|
网络协议 Linux 网络安全
搭建GFS分布式文件系统
搭建GFS分布式文件系统
冰封三尺非一日之寒
116 0
技术小阿哥
|
存储 数据安全/隐私保护
高可用集群之分布式文件系统（续一）
技术小阿哥
1210 0
技术小阿哥
|
存储 数据安全/隐私保护
高可用集群之分布式文件系统
技术小阿哥
1631 0
余二五
|
监控 Shell API
分布式文件mfs 高可用集群
余二五
1320 0
余二五
|
存储 MySQL 关系型数据库
分布式文件系统--MogileFS
余二五
1624 0
科技小先锋
|
Unix 应用服务中间件 nginx
分布式文件系统FastDFS部署
科技小先锋
1613 0
科技小先锋
|
Web App开发 存储 应用服务中间件
深入浅出分布式文件系统MogileFS集群
科技小先锋
1129 0

热门文章

最新文章

  • 1
    随机生成UserAgent的python库（fake-useragent库）
  • 2
    使用zxing识别一幅包含多个二维码的图片
  • 3
    阿里云的SLB，植入cookie和重写cookie有什么区别？
  • 4
    基于Flink的实时日志分析系统实践
  • 5
    如何在服务器上跑python程序
  • 6
    电池技术多年没有较大发展，成为移动设备最大制约
  • 7
    Spread for WinRT 7新功能使用指南
  • 8
    codeforces Soldier and Number Game（dp+素数筛选）
  • 9
    九度oj-1001-Java
  • 10
    Android:随笔——对页面的View进行截图
  • 1
    分解商业周期时间序列：线性滤波器、HP滤波器、Baxter滤波器、Beveridge Nelson分解等去趋势2
    9
  • 2
    分解商业周期时间序列：线性滤波器、HP滤波器、Baxter滤波器、Beveridge Nelson分解等去趋势法1
    9
  • 3
    灰色关联分析(Grey Relation Analysis,GRA)中国经济社会发展指标
    9
  • 4
    极值分析：分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列
    9
  • 5
    GARCH-DCC模型和DCC（MVT）建模估计
    8
  • 6
    ARIMA、ARIMAX、 动态回归和OLS 回归预测多元时间序列
    10
  • 7
    R语言预测期货波动率的实现：ARCH与HAR-RV与GARCH，ARFIMA模型比较
    10
  • 8
    spss modeler用决策树神经网络预测ST的股票
    9
  • 9
    K-means和层次聚类分析癌细胞系微阵列数据和树状图可视化比较
    8
  • 10
    matlab中使用VMD(变分模态分解)对信号去噪
    8

    • 相关课程

    更多
  • 分布式文件存储系统技术及实现
  • 高可用应用架构

    • 相关电子书

    更多
  • HBase 高可用HA
  • HBase 应用与高可用实践
  • 基于飞天的Lustre高可用、高性能架构解析

    • 相关实验场景

    更多
  • 基于EBS部署高性能的MySQL服务
  • 高可用应用架构
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4