当前位置 : 主页 > 编程语言 > 其它开发 >

FastDFS安装和简介详细总结

来源:互联网 收集:自由互联 发布时间:2022-05-22
1、fastDFS简介 1 FastDFS是用c语言编写的一款开源的分布式文件系统。 2 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标, 3 使用
1、fastDFS简介
1 FastDFS是用c语言编写的一款开源的分布式文件系统。
2 FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,
3 使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
2、fastDFS架构
1 FastDFS架构包括 Tracker server和Storage server。
2     客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传和下载。
3     Tracker server作用是负载均衡和调度,
4         通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。
5         可以将tracker称为追踪服务器或调度服务器。
6     Storage server作用是文件存储,
7         客户端上传的文件最终存储在Storage服务器上,
8         Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。
9         可以将storage称为存储服务器。

如下图:

3、Tracker 集群
1 FastDFS集群中的Tracker server可以有多台,Tracker server之间是相互平等关系同时提供服务,
2 Tracker server不存在单点故障。
3 客户端请求Tracker server采用轮询方式,如果请求的tracker无法提供服务则换另一个tracker。
4、Storage集群
 1 Storage集群采用了分组存储方式。
 2 storage集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。
 3 一个组由一台或多台存储服务器组成,组内的Storage server之间是平等关系,
 4 不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步,
 5 从而保证同组内每个storage上的文件完全一致的。
 6 一个组的存储容量为该组内存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。
 7 采用分组存储方式的好处是灵活、可控性较强。
 8 比如上传文件时,可以由客户端直接指定上传到的组也可以由tracker进行调度选择。
 9 一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。
10 当系统容量不足时,可以增加组来扩充存储容量(横向扩容)
5、Storage状态收集
1 Storage server会连接集群中所有的Tracker server,定时向他们报告自己的状态,
2 包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。
6、文件上传流程

1 客户端上传文件后存储服务器将文件ID返回给客户端,
2 此文件ID用于以后访问该文件的索引信息。
3 文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

 1  组名:
 2     文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。 
 3 虚拟磁盘路径:
 4     storage配置的虚拟路径,与磁盘选项store_path*对应。
 5     如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。
 6 数据两级目录:
 7     storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
 8 文件名:
 9     与文件上传时不同。
10     是由存储服务器根据特定信息生成,
11     文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
7、项目架构图

8、安装FastDFS(需要一天的时间)
1 安装fastDFS之前需要依赖环境:
2 FastDFS使用c语言开发,需要使用gcc编译,需要安装gcc。
3 需要安装fastdfs依赖类库:libevent
8.1、安装fastDFS依赖环境 8.1.1、安装gcc

命令:命令:yum -y install gcc

8.1.2、安装libevent

命令:yum –y install libevent libevent-devel

8.1.3、安装libfastcommon依赖环境
 1 第一步:导入libfastcommon到usr/local/Hadoop/libfastcommonV1.0.7.tar.gz
 2     使用rz命令导入
 3 第二步:解压
 4     tar -zxvf libfastcommonV1.0.7.tar.gz
 5 第三步:编译
 6     命令:./make.sh
 7 第四步:安装
 8     命令:./make.sh install
 9 第五步:拷贝usr/lib64目录下:libfastcommon.so文件到usr/lib下
10     拷贝命令:cp usr/lib64/ libfastcommon.so /usr/lib
11     注意:
12         libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下,
13         由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。

要拷贝的文件如下:

 

 

 ****************************************************手动安装fastDFS*************************START******************************

8.2、安装fastDFS
 1 第一步:导入fastDFS安装包
 2     使用rz命令导入
 3 
 4 第二步:解压
 5     tar -zxvf FastDFS_v5.05.tar.gz
 6 
 7 第三步:编译安装
 8     编译命令:./make.sh
 9     安装命令:./make.sh install
10 
11 第四步:拷贝FastDFS/conf下面所有配置文件到etc/fdfs/
12     拷贝命令:[root@localhost conf]# cp * /etc/fdfs/
13 
14     [root@localhost fdfs]# ll
15     total 104
16     -rw-r--r--. 1 root root 23981 May 13 18:34 anti-steal.jpg
17     -rw-r--r--. 1 root root  1461 May 13 18:34 client.conf
18     -rw-r--r--. 1 root root   858 May 13 18:34 http.conf
19     -rw-r--r--. 1 root root 31172 May 13 18:34 mime.types
20     -rw-r--r--. 1 root root  7829 May 13 18:34 storage.conf
21     -rw-r--r--. 1 root root  7829 May 13 18:31 storage.conf.sample
22     -rw-r--r--. 1 root root   105 May 13 18:34 storage_ids.conf
23     -rw-r--r--. 1 root root  7102 May 13 18:34 tracker.conf
24     -rw-r--r--. 1 root root  7102 May 13 18:31 tracker.conf.sample
8.3、安装tracker
 1 安装tracker,由于tracker运行程序就是fasfdfs,fastDFS安装成功,只需要修改etc/fdfs/tracker.conf配置文件即可。
 2 
 3 第一步:修改base_path存储基本路径
 4     base_path=/home/fastdfs //fastdfs需要手动创建,fastdfs在home目录下
 5 
 6 第二步:修改存在组
 7     store_group=group1
 8     
 9 第三步:在home目录下创建fastdfs
10     创建命令:mkdir fastdfs
11     
12 第三步:测试启动tracker
13     测试是否安装成功
14     运行命令:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
15     
16     drwx------. 4 mine   mine   4096 May  5 02:22 mine
17     [root@localhost home]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
18     [root@localhost home]# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
19     waiting for pid [9077] exit ...
20     starting ...
8.4、安装storage
 1 由于storage和tracker运行的都是fastDFS程序,
 2 每一台服务器都部署一台fasfDFS,
 3 一台服务器是tracker,一台是storage。
 4 此机器:tracker和fastDFS都是使用同一个程序。只需要配置storage配置文件即可。
 5 
 6 配置storage.conf
 7     第一步:配置组名
 8         group_name=group1 //必须和tracker的组名相同。
 9         
10     第二步:配置基本存储路径base_path
11         base_path=/home/fastdfs
12     
13     第三步:配置文件存储路径
14         store_path0=/home/fastdfs/storage_path //storage_path需要手动创建
15         #store_path1=/home/yuqing/fastdfs2
16         如果有多个存储路径,就可以依次往下顺延。
17         
18     第四步:创建文件存储路径storage_path
19         /home/fastdfs此目录下面创建
20         命令:mkdir storage_path
21         
22         [root@localhost fastdfs]# mkdir storage_path
23         [root@localhost fastdfs]# ll
24         total 12
25         drwxr-xr-x. 2 root root 4096 May 13 18:45 data
26         drwxr-xr-x. 2 root root 4096 May 13 18:43 logs
27         drwxr-xr-x. 2 root root 4096 May 13 18:54 storage_path
28     
29     第五步:修改连接tracker服务器地址
30         tracker_server=192.168.66.66:22122
31         
32     第六步:启动storage测试
33         启动命令:
34         [root@localhost fdfs]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
35         [root@localhost fdfs]# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
36         waiting for pid [9132] exit ...
37         starting ...
8.5、测试图片上传
 1 Tracker和storage都已经安装完成,使用命令测试文件上传:
 2 FastDFS提供一个文件上传命令:usr/bin/fdfs_test 测试文件上传
 3 测试上传需要连接tracker服务器,连接storage服务器。
 4 因此需要指定一个配置文件:client.conf配置文件,通过Client.conf连接tracker服务器。
 5 
 6 第一步:修改Client.conf
 7     # the base path to store log files
 8     base_path=/home/fastdfs
 9 
10     # tracker_server can ocur more than once, and tracker_server format is
11     #  "host:port", host can be hostname or ip address
12     tracker_server=192.168.66.66:22122
13 
14 第二步:测试命令:
15     在 /etc/fdfs 目录下执行下面的测试命令:
16     /usr/bin/fdfs_test client.conf upload anti-steal.jpg
17     
18     解析:
19         使用测试程序fdfs_test 的命令 upload命令上传anti-steal.jpg图片。
20     * example file url: http://192.168.66.66/group1/M00/00/00/wKhCQlc1uJOAYKOhAABdrZgsqUU338_big.jpg
21     * storage_upload_slave_by_filename
22     * group_name=group1, remote_filename=M00/00/00/wKhCQlc1uJOAYKOhAABdrZgsqUU338_big.jpg
23     * source ip address: 192.168.66.66
24     * file timestamp=2016-05-13 19:20:51
25     * file size=23981
26     * file crc32=2553063749
27     * example file url: http://192.168.66.66/group1/M00/00/00/wKhCQlc1uJOAYKOhAABdrZgsqUU338_big.jpg
28 
29 思考:
30     图片已经上传成功,返回图片地址?浏览器是否能访问?
31     浏览器访问任何资源都必须遵循http协议。
32     Nginx作为http服务器,通过nginx访问分布式图片服务器。
33     
34 也就是说:nginx访问fastDFS。需要nginx和FASTDFS整合。
9、整合nginx和FASTDFS

FastDFS-nginx-module整合nginx和fastDFS

9.1、安装FastDFS-nginx-module
1 第一步:导入FastDFS-nginx-module到usr/local/Hadoop
2     fastdfs-nginx-module_v1.16.tar.gz
3 第二步:解压fastdfs-nginx-module_v1.16.tar.gz
4     命令:tar –zxvf fastdfs-nginx-module_v1.16.tar.gz
5 第三步:修改/home/canglang/fasfDFS-common/fastdfs-nginx-module/src/Config
6     修改路径

 1  注意:
 2     去掉错误路径,usr/local/include改为usr/include
 3         
 4 第四步:拷贝fastdfs-nginx-module/src/mod_fastdfs.conf到etc/fdfs
 5     在/home/canglang/fasfDFS-common/fastdfs-nginx-module/src目录下执行
 6     cp mod_fastdfs.conf /etc/fdfs/
 7     
 8 第五步:修改mod_fastdfs.conf
 9     * base_path=/home/fastdfs/storage_path //此处必须是存储路径
10     * tracker_server=192.168.66.66:22122
11     * group_name=group1 //和前面配置组名保持一致
12     * store_path0=/home/fastdfs/storage_path //M00
13     * url_have_group_name = true //允许使用组名
14     
15 第六步:拷贝usr/lib64目录下库文件libfdfsclient.so
16     拷贝usr/lib64/libfdfsclient.so 库文件 到 usr/lib目录下。
17     拷贝命令:cp /usr/lib64/libfdfsclient.so /usr/lib
9.2、整合
 1 需要把module添加nginx中。通过设置安装参数方式添加模块。
 2 首先在var目录下创建temp目录,在temp目录下创建nginx目录
 3 参数设置:在nginx的解压目录下执行
 4     ./configure \
 5     --prefix=/home/canglang/nginx/nginx-install \
 6     --pid-path=/var/run/nginx/nginx.pid \
 7     --lock-path=/var/lock/nginx.lock \
 8     --error-log-path=/var/log/nginx/error.log \
 9     --http-log-path=/var/log/nginx/access.log \
10     --with-http_gzip_static_module \
11     --http-client-body-temp-path=/var/temp/nginx/client \
12     --http-proxy-temp-path=/var/temp/nginx/proxy \
13     --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
14     --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
15     --http-scgi-temp-path=/var/temp/nginx/scgi \
16     --add-module=/home/canglang/fastdfs-nginx-module/src
17 
18 需要从新编译安装:
19     在nginx的解压目录下执行
20     Make 
21     Make install
22     
23 修改nginx配置文件nginx.conf配置文件:
24     http {
25         include       mime.types;
26         default_type  application/octet-stream;  
27         sendfile        on;
28         keepalive_timeout  65;
29         server {
30             listen       80;
31             server_name  192.168.66.66;
32             location /group1/M00/ {
33                 #root   html;
34                 #index  index.html index.htm;
35                 ngx_fastdfs_module;
36             }
37             error_page   500 502 503 504  /50x.html;
38             location = /50x.html {
39                 root   html;
40             }
41         }
42     }
9.3、重启服务
1 fastDFS:
2 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
3 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
4 nginx:
5 cd /home/canglang/nginx/nginx-install/sbin/
6 ./nginx start
7 关闭防火墙 

****************************************************手动安装fastDFS*************************END******************************

 

10、图片服务器(使用安装版本)
 1 直接在虚拟机中导入即可
 2 选择:I moved it –不需要进行设置,使用原来mac地址。
 3 选择:I copy it --? 生成新MAC地址。生成新的网卡eth1
 4     需要eth1网卡修改为eth0网卡:
 5     修改:/etc/udev/rules.d/70-persistent-net.rules
 6     打开:上面配置文件,发现有2个网卡;
 7     #SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:b5:e3:64", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
 8     SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:b5:e3:66", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
 9 修改网卡配置:
10     vim /etc/sysconfig/network-scripts/ifcfg-eth0
11     DEVICE=eth0
12     TYPE=Ethernet
13     *UUID=bb6c530a-6983-4a14-9883-7f077f2172bc //删除
14     ONBOOT=no
15     NM_CONTROLLED=yes
16     BOOTPROTO=none
17     *HWADDR=00:0c:29:b5:e3:66
18     IPADDR=192.168.66.66
19     PREFIX=24
20     GATEWAY=192.168.66.2
21     DEFROUTE=yes
22     IPV4_FAILURE_FATAL=yes
23     IPV6INIT=no
24     NAME="System eth0"
25     DNS1=219.141.140.10
11、设置 11.1、设置桌面启动
1 第一次导入是以黑窗口的方式启动的
2     用户名:root
3     密码:itcast
4 cd /etc
5 vim inittab
6 将最下面的一行中的3改成5,保存
7 reboot重启
11.2、设置网络
1 右上角 小电脑图标--右键--设置网络即可
11.3、设置连接fastdfs是ip
 1 fastDFS安装完成后会在/etc/fdfs下生成配置文件
 2 
 3 anti-steal.jpg
 4 client.conf ---客户端的配置文件
 5 client.conf.sample
 6 http.conf
 7 mime.types
 8 mod_fastdfs.conf ---nginx访问fastDFS的配置文件
 9 storage.conf ---存储的配置文件
10 storage.conf.sample
11 storage_ids.conf
12 tracker.conf ---调度者的配置文件
13 tracker.conf.sample
11.4、修改ip
1 storage.conf
2 mod_fastdfs.conf
3 client.conf
4 这三个文件中都需要修改ip
5 tracker_server=192.168.254.67:22122
11.5、查找图片存储路径
1 storage.conf配置文件中store_path0=/home/fastdfs/store_path0
2 这是路径:/home/fastdfs/store_path0/data/00/00
11.6、重启
1 fastdfs安装完成后会在/usr/bin目录下生成一个启动命令
2 启动:
3     /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
4     执行/usr/bin/目录下的fdfs_trackerd启动命令,加载/etc/fdfs/下面的tracker.conf配置文件
5     
6     /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
7     执行/usr/bin/目录下的fdfs_storaged情动命令,加载/etc/fdfs/下面的storage.conf配置文件
12、测试图片上传 12.1、上传
1 cd /etc/fdfs/
2 /usr/bin/fdfs_test client.conf upload anti-steal.jpg
3 执行/usr/bin/目录下的fdfs_test测试命令,加载client.conf配置文件,upload  图片名称

12.2、访问

12.3、查看图片上传到路径
1 cd /home/fastdfs/store_path0/data/00/00
13、设置开机自动启动

 

更换电脑后切换fastDFS中配置的ip
 1 图片测试上传和配置文件的路径:/etc/fdfs
 2     storage.conf     tracker_server=192.168.66.66:22122
 3     client.conf     tracker_server=192.168.66.66:22122
 4 
 5 重启服务:
 6     /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
 7     /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
 8 
 9 测试图片上传:
10     在 /etc/fdfs 目录下执行下面的测试命令:    /usr/bin/fdfs_test client.conf upload anti-steal.jpg
11     会返回一个全路径: http://192.168.174.129/group1/M00/00/00/wKiugVtAcVCAIZxsAABdrZgsqUU567_big.jpg
12 
13 
14 整合nginx后 
15     修改/etc/fdfs   mod_fastdfs.conf    tracker_server=192.168.66.66:22122
16     修改nginx.con配置文件中的服务ip
17 
18 启动nginx:
19     /home/canglang/nginx/nginx-install/sbin
20     ./nginx
21 
22 访问:http://192.168.174.129/group1/M00/00/00/wKiugVtAcVCAIZxsAABdrZgsqUU567_big.jpg
1 nginx启动时报这个错:
2     [canglang@localhost sbin]$ sudo ./nginx
3     ngx_http_fastdfs_set pid=2807
4     [canglang@localhost sbin]$ nginx: [emerg] open() "/var/run/nginx/nginx.pid" failed (2: No such file or directory)
5 解决方案:
6     修改/conf/nginx.conf配置文件
7     将#pid logs/nginx.conf的注释放开
8     修改成自己定的路径就行

 

上一篇:渗透测试之本地文件包含(LFI)
下一篇:没有了
网友评论