什么是FastDFS

• FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
• FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载，通过 Tracker server 调度最终由 Storage server 完成文件上传和下载。
• Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务 器。
• Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上， Storageserver 没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将 storage 称为存储服务器。
  
  服务端两个角色:
• Tracker:管理集群，tracker 也可以实现集群。每个 tracker 节点地位平等。收集 Storage 集群的状态。
• Storage:实际保存文件 Storage 分为多个组，每个组之间保存的文件是不同的。每 个组内部可以有多个成员，组成员内部保存的内容是一样的，组成员的地位是一致的，没有 主从的概念。

文件上传流程

– 客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文 件的索引信息。文件索引信息包括:组名，虚拟磁盘路径，数据两级目录，文件名。

如：group1\M00/00/00/wKiZhVyFA5qAGkO7AAAeuN21vRw7968584

• 组名:文件上传后所在的 storage 组名称，在文件上传成功后有 storage 服务器返回， 需要客户端自行保存。
• 虚拟磁盘路径:storage 配置的虚拟路径，与磁盘选项 store_path*对应。如果配置了 store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。
• 数据两级目录:storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据 文件。
• 文件名:与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含:源存储 服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

文件下载流程

简易FastDFS架构

FastDFS安装

安装fastdfs依赖包

1. 解压缩libfastcommon-master.zip
2. 进入到libfastcommon-master的目录中
3. 执行 ./make.sh
4. 执行 sudo ./make.sh install

安装fastdfs

1. 解压缩fastdfs-master.zip
2. 进入到 fastdfs-master目录中
3. 执行 ./make.sh
4. 执行 sudo ./make.sh install

配置跟踪服务器tracker

1. sudo cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2. 在/home/python/目录中创建目录 fastdfs/tracker
   mkdir –p /home/python/fastdfs/tracker
3. 编辑/etc/fdfs/tracker.conf配置文件
   sudo vim /etc/fdfs/tracker.conf
   修改 base_path=/home/python/fastdfs/tracker

配置存储服务器storage

1. sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2. 在/home/python/fastdfs/ 目录中创建目录 storage
   mkdir –p /home/python/fastdfs/storage
3. 编辑etc/fdfs/storage.conf置文件
   sudo vim /etc/fdfs/storage.conf
   修改内容：

base_path=/home/python/fastdfs/storage
store_path0=/home/python/fastdfs/storage
tracker_server=自己ubuntu虚拟机的ip地址:22122

启动tracker 和 storage

第一次安装必须重启后执行该命令

sudo service fdfs_trackerd start
sudo service fdfs_storaged start

测试是否安装成功

1. sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
2. 编辑/etc/fdfs/client.conf配置文件
   sudo vim /etc/fdfs/client.conf
   修改内容：

base_path=/home/python/fastdfs/tracker
tracker_server=自己ubuntu虚拟机的ip地址:22122

3. 上传文件测试：
   fdfs_upload_file /etc/fdfs/client.conf 要上传的图片文件
   如果返回类似group1/M00/00/00/rBIK6VcaP0aARXXvAAHrUgHEviQ394.jpg的文件id则说明文件上传成功

安装nginx及fastdfs-nginx-module

1. 解压缩 nginx-1.8.1.tar.gz
2. 解压缩 fastdfs-nginx-module-master.zip
3. 进入nginx-1.8.1目录中
4. 执行sudo ./configure --prefix=/usr/local/nginx/ --add-module= fastdfs-nginx-module-master解压后的目录的绝对路径/src

sudo ./configure --prefix=/usr/local/nginx/ --add-module=/home/lindong/FastDFS/fastdfs-nginx-module-master/src
sudo ./make
sudo ./make install

5. 安装报错解决方法

• 解决PCRE,zlib,OpenSSL报错

# ./configure: error: C compiler cc is not found
# 解决办法 
sudo apt install g++

# ./configure: error: the HTTP rewrite module requires the PCRE library.
# 解决办法 
sudo apt install libpcre3 libpcre3-dev

# ./configure: error: SSL modules require the OpenSSL library.
# 解决办法 
sudo apt install openssl libssl-dev

# ./configure: error: the HTTP gzip module requires the zlib library.
# 解决办法 下载zlib-1.2.8.tar.gz 解压，http://www.zlib.net/
sudo ./configure
sudo make
sudo make install安装

# ./configure: error: the HTTP XSLT module requires the libxml2/libxslt
# 解决办法 
sudo apt-get install libxml2 libxml2-dev libxslt-dev

• 执行编译但是会报错，然后继续下一步

sudo ./configure --prefix=/usr/local/nginx/ --add-module=/home/python/FastDFS/fastdfs-nginx-module-master/src
sudo ./make

• cd.current_salt[0] = ~salt[0];错误

 * Linux has crypt_r(); "struct crypt_data" is more than 128K
    src/os/unix/ngx_user.c
src/os/unix/ngx_user.c: In function ‘ngx_libc_crypt’:
src/os/unix/ngx_user.c:36:7: error: ‘struct crypt_data’ has no member named ‘current_salt’
   36 |     cd.current_salt[0] = ~salt[0];
      |       ^
make[1]: *** [objs/Makefile:720：objs/src/os/unix/ngx_user.o] 错误 1
make[1]: 离开目录“/home/lindong/FastDFS/nginx-1.8.1”
make: *** [Makefile:8：build] 错误 2

# 解决办法 注释掉下面文件的36行 cd.current_salt[o]~salt[o];
sudo vim src/os/unix/ngx_user.c +36
/*cd.current_salt[o]~salt[o];*/

• 正常后使用以下命令进行安装

sudo ./make
sudo ./make install

6. sudo cp fastdfs-nginx-module-master解压后的目录中src下的mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf
7. sudo vim /etc/fdfs/mod_fastdfs.conf修改内容：

connect_timeout=10
tracker_server=自己ubuntu虚拟机的ip地址:22122
url_have_group_name=true
store_path0=/home/python/fastdfs/storage

8. sudo cp 解压缩的fastdfs-master目录中的http.conf /etc/fdfs/http.conf
9. sudo cp 解压缩的fastdfs-master目录中的mime.types /etc/fdfs/mime.types
10. sudo vim /usr/local/nginx/conf/nginx.conf
    在http部分中添加配置信息如下：

server {
            listen       8888;
            server_name  localhost;
            location ~/group[0-9]/ {
                ngx_fastdfs_module;
            }
            error_page   500 502 503 504  /50x.html;
            location = /50x.html {
            root   html;
            }
        }

11. 启动nginx

sudo /usr/local/nginx/sbin/nginx

使用python客户端上传测试.

1. workon django_py3
2. 进入fdfs_client-py-master.zip所在目录
3. pip install fdfs_client-py-master.zip
4. 开始测试

>>> from fdfs_client.client import Fdfs_client
>>> client = Fdfs_client('/etc/fdfs/client.conf')
>>> ret = client.upload_by_filename('test')
>>> ret
{'Group name':'group1','Status':'Upload successed.', 'Remote file_id':'group1/M00/00/00/
    wKjzh0_xaR63RExnAAAaDqbNk5E1398.py','Uploaded size':'6.0KB','Local file name':'test'
    , 'Storage IP':'192.168.243.133'}