按分类归档:FastDFS

fastdfs+nginx配置

这里只是将原先的fastdfs+apache改为nginx,之前的搭建过程可参考 : http://www.rootop.org/pages/2431.html 接着上次的配置环境,现在将apache改为nginx。 在两台storage服务器上配置nginx和fastdfs-nginx模块: storage_s1: 下载pcre、nginx、fastdfs的nginx模块,编译: 配置nginx: [root@centos-6.5-x64 ~]#vi /usr/local/nginx/conf/nginx.conf 在server段中添加: 配置etc/fdfs/mod_fastdfs.conf配置文件(编译时会自动拷贝过去): [root@centos-6.5-x64 fdfs]#grep -v “#” mod_fastdfs.conf | grep -v “^$” connect_timeout=2 network_timeout=30 base_path=/tmp load_fdfs_parameters_from_tracker=true storage_sync_file_max_delay = 86400 use_storage_id = false storage_ids_filename = storage_ids.conf tracker_server=192.168.1.60:22122 storage_server_port=23000 group_name=group1 url_have_group_name = … 继续阅读

发表评论

分布式文件系统FastDFS原理介绍

什么是FastDFS? FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务。 FastDFS架构: FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。 tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。 storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。 client:客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。 Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。 Storage Server:存储服务器(又称数据服务器)。 存储节点采用了分组(group)的方式。存储系统由一个或多个group组成,group与group之间的文件是相互独立的, 所有group的文件容量累加就是整个存储系统中的文件容量。一个group可以由一台或多台存储服务器组成,一个group下的存储服务器中的文件都是相同的,group中的多台存储服务器起到了冗余备份和负载均衡的作用(一个组的存储容量为该组内存储服务器容量最小的那个,不同组的Storage server之间不会相互通信,同组内的Storage server之间会相互连 接进行文件同步)。 在group中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。 当存储空间不足或即将耗尽时,可以动态添加group。只需要增加一台或多台服务器,并将它们配置为一个新的group, 这样就扩大了存储系统的容量。 FastDFS两个角色:Tracker server和Storage server。Tracker server作为中心结点,其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息,不记录文件索引信息,占用的内存量很少。 另外,客户端(应用)和Storage server访问Tracker server时,Tracker server扫描内存中的分组和Storage server信息,然后给出应答。由此可以看出Tracker server非常轻量化,不会成为系统瓶颈。 FastDFS中的Storage … 继续阅读

发表评论

centos6.5下搭建fastdfs分布式存储

fastDFS下载地址:http://code.google.com/p/fastdfs/downloads/list libevent官网: http://libevent.org/ 目前最新版:https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz 目前最新版:http://fastdfs.googlecode.com/files/FastDFS_v4.06.tar.gz 系统环境: fastdfs_tracker       centos6.5_64 ip:192.168.1.50 fastdfs_storage_s1 centos6.5_64 ip:192.168.1.51 fastdfs_storage_s2 centos6.5_64 ip:192.168.1.52 fastdfs_client           centos6.5_64 ip:192.168.1.54 selinux关闭,iptables关闭。 配置tracker: 先装libevent,后fastdfs fastdfs的配置文件路径默认在 /etc/fdfs/ [root@centos-6.5-x64 ~]#cd /etc/fdfs/ [root@centos-6.5-x64 fdfs]#ll 总用量 56 -rw-r–r– 1 … 继续阅读

发表评论