分布式文件和并行文件系统的特点 盘点一下这些常见的分布式文件系统

大数据最底层的内容是存储。只有将数据存储在可以高效访问的分布式系统中，才能提高工作效率。今天，我们来看看这些常见的分布式文件系统：

光泽

Lustre是一个非常安全的大规模分布式文件系统，最早由CFS(Cluster File System Inc)开发，最终由CFS、惠普和Intel在2003年发布了第一版，至今已经非常成熟。它的存储容量通常以PB起步，支持的节点数量也可以达到万级。但对设备有特殊要求。

HDFS

HDFS是Hadoop内置的分布式文件系统，之前已经介绍过。HDFS最大的优势就是价格低廉，所以也是应用广泛。而它的高可靠性和高容错性也让用户非常信任它。虽然HDFS的存储水平在PB以上，但是对于小文件太多的情况，HDFS并不能很好的支持。

QFS

QFS和HDFS一样，旨在解决高效有序地读写大量数据的问题。但QFS在性能上优于HDFS，读写效率综合提升超过60%。目前QFS还比较小，没有经过大量的使用测试，所以不能用于大规模的生产环境。

GlusterFS

GlusterFS也是一个PB级的集群文件系统，其思想是将集群中所有服务器的存储空间汇集成一个大型网络系统。这样最大的特点就是没有中心，不会出现单点故障。

阿卢西奥

Alluxio是第一个基于内存的分布式文件系统，所以它对应的速度会比普通的分布式文件系统快很多。例如，HDFS比它慢几百倍。而且Alluxio和Spark也有很好的互动。最重要的是Alluxio是中国人开发的，文档全是中文，对于长期被英文文档困扰的朋友来说绝对是个好消息。

Ceph

Ceph还是一个分布式文件系统，没有单点故障。Ceph的每个节点都有少量的资源来计算节点的数据信息，从而实现了优秀的负载均衡。

PVFS

PVFS是一个并行虚拟文件系统，可以很好地支持linux上原有的命令和工具，如rm、dd、cat等。但是PSFS是单一管理节点，所以存在单点故障，启动后无法灵活修改。