租用帮助

DFS 分布式存储系统是什么?
2023-04-28 11:37:22
阅读()
来源:互联数据
摘要:     DFS 分布式存储系统是什么?分布式文件系统(Distributed File System)是一个软件/软件服务器,采用全对称无中心化的架构设计的文件系统,这个软件可以用来管理文件。这些服务器节点通过网络相连构成一个庞大的

DFS 分布式存储系统是什么?分布式文件系统(Distributed File System)是一个软件/软件服务器,采用全对称无中心化的架构设计的文件系统,这个软件可以用来管理文件。这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群,这些服务器都用于存储文件资源,通过分布式文件系统来管理这些服务器上的文件。


DFS 分布式存储服务器http://www.hkt4.com/dedicated/hk.html


一、DFS分布式存储系统工作原理


DFS支持独立DFS名称空间、具有一个主机服务器的名称空间和具有多个主机服务器和高适用性的基于域的名称空间。基于域的命名空间的DFS拓扑数据存储在Active Directory中。数据包括DFS根、DFS链接和DFS目标。每个DFS树结构都有一个或多个根目标。根目标是运行DFS服务的主机服务器。


一个DFS树结构可以包含一个或多个DFS链接。每个DFS链接指向网络上的一个或多个共享文件夹(这些文件夹称为目标)。可以从DFS名称空间中添加、修改和删除DFS链接。当用户访问DFS链接时,DFS服务器根据客户端的站点信息选择一组目标,客户端访问在集合中第一个可用的目标。以上操作有助于在可能的目标之间分发客户机请求,并且即使一些服务器出现故障,也可以为用户提供持续的可访问性。

DFS 分布式存储系统

现代分布式文件系统的特征


?高IOPS/高小文件性能:一些DFS系统支持非常高的IOPS,以提高小文件性能。

?跨协议锁定:一些DFS系统,当文件在被另一个协议修改,允许一个协议锁定该文件。该特性禁止文件被多主机访问损坏,即使是在使用不同协议访问文件时也是如此。

?云驻留服务:一些DFS解决方案可以运行在公共云环境中。也就是说,它们的文件数据存储、元数据服务和任何监控/管理服务都运行在公共云提供商中。文件数据访问可以在同一个云AZs内进行,也可以跨云区域进行,甚至可以在访问云数据的前提下进行。

?高实用性:一些DFS系统还通过跨多个站点、AZs或服务器,分割和复制其控制、元数据和文件数据存储系统来支持非常高的可用性。

?数据缩减:一些DFS解决方案支持数据压缩或重复数据删除,旨在减少存储文件数据所需的物理数据存储空间。

?静态数据加密:一些DFS系统提供静态文件数据和元数据的加密。

?单个名称空间:一些DFS系统提供了将多个文件系统/共享连接到单个名称空间的能力,该名称空间可用于访问所服务的任何文件目录。

?地理围栏:一些DFS系统可以限制或限制数据驻留和访问的物理位置。支持GDPR和其他对数据移动的法律限制可能需要此功能。


二、DFS 分布式存储系统的种类


分布式存储包含传统意义上的分布式文件系统、分布式块存储和分布式对象存储,还包括分布式数据库和分布式缓存等,根据其架构分为:


A、中间控制节点架构:以 HDFS 为代表,部分命名节点存放管理数据,另一部分数据节点存放业务数据。具有组织化明确的特点。


B、完全无中心架构—计算模式:以 Ceph 为代表的架构是其典型的代表,客户端通过设备映射关系通过计算方式,明确写入的位置,从而达到客户端与存储节点的直接通信。


C、完全无中心架构— 一致性哈希:以 Swift 为代表的架构是其典型的代表,通过将设备制定为哈希环,然后通过数据名称计算出对应的哈希值,从而映射到哈希环的某个位置实现数据定位


三、DFS 分布式存储系统有以下几个优势和特色:


1、DFS允许多个用户访问或存储数据:全对称无中心化的架构设计,每个节点既是数据的存储节点,也是元数据管理节点,不需要配置单独的元数据管理服务器,也不会存在元数据管理服务器性能瓶颈问题的出现;


2、系统可以弹性扩展至数百个集群节点,实现超大的存储规模,单一文件系统存储容量不低于100PB,提高了改变数据大小的能力,也提高了数据交换的能力。满足大容量数据的存储需求;


3、支持标准POSIX接口、NFS接口、CIFS接口、FTP接口,可完整支持各类数据的访问模式;对于部分特定的应用访问模式,通过API级的接口调用,进行软件的二次开发;


4、提供多副本和纠删码两种数据保护模式,用户可根据应用类型、数据重要性、性能、成本等选择容量管理模式,实现数据高可用保护和存储服务高可用保护;


5、为了便于系统容量的扩容,InfoStorage DFS系统可实现不停机的在线扩展,大大缩减或消除计划内的停机时间;


6、它允许远程共享数据:多样化的硬件平台支持,可灵活支持各类标准x86平台硬件,同时也可以支持国产化平台;


7、提供可堆叠模块化设计的机制,基于这种机制可以高效简便地扩展系统的功能,提高了文件的可用性、访问时间和网络效率。;


8、分布式文件系统提供了数据的透明度:支持整合光纤SAN盘阵,可有效降低前端业务访问存储的延迟并利旧SAN盘阵。


DFS缺点:


在分布式文件系统中,节点和连接需要安全保证,在从一个节点移动到另一个节点时,有可能丢失网络中的消息和数据。

分布式文件系统的数据库连接比较复杂,与单个用户系统相比,分布式文件系统中数据库的处理也不容易。

如果所有节点都试图同时发送数据,就有可能发生超载,可能出现访问非缓存部分数据所需的网络延迟。


最后,DFS系统提供了对相同数据的全局访问,这是很难以任何其他方式有效实现的,而且让DFS系统操作更简单。因此,多个站点需要访问相同的数据, DFS系统将是合适之选。互联数据企业级数据存储系统基于新一代存储技术,全线支持SSD、16G FC协议、并实现FC/iSCSI/NAS传输协议的统一。


0

上一篇:搭建阿里云国际版应该避免哪些失误?
下一篇:海外电商:如何在AWS上托管SSR/SSG/ISR?
HKT4为您的网站提供全球IDC资源
立即免费测试