存储技术的总结

存储技术的总结集中式存储集中式存储带来管理上的便利,在利用率、扩展性、可用性、数据可靠和安全性、备份恢复和容灾上有很大的优势。目前的存储技术主要分3类:DAS(Direct Attached Storage,直连存储)、NAS(Network Attached Storage网络存储)和SAN(Storage Area Network存储区域网络)。DAS是块级存储服务,在结构上存储直接与服务器连接,中间没有中转机构,代表产品是磁盘阵列。磁盘/阵列与服务器其它硬件之间通过SATA(Serial Advanced Technology Attachment)/IDE(Integrated Drive Electronics)/SCSI(Small Computer System Interface)等接口进行连接,直接插在主板/RAID卡,或通过某种延长线(如光纤)外置,只在服务器就近范围内,如同一机柜或多个邻近机柜使用。NAS是文件级存储服务,在结构上通过网络与服务器连接。NAS具备文件系统处理能力,NAS和服务器之间,使用的协议包括CIFS(Common Interface File System,windows的网上邻居和共享)/SAMBA(SMB,Server Message Block)、NFS(Network File System)、FTP(File Transfer Protocol)等。NAS产品通常是软硬件一体的产品,包括存储和管理系统。服务器与NAS之间通过普通的TCP/IP网络连接,没有特别的网络硬件需求,可在广域网上使用。SAN是针对块级别的提供存储服务,在结构上通过高速网络与服务器连接。SAN具备DAS和NAS的优点:在体系结构上采用DAS的块级服务,在扩展能力和管理上采用与NAS的网络集中模式。SAN使用FC(Fibre Channel,光纤通道)、FCIP(FC over IP)、iSCSI(Internet SCSI)、Infiniband等协议与服务器连接,使用Gbps级别以上的网络。根据不同的协议和接口,SAN可分类为FC SAN(FC)、IP SAN(FCIP、iSCSI)和IB SAN(Infiniband)。受网络等因素限制,SAN可在数据中心内使用。SAN在实施时,除了存储设备,还需要一系列的软硬辅助设备和架构设计。包括:
专门的存储网络:存储网络应与业务网络分离,为防止单点故障而采用多路/冗余设计,网络应经严格压力测试,依据业务需要,延迟在10毫秒级别内,单服务器带宽在100Mbps以上,才能满足一般的业务需求,高IO业务要求更高。
专门的交换机:FC需要使用专门的交换机;服务器采用iSCSI,存储采用FC-SAN,需要具备iSCSI-FC转换功能的交换机;Infiniband需要使用专门交换机。
专门的协议软件/硬件:块级数据传输涉及到大量小数据包,处理FC/iSCSI/Infiniband等协议需要专门软件、硬件。在服务器端,需要HBA(Host Bus Adapter)卡,HBA卡有存储和计算能力,作用是将内部总线协议(如PCI)与FC/iSCSI/Infiniband等协议进行转换,使得对访问SAN与访问普通的硬盘一样,不对服务器增加额外的计算负担。IP-SAN还可以软件+普通硬件方式实现:iSCSI可采用initiator软件和普通网卡实现,initiator软件模拟出iSCSI卡,再通过普通Gbps网卡发送iSCSI数据,这种方式投入成本低,占用CPU高,在低IO环境下使用;iSCSI还可采用initiator软件和TOE(Traffic Offload Engine)网卡,TOE带存储和处理能力,将TCP/IP流量的处理工作转到网卡上处理,降低CPU的负载,iSCSI层的工作仍然由于CPU处理。Infiniband是交换式(PCI为共享式,多个部件共享总线)的总线结构,包括HCA(Host Channel Adapter,连接内存控制器和TCA),TCA(Target Channel Adapter,连接IO设备和HCA,把网卡、SCSI控制器等数据发给HCA),IB Link(HCA和TCA之间的部分,如光纤、光纤交换机),它是独立的完整交换式IO子系统。
多路径软件:为防止单点故障,服务器备有多个接口硬件,即服务器到SAN之间有多条路径(物理上可为单一存储或多个存储)。路径如何选择,IO流量如何分配,路径故障时如何切换,是由多路径软件来处理。SAN上的功能:
块设备LUN(logical Unit Number):SAN拿出一些存储容量,向服务器提供一个逻辑块设备(硬盘),这个设备通过LUN号来识别。LUN的可用容量大小受服务器系统的文件系统限制(FAT 4GB,FAT32 32GB-2TB,MBR NTFS 2TB,GPT NTFS 16TB,ext3根据块大小2-32TB,ext4 1EB)。LUN的数量受系统限制,在windows上单HBA卡支持8个总线(bus),总线上支持128个目标(target),目标上可识别254个LUN,理论上单个HBA卡最大支持260996个LUN。
镜像:从LUN拷贝建立相同的镜像。
快照:记录当前LUN状态,可回滚到此状态。
备份:通过LAN备份到其它SAN,备份到其它数据中心。分布式存储一开始时分布式存储被称为穷人的存储方案,但现在因算法和网络的发展,已成为云计算基础设施中主要的存储方式。基本思想:将存储的数据同时在k个服务器上保存n份,以解决单点失败的问题。分布式存储的核心是算法,包括元数据管理、一致性管理、再均衡、分布式算法等。在分布式存储中,一般把硬件看作是不可靠的通用介质,需要通过多副本的方式,在概率上减少出现存储问题的可能性。以ceph为例。ceph是统一存储的方案,支持块、文件、对象存储。ceph的核心是RADOS(reliable automatic distributed object store),通过少量的几个MAP和CRUSH算法来计算数据的位置。ceph与其它存储方式不一样的是,它更依赖于计算的方式,而不是通过查表的方式,来确定数据的位置,这使得尽可能地去掉对保存元数据的中心结点的依赖(文件存储仍然需要元数据以加快检索速度)。
ceph的组成:OSD(object store demond),MDS(metadata server),Monitor。Monitor维护存储集群的状态表,包括monitor map、osd map、placement group map、CRUSH map。OSD保存数据,处理数据复制、备份、再均衡等,并向monitor提供监控信息,集群中至少需要两个OSD(在2副本配置下)。MDS保存ceph文件存储的元数据信息。

相关内容推荐