行情频道: 行情 / 知识 / 新股 / 要闻 / 基金 /

存算分离技术介绍:

数据处理需要计算设备和存储设备。传统存储是集存算于一体的部署策略。数据在本地领域的优点是数据离开 CPU 相对较近,能够快速读写数据;缺点是计算和存储资源绑定,不利于大数据时代的数据管理。而且可能会出现可靠性问题,因为计算和存储都在一起,所以服务器问题会导致数据问题。当地数据存在时,一般采用一主多备。如果要保持数据一致性,需要大量的数据同步。存算一体化的缺点:1)可靠性不好;2)同步程序复杂;3)资源消耗大;4)数据利用效率低。

存算分离是大势所趋。常见的计算由服务器完成,数据通过集中、分布式或其他形式存储,特别是在大数据中。AI 时代的数据量迅速膨胀,因此采用了分离架构。在分离结构下,计算和存储可以以最好的形式进行,如集群或分布式计算;数据也可以以最有利的方式存储,结构化、非结构化、分布式,提高数据读写效率,减少资源占用,提高数据安全。优点:可靠性提高、资源灵活分配、专业灾难容忍、数据再利用。

典型的产品是企业的外部存储设备,现有的主流制造商有华为、浪潮、同一、新华社。

Q:存算分离技术难点?为什么以前不用?

A:以前数据量小,存算一体化方便,计算和存储非常接近,集中架构简单。

存算分离的难点:1)数据量需要外部,数据需要网络,早期网络带宽低,网络没有服务器内部总线快,外部读写效率低;2)存储介质不如现在好 SSD的性价比,以前 SSD 很难规模化,只有最热的数据使用系统盘,大量的数据使用机械硬盘,导致可靠性问题。外部机械硬盘故障率大,整体可靠性降低;3)当时没有使用 MPP 包括大数据在内的分布式架构 Hadoop 在数据到达时,架构可以支持操作更大的数据 PB 以后必须存算分离,层层分离,专人管理。

Q:冷数据是否分离?热数据仍然集成管理?

A:对。数据一般分为冷热温三种,最特殊的数据一般放在服务器内存中,甚至放在服务器内存中 CPU 高速缓存层操作。建议将温冷数据存算分离,并在外部存储设备中管理。随着热数据扩展到一定规模,服务器内部的高速缓存可以实现 T 级别。也有热数据是外置的,这取决于提高速度。例如,内存是直接的 RDMA,虽然外部数据实际上可以接近 CPU 直接内存的效果,确保数据足够快。总的来说,最热的数据是离开的 CPU 最近,它被放置在高速缓存或内存中,其次是服务器附带的闪存盘,其次是硬盘。

Q:随着分布式存储市场份额的增加,存算分离是否更适合分布式存储?

A:分布式存储必须是存算分离,集中存储更方便管理各种数据,但会带来扩展问题。只有分布式才能更大,而不需要通过系统。分离架构可以考虑并发操作,读写更大的数据。在数据爆炸的时代,存算分离是不可避免的。

Q:存算分离场景?

A:数据库,早期是存算一体化,现在是分布式的,比如金融业,现在从集中到分布式的转型。

传统数据库是大数据,规模更大 TB 等级,大数据一般都是 PB 等级。使用存算一体化会造成大量的计算资源浪费。

云计算、云数据包括客户数据和自己的虚拟数据、数据和虚拟机绑定,因此管理必须分开。

高性能计算 HPC,数据量大,需要根据数据密度进行分离。Web 应用程序将前端客户应用程序操作与后端数据分离。

Q:拆下产业链和玩家?行业有哪些困难?

A:有华为、浪潮、同行和新华社。困难在于技术门槛相对较高:1)存储分离架构需要通过软硬件构成整体效率、稳定性和可靠性,多年的研发经验和技术积累,全面了解介质、存储协议、芯片和算法。要达到最佳状态,需要长期的积累。有的玩家会开发控制芯片和介质芯片,提高产品的自主可控能力,达到自身结构的最佳效果

2)算法偏向于软件层面,如落盘算法。数据读写是效率、可靠性和稳定性,最大限度地减少性能波动对业务的影响。有许多算法。需要大量的技术积累。

整个产业链的制造商可以做更多的存算分离设备。例如,同样面向行业的产品是最好的,在军事、保密行业存储,独特的加密算法也非常精致,但也可以在细分市场上实现极端。

Q:市场空间的存算分离?

A:中国企业外部存储市场的规模大概在中国。 600 超过1亿,年平均增长率约为1亿 20%。

Q:如何评价华为的产品?

A:由于数据量的扩大,金融业需要对数据库进行改造。利用本地分布式数据库,可以通过存算分离提高整体能力,满足金融核心数据库演变的需要。华为、浪潮、同行和新华社都在进行这样的研发。

Q:存储增量会增加吗?

A:是的,随着数据的扩展,相应的存储设备必然会增加。例如,金融业的许多银行数据基本上需要 50 年以上意味着市场一直在增长。市场增长意味着可以销售更多的存储设备和更多的存储介质,如以金融业为代表的行业,越来越多的本地独立和可控的存储设备和介质,对制造商有利。政府、金融、教育、医疗、中央国有企业和运营商在国内存储领域也有很多机会。还有更多的机会进入国家相关名录,包括信创工程。储存介质也应该从国产化、长江和紫光中受益。纪要私享圈

相关阅读
  • 大A的另一个痛点是从青岛啤酒“小便门”引出的

    大A的另一个痛点是从青岛啤酒“小便门”引出的

    大A的另一个痛点是从青岛啤酒“小便门”引出的10月19日,一段网络视频称,在青岛啤酒有限公司青岛啤酒厂(以下简称青岛啤酒厂),一名工人爬进原料仓库小便,引起公众舆论,喝啤酒尿酸会上升,这样的笑话很快就出现在热门搜索中。许...

    2023-10-27 18:25:53
  • 阿尔茨海默病Aβ新药仑卡奈单抗开启国内商业化探索 卫生材料的

    阿尔茨海默病Aβ新药仑卡奈单抗开启国内商业化探索 卫生材料的

      阿尔茨海默病Aβ新药仑卡奈单抗开启国内商业化探索  卫生材料的靶向Aβ阿尔茨海默病新药仑卡奈单抗(lecanemab)海南省博鳌乐城国际医疗旅游试验区已正式通过海南省药品监督管理局审核。目前,仑卡奈单抗尚未在中...

    2023-10-24 15:34:50
  • 会议建议激活资本市场,增强投资者信心

    会议建议激活资本市场,增强投资者信心

      会议建议激活资本市场,增强投资者信心。中国人民银行10月21日发布的《关于金融工作的报告》再次强调,进一步推进积极资本市场和提高投资者信心的政策措施的实施。  《中国经济时报》记者采访了《证券法》起草小组...

    2023-10-24 18:28:00
  • 卫星互联网板块可以吗?

    卫星互联网板块可以吗?

    周日,一个朋友问我,卫星互联网板块可以吗?周五,形态明显突破,开始大幅下跌答:伏击思维,开始洗盘子问:你看到哪只股票跌停,以破位的形式洗盘?你不懂技术答:有技术就有反击技术,用反技术洗盘子的股票没有人能说服谁我说了两只股...

    2023-10-24 15:29:37
  • 汇金重磅公布买入交易型开放式指数基金,并将在未来继续增持

    汇金重磅公布买入交易型开放式指数基金,并将在未来继续增持

    在这个位置上,国家队再次出手,昨晚汇金重磅公布,买入交易型开放式指数基金 ,并将在未来继续增持。(个人猜测今天可能会继续增持)交易型开放式指数基金,即ETF,相信大家都很熟悉揭粉,这几年我也做了很多普及投教工作。汇金真金...

    2023-10-24 15:30:31

本文存算分离技术介绍:数据处理需要计算设备和存储设备由壹米财经整理发布,欢迎转载收藏,转载请带上本文链接。
免责声明:【壹米财经】发布的所有信息,并不代表本站赞同其观点和对其真实性负责,投资者据此操作,风险请自担。部分内容文章及图片来自互联网或自媒体,版权归属于原作者,不保证该信息(包括但不限 于文字、图片、图表及数据)的准确性、真实性、完整性、有效性、及时性、原创性等,如有问题,请联系我们! 分享到: 新浪微博 微信

扫描左侧二维码
看手机移动端,随时随地看 股票 新闻