羽山数据-合规、权威、安全,数据科技赋能产业升级。羽山数据践行数据要素市场化合规流通,为金融、保险、人事、安防、互联网等行业提供企业数字化解决方案。

slider
New
  • MinIO推出DataPad,Exascale AI存储的参考架构

    发布时间: 2024-08-07

    由于人工智能革命,计划再收购一家或多家公司的数量正在飙升。为了帮助优化存储扩建并实现CFOstomach,MinIO上周提出了超大规模存储的参考架构,允许企业使用行业标准的现成框架(称为DataPad)实现可重复的100PB增量十年前,在大数据室的高度,企业的平均分析部署在单数字PB,只有大型数据存储公司才会增加超过100PB的数据集,通常是在HDS集群上,根据ABPeriasamy,联合创始人co-CEOat最小IO

    Periasamy说:“现在情况完全改变了。”。“100到200PB相当于新的1位PB,数据第一的组织正在向整合其所有数据的方向发展。他们实际上要达到10字节。”

    新一代的A革命驱动型企业思考他们的存储架构。MinIO表示,企业正在计划在prem上建立这些大规模的投资集群,因为将微型云的价格提高了60%到70%。通常,企业已经投资了GPUs,需要更大的资金和更快的速度来接受数据

     

    MinIO拼写实际上是什么,进入了一个精确的DataPdreference架构(ImagecourtyMinIO)

     

    来自戴尔,HPE和Supermicro、NVMedrives、以太网开关和MinIO的S3兼容对象存储系统

    每个100PB数据由11个相同的机架组成,每个机架由112U存储服务器、两个TOR层开关和一个管理开关组成。机箱中的每台2U存储服务器都配备了64核单插槽处理器、256GB RAM、200Gb以太网网卡、242.5英寸U.2NV驱动器和1600个冗余电源。这些规格为30TB NVM驱动器,总共720TB原始容量的服务器Periasmy说,由于人们对开发人工智能的迫切需求,企业正在采用惠普世界的人们多年来一直在使用的可扩展性概念,他是超级计算中使用的集群分布式文件系统的共同创建者“它实际上是我们在超级计算案例中使用的简单术语。我们称之为可缩放单元,”hetellsDatanami。“当您构建非常大的系统时,您是如何构建和运输它们的?我们提供了可扩展的单元。这就是他们如何规划从物流到物流的一切。一个可再操作的系统是根据可扩展单元设计的。这表明它们也在扩展。

     

    MinIO在DataPdreference架构(ImagecourtyMinIO)中使用100GbE的开关

     

    他继续说道:“在这种规模下,你不会真的想到‘我会增加更多的驱动器、更多的机柜、更多的服务器’。”。“你不需要一台服务器,两台服务器。你可能会遇到种族歧视。现在我们正在进行超大规模的交流,当你看起来像一个国家时,你的单位是不同的。这就意味着我们正在谈论DataPad。”

    MinIO在过去18个月内与足够多的客户合作,制定了超大规模的计划,让他们觉得可以很舒服地定义参考架构的核心原则,从而简化客户未来的生活Periasamys说:“我们从我们的顶级客户那里得到了什么,现在我们看到了企业的常见模式。”。“我们要告诉客户,如果你遵循这个蓝图,你的生活就会变得轻松。我们需要重新打开车轮。”

    MinIOCMO Jonathan Symonds表示,MinIO已经与多个客户验证了该架构,并希望将其扩展到一个或多个级别西蒙兹说:“这只会让等式失去平衡,因为它们不会来回摆动。”。“这有助于他们‘思考问题’。‘想思考A、计量单位、可建造单位;B、网络件;C,这是供应商类型,这是盒子类型。’

     

    ABPeriasamy,联合创始人CEOofMinIO

     

    MinIO已与戴尔、HPE和Supermicro合作,共同制定了这一参考架构,但这并不意味着它仅限于他们。客户可以将其他硬件供应商添加到等式中,并在构建DataPods时混合和匹配他们的服务器和驱动器供应商Symonds说,企业关心的是其可扩展性的极限,这是MinIO在修改架构时考虑的问题他说:“‘智能软件,愚蠢的硬件’在很大程度上被嵌入了DataPo所提供的那种公司。”。“现在你可以想到这一点,就像,好吧,我可以计划未来摆脱任何我不了解经济的东西,因为我知道这些东西是由什么组成的,也不了解它们的性能影响,特别是它们可以线性扩展。因为这是一个大问题:一旦你可以达到100PB到200PB的容量,这就是他对大规模性能的概念。这就是一个巨大的挑战。”

    为此,MinIO发布了软件定价表,硬件为每月1.50美元,MinIO软件为每月3.54美元。以每月约5美元的价格计算,100PiB(PB)系统每月的成本约为500万美元。将点乘以10,以计算一个字节系统的总成本Periasamys说,巨大的成本可能会让人大吃一惊,但重要的是要记住,如果你决定在云层中做得那么高,成本可能会高出60%到70%。此外,将数据转移到云端实际上要花费很多钱,因为他们还没有准备好

    Periasamys说:“即使你想在云端存储数百张照片,最接近你的东西——PS和FedEx的蔬菜。”。“即使网络是免费的,你也不知道网络的带宽。但与存储成本相比,网络非常昂贵。”

    他说,当任何人知道客户可以通过使用自己的GPU集群在计算机上保存多少等式的想法时,这些结果都会累加起来Periasamys说:“GPS在云上的价格非常昂贵。”。“在一段时间内,云确实起到了帮助作用,因为这七家公司可以获得当时所有可用的GPU,而且这是唯一一个为GPU实验提供支持的机会。现在,随着时间的推移,客户们正在考虑去合作,他们不仅可以在路边,还可以在停车场、停车场和停车场上省钱。这就是所有事情发生的地方。”

    您可以阅读有关MinIO数据的更多信息在这里

    相关项目:

    null

     

    null

     ThepostMinIO首次亮相DataPod,一个ExascaleAStorage的参考架构首先出现在数据名称

    -

  • 1 - 1
note

本专栏搜集引用互联网上公开发表的数据服务行业精选文章,博采众长,兼收並蓄。引用文章仅代表作者观点,不代表羽山数据官方立场。

如有侵权、违规及其他不当言论内容,请广大读者监督,一经证实,平台会立即下线。监督电话:400-110-8298