请选择 进入手机版 | 继续访问电脑版

雨林木风

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 32|回复: 0

别找啦一套管好数据的方法就在这里!

[复制链接]

9893

主题

9900

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
30294
发表于 2021-1-14 15:10:44 | 显示全部楼层 |阅读模式
  “陈工,我是祝工,前次你们推选的Isilon存储咱们现正在仍然上线了,操纵比拟粗略,体验也很好,咱们现正在数据量万分大,后期扩展和开发更新也省去了我数据转移的艰难,这个点处分了我众年心中的痛啊,现正在夜晚毕竟能宽心睡个好觉了。”
  “祝工,你满足就好,听到你这么说,我也万分有成果感,现正在是不是有什么新的题目啊?”
  “你懂我,哈哈!原来是如此的,我现正在遭遇了一个比拟头疼的题目,除了Isilon外,原来咱们又有4套数据量比拟大的文献存储,要紧存储项目组文档材料、合同扫描件、发票税控图片、OA的附件,许众人事材料(包罗辞职职员档案)、内部培训视频、APP运用图片数据,大巨细小加起来也有小300T。”
  “不不不,陈工,你先岑寂一下,目前的要紧题目不是存储容量和职能,现正在运用部分常常会找我要这些数据报外,查找某些数据正在哪个物理存储上,或者说个别运用数据因职能题目,必要从一台存储转移到另一台存储,如此的题目许众,况且短期内我也不行够采购一套海量存储,把所稀有据转移到一台存储上,又有招标榜样性题目,也不行只招一个品牌存储......”
  ☝前面便是我(戴尔科技售前工程师陈森江)迩来和用户电话调换的一个切实场景。
  听完之后,我和他总结了一下,原来祝工的焦点需求是一个豪爽文献类数据的团结处分平台,即众台异构存储上的数据,正在逻辑上有一个团结处分,同时不影响本来物理数据存储架构,还能够给教导看报外,助助运用疾速查找数据,还要正在区别物理存储之间达成数据的疾速转移。
  DataIQ是一个纯软件的异构存储处分平台,况且以旁途式样接入用户境况,它的全豹安置、安插、测试操纵等任务都不会影响用户目前的交易和出产。


  正在拓扑架构上,DataIQ自己是安插正在Linux上的一台Server,救援S3、NFS、CIFS(SMB)和当地挂载。
  粗略来说,无论是哪个品牌的存储、哪种型号,只消通过S3、NFS、CIFS(SMB)赞同,以及当地挂载被DataIQ所正在的Linux Server挂载(mount),都能被DataIQ举行团结处分,用户也不消忧愁招标采购结果是哪家存储。

  正在装备流程中,只消被处分的存储开通一个账号给DataIQ Server即可,之后DataIQ Server会扫描并创修索引。要是用户只思做数据疾速查找、数据报外,那么存储端必要开通一个只读账号;要是要正在区别存储(如NAS存储到对象存储)之间做数据转移,那么存储给DataIQ Server挂载的账号必要给与读写权限。

  要是用户的少少运用是基于Python的,那么许众数据盘查,陈说以至数据转移的任务都能够由运用次第自愿完工,能够大大减轻IT处分员的闲居数据处分任务量。
  末了,咱们来看一看DataIQ的三个类型运用场景,也许此中就有适合你的:
  就如前面咱们的客户祝工提到的相同,运用处分员涌现他们此中一个运用的个别数据的延时万分高,他们思明晰是不是存储这个别数据的存储,是职能有题目或有其它阻滞类出处,于是第偶尔间找到了祝工,给他少少示例数据。
  然而要正在4套存储中疾速找到这些数据所正在途径,并不是容易的事。你必要4套存储区别用户的数据一套套挂载查看、查找,况且正在上亿数目的文献中查找你思要的此中几个文献,恶果口舌常低的。
  然则有了DataIQ,结果就一律区别了,祝工只需正在DataIQ中查找,几秒种就能出结果。

  DataIQ通过RocksDB将全部存储上的非机闭化数据造成索引,并将索引cache到内存中,以达成疾速查找。正在少少用户的测试中咱们涌现,正在一个60亿文献数目级的场景(后端存储以SAS或NL-SAS为主),要是通过DataIQ去查找一个文献名,仅必要10-20秒就能够出结果。然则要是普及的Search式样,能够必要几十天赋能完工,还不行完工全体查找,要分目次查找。
  以是,连接DataIQ本质操纵中尤其丰盛的数据查找的条款,操纵起来尤其的丰盛与适用。

  1. 目前全部存储各自又有众少空间,区别运用目次的文献量到达众少了,巨细有众少,造孽字符有众少?
  3. 区别存储介质、区别存储空间的操纵本钱大约能统计出来吗?目前的IT加入产出还能成正比吗?
  正在操纵DataIQ之前,存储处分员能够必要通过种种第三方器材或存储处分器材举行熬夜统计,任务琐碎庞大,然则操纵DataIQ这些都是不妨自愿去完工。

  正在咱们闲居存储与数据的运维处分中,因存储硬件职能题目、存储性命周期结尾或数据归档等场景中,IT处分职员都邑晤对豪爽的数据转移任务,以至由于运用与IT存储处分职员之间看题目中心的区别,导致两边对立的情状也常常会产生。
  IT处分员能够通过DataIQ分派一个专用的超等用户给运用斥地或维持职员,同时依据需求分派好空间操纵权限,如高负载运用分派2T全闪空间(如基于戴尔易安信Isilon F800),低负载分派5T SAS空间(如基于戴尔易安信Unity 480),而归档或冷数据分派30T对像存储空间(如戴尔易安信ECS),如此运用职员能够依据运用的需求己方举行数据的转移与归档。
  这些操作一律不必要接触后端的物理存储,存储处分员只必要做好硬件资源的筹划与维持,大大消浸了IT存储处分员的任务量与仔肩。

  DataIQ对数据转移救援的对像也万分丰盛,能够救援NAS存储之间的转移,也能够从NAS到S3(反之亦然),也能够从NAS到amazon等。
  DataIQ便是如此一款纯软件的、旁途的异构存储处分平台(任何光阴都不影响出产境况),对戴尔易安信存储空间的处分一律是免费的(非戴尔科技存储仅按容量收费),这对用户来说,一律是一个增值效劳,你还等等什么呢?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

|appname
快速回复 返回顶部 返回列表