Replication behavior question

There is a scheduled BCP test for a VNX file arrays. We use mirror view async for replication.

Below is high level plan

1) Perform reverse from Primary array to DR array for the vdmfile system

2) The n/w team is planning to isolate the ip n/w connectivity data-center for 4 hours, where the primary array is located. This means replication will break.

3) n/w link is brought up back up.

4) Data needs to be synced back and replication session will be reversed to primary array.

My question is when the n/w link is brought back up, will the replication automatically start to sync from DR to primary array or should there be a manual intervention issuing one of the below 2 commands ? What will be the replication sessions status ?

nas_repicate -start $repl_sessions_name or nas_replicate -start $repl_sessions_name -overwrite destination.

Wait for the sync to catch up followed by nas_replicate -reverse command.

Has any one come across this scenario ?

Thanks,

Ram

Related:

Re: Data Domain クリーニング処理が失敗する原因について

お世話になります。

Data Domainのクリーニング処理の失敗理由について、ご教授いただけますでしょうか。

DD2200にて、スケジュール(デフォルト、毎週火曜日AM6:00)で実行している

クリーニング処理が行われなかった旨のアラートが上がり、原因と対策を考えています。

DDOSは6.0.1です。

クリーニング処理が失敗するケースとしては、一般的にどのようなものが想定されますでしょうか。

※現時点では「失敗した」という状況しか判明しておらず、ざっくりした質問で申し訳ありません…

以下のような原因は考えられるような気がしていますが、他にもあればお願い致します。

・クリーニングの時間にバックアップが実行されていた(仕様上は問題ないはずですが…)

・クリーニングの開始時間にシステムが停止していた

・クリーニングにかなりの時間がかかった

お手数ですがよろしくお願いいたします。

Related:

Gartner:深入业务才能做好BI,当然还有AI这个驱动

原文出处: ZDNet http://cio.zhiding.cn/cio/2017/0814/3096834.shtml

商业智能(BI)这一概念出现于20世纪90年代末,代表的是为提高企业运营性能而采用的一系列方法、技术和软件。1989年,BI的概念经由Howard Dresner的通俗化表达而被人们所广泛了解,即一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的,目的是帮助企业进行决策的技术及其应用。

BI进入中国也很早,但当时的企业大多还在解决生产经营问题,所以BI的真正价值没有被企业认识到,也没有被发挥出来。随着数据价值的逐渐显现,越来越多的企业提出了对于BI的需求,BI已经成为帮助公司经营的重要手段。

每年2月,Gartner都会发布商业智能和分析平台魔力象限。从今年的数据来看,Microsoft、Tableau发展迅速,尤其是Microsoft在执行力上大幅度提高,已经和Tableau并驾齐驱。与此同时,BI的新趋势在于人工智能(AI)和BI的融合。预计在2020年,AI技术将成为90%现代BI平台的主流技术。

Gartner:深入业务才能做好BI,当然还有AI这个驱动

2017 Gartner商业智能和分析平台魔力象限

商业智能的三个时代

在20-25年前,企业内部都是人工操作。10-15年前出现了modern BI(现代化商务智能)工具,帮助企业制作固定格式的报表。近几年,可视化展示让BI变得更易操作和可理解。

可以说BI已经从IT主导分析转向业务主导分析,Gartner研究总监简儁芬(Melody Chien)观察到,只为帮助老板决策的IT提供的报表已经过时了,IT要转变成给数据赋能的超级英雄,将更自动化、更简单的数据分析提供给不同层面的人。

这一变化的特点就是智能化,一个数据分析项目一般需要非常长的时间,尤其是前期的数据准备工作,IT技术可以让这些工作变得更自动化、智能化、普及化。不仅参与者更多,而且数据洞察在内部使用的同时还可以分享给外部客户、合作伙伴等,数据分析之后看到的内容越来越不是数据本身,而是数据背后的价值。

Gartner把BI划分为三个时代,预计在3-5年内,第三时代的工具会越来越成熟,成为市场主流。

第一时代 “Semantic Layer-Based Platforms”(语义平台),帮助企业处理简单的数据模型,对日常业务交易进行分析,但是很难做到根据市场波动快速调整模型。

第二时代“Visual-Based Data Discovery Platforms”(可视化数据分析平台),业务人员可以在没有任何或少量IT技术能力的情况下,使用拖拉拽的方式对模型进行自动化的修改,并且用可视化的方式例如各种图形来展示分析结果,但是还需要很多人为的配置部署。

第三时代“Smart Data Discovery Platforms”(智能数据分析平台),通过人工智能自动从数据中挖掘出模型,并且利用机器学习的技术自动从中发掘数据的规律,这种自动化可以节省大量前期数据准备时间。

Gartner:深入业务才能做好BI,当然还有AI这个驱动

“三个时代在interaction(互动)和collaboration(合作)上有很大的变化。”简儁芬指出,第一时代的互动是由IT事先编译安排好的,如果发生任何变化都要重做流程;第二时代用户通过可视化交流;第三时代则通过自然语言来做分析,而且随着AI的发展,第三时代的工具会越来越普及,未来3-5年将达到成熟。

数据分析一定要和业务挂钩

虽然从技术和产品上看,第三时代的工具已经逐渐呈现出爆发的趋势,但是企业的实际应用却是与之脱节的。就像开篇所提到的,BI进入中国很早,但应用的企业其实并不算多,其中大部分集中在金融、交通、电商等行业。

但在大家都在关注底层数据分析的现在,企业还在谈BI吗?简儁芬给出的回答是肯定的。中国企业目前虽然大部分还停留在第一时代,仅有部分处在第二时代,但这并不影响企业真正把技术运用到内部业务流程,带来实际的业务价值,尤其是第三时代的技术可以带来明显的业务提升。

中国企业都在不同程度地使用着BI,这些企业当前的目标是要快速过渡到第二、第三时代,而且首先要意识到BI不只是产生报表做决策用,更是企业内部流程自动化和数字化转型的动力。

在BI的使用上可以分为四种分析模式,企业需要不断地深入下去,甚至使用横跨几种的分析模式。

第一层、描述型分析(descriptive analytics),主要解决What Happened?了解企业已经发生的事实。

第二层、作诊断型分析(diagnostic analytics),主要解决Why has happened?看到发生了什么的同时,研究为什么会发生。

第三层、预测型分析(predictive analytics),主要解决What will happen?在变化的过程中预测到将会发生什么。

第四层、规范型分析(prescriptive analytics),主要解决What will happen?What should I do?未来将会发生什么,以及该怎么做。

Gartner:深入业务才能做好BI,当然还有AI这个驱动

现在的企业都不缺数据,所以数据分析一定要回归到业务层面。香港某大学在研究27种不同癌症的病因和发展趋势时,需要从大量复杂的数据源中抓取数据。其运用的第三时代工具可以自动整理和标识出可能的病因,将一个学期才能完成的分析缩减到2-3周。

获取BI技术很容易,但更重要的是企业需要考虑数据怎样才能更有效地帮助企业运营。简儁芬认为在使用BI方面,领先的行业和企业都有一个共同的特点,他们总在思考如何把数据赋能给客户,甚至把数据分享给客户和合作伙伴。

Related:

  • No Related Posts

Gartner:三大趋势令企业赢得生存空间

原文出处: ZDNet http://cio.zhiding.cn/cio/2017/0816/3096968.shtml

Gartner发布的2017年新兴技术流行周期报告称,三大趋势可令企业在未来五到十年数字经济中赢得生存空间和蓬勃发展。

人工智能(AI)比比皆是、透明沉浸式体验和数字平台是未来的趋势,这些技术将提供无与伦比的智能、创造各种意义深远的新经验及提供各种数字平台将各机构连接到新的业务生态系统。

新兴技术流行周期报告是资历最老的Gartner年度流行周期报告。新兴技术流行周期报告就科技和趋势提供了一个跨行业视角,报告里提出的科技和趋势大可成为一众商业策略师、首席创新官、研发领导、企业家、全球市场开发商和新兴技术团队在开发新兴技术产品时 的参考。

新兴技术流行周期报告相对于大多数Gartner流行周期报告而言有其独特的地方,原因是新兴技术流行周期报告将2000多种技术提炼为一系列简明扼要的新兴技术和趋势。本年度新兴技术流行周期报告的重点放在在未来五到十年内具有高度竞争优势的各种技术(见图)。

Gartner研究总监MikeJ. Walker 表示,“专注于技术创新的企业架构师务必要评估这些高层次趋势和特色技术及其它们对企业的潜在影响。这些趋势除了对企业产生潜在的影响以外,也可以为企业架构领导者提供重要的机会,可以帮助高级业务和IT领导者对数字业务的商机和挑战做出响应,他们可以立下军令状及创建用于指导投资决策的、可操作和诊断的、可交付的行动计划。

Gartner:三大趋势令企业赢得生存空间

说明:PaaS =平台即服务; UAV=无人机

资料来源:Gartner(2017年7月)

AI比比皆是

人工智能技术将是未来十年最具颠覆性一类的技术,主要是由于计算能力突飞猛进的发展、接近无限量的数据以及在深度神经网络领域所取得的前所未有的进步;所有这些令拥有AI技术的机构可以利用数据去适应新的情况以及解决以前未曾遇到过的问题。

在这方面寻求支撑点的企业应该考虑以下技术:深度学习、深度加固学习、人工智能、自主汽车、认知计算、商用无人机、会话性用户界面、企业分类和本体管理、机器学习、智能机器人和智能工作区。

透明性沉浸体验

科技的发展将持续以人为本的模式,以人为本模式的发展到最后是在人、企业和物之间引入透明性。当科技在工作场所、家庭以及在与企业及其他人互动时变得越来越具有适应性、内容随工作场所而不一样及更加具流动性后,人、企业和物之间的透明性关系将变得更加密切。

需考虑的关键技术包括:4D打印、增强现实(AR)、计算机人脑接口、连接家居、人力辅强、纳屏(Nanotube)、虚拟现实(VR)和立体显示(Volumetric Displays)。

数字平台

新兴技术需要对基础进行革新,而基础提供了所需的数据量、先进的计算能力和无处不在的基本生态系统。分割型技术架构正在向生态系统平台转变,这种转变也正在为沟通人与技术之间桥梁的全新商业模式奠定基础。

值得关注的关键平台支持技术包括:5G、数字双体(Digital twin)、边缘计算、Blockchain、IoT平台,神经元硬件、量子计算、无服务器平台即服务和软件定义安全。

Walker先生表示,“我们将这些主题放在一起看,就可以在透明性沉浸体验(如智能工作区、连接家居、增强现实、虚拟现实以及日益增长的大脑-计算机接口等等)里看到以人为本的基础技术正在成为前沿技术。这些技术在技术流行周期里将拉动其他趋势。

“AI比比皆是”新兴技术正在流行周期里快速躁动。深度学习、自主学习和认知计算等技术则正处高峰点,这表明这些技术将成为关键推手,这些技术将创造透明式沉浸体验。

最后一点,数字平台正迅速在流行周期里崛起,这说明了新的IT现实的存在,那就是,平台的提供可以推动未来的发展。量子计算(正在攀爬创新触发点)和Blockchain(已经达到顶峰)技术将在未来五到十年内创造产生出最具变革性和戏剧性的影响。

Walker表示,“这些大趋势表明,各部门如能将技术与员工、合作伙伴和客户体验更好地整合在一起,他们就能更好地将自己的生态系统与平台以性的动态形式连接起来。”

Related:

  • No Related Posts

Gartner:2017年全球信息安全支出将增长7%达到864亿美元

原文出处: ZDNet http://security.zhiding.cn/security_zone/2017/0821/3097146.shtml

根据Gartner的最新预测,2017年全球信息安全产品及服务支出将达到864亿美元,相比2016年增加7%,到2018年预计该支出将增加到930亿美元。

Gartner:2017年全球信息安全支出将增长7%达到864亿美元

Gartner预计,在基础设施保护领域,增长中最快的是安全测试市场(尽管基数较小),由于持续的数据泄露和对应用安全测试作为DevOps的需求不断增长。对新兴应用安全测试工具的支出,特别是交互式应用安全测试(IAST),将为该领域在2021年前的增长做出贡献。

安全服务仍然是增长最快的细分领域,特别是IT外包、咨询和实施服务。然而,硬件支持服务增长缓慢,这主要是由于采用虚拟应用、公有云和软件即服务版本安全解决方案,这将减少对整个附加硬件支持的需求。

Gartner首席研究分析师Sid Deshpande表示:”CEO和董事会越来越清楚地意识到对于安全事件对业务的影响,以及不断变化的监管环境导致对安全产品和服务的持续支出。”

“然而,提高安全性不仅仅是关于对新技术的支出。正如最近全球安全事件的不断发生,基本的权利变得从未如此重要。企业组织可以通过解决基本的安全问题和风险相关因素–例如以威胁为中心的漏洞管理、集中式的日志管理、内部网络分段、备份和系统强化来显著改善他们的安全状况。”

Gartner对信息安全市场预测背后的其他预测还包括:

欧盟一般数据保护条例(GDPR)引起了人们的重视,到2018年之前,这将推动今天65%的数据保护防御采购决策。

欧盟一般数据保护条例已经导致欧洲各种企业组织的整体恐慌和不安,但这也将产生全球性的影响,因为跨国公司也需要遵守新的法律。企业组织正在致力于强化他们对法律监管的了解,同时那些已经实施了某种数据丢失防御措施的企业组织正在决定他们需要额外投资哪些能力,特别是集成的DLP例如数据分类、数据掩藏和数据发现。此外,那些还不具备强大的DLP措施的企业组织正在寻求提高这方面的能力。

到2020年前,所有管理安全服务(MSS)合同中有40%都将捆绑其他安全服务以及更广泛的IT外包(ITO)项目,高于当前的20%。

为了应对在短时间内设计、构建和操作一个成熟安全项目的复杂性,很多大型企业组织正在寻求那些提供与MSS一起售卖的可定制交付组件的安全咨询和ITO提供商。因为ITO提供商和安全咨询公司在改善MSS的成熟度,客户将有更广泛的捆绑和服务包选择范围,通过这些选择来消费MSS产品。与ITO和安全外包教育相关的大型合同将推动2020前MSS市场实现显著增长。

到2021年,在中国有超过80%的大型企业将采用来自本地厂商的网络安全设备。

中国最近批准的网络安全法律将继续让中国本土厂商取代美国制造的网络安全产品。Gartner预计,尽管亚太地区的最终用户支出在2016年增长了24%,但是从2018年开始将恢复个位数增长,这是平均销售价格(ASP)下滑的结果,因为中国解决方案的定价越来越有竞争力。

Related:

  • No Related Posts

备份性能有问题?看EMC技术大牛如何逐个排查原因(下)

DD VTL备份速度慢?也许你错怪它啦。上一篇的内容中,EMC技术大神Jim列出了影响备份性能的多种原因,从存储节点到VTL的数据流,各个流程都可能影响备份速度。今天我们把剩下的内容讲完,看看通信协议是否也会影响性能,以及从Data Domain本身找找原因。



文/EMC备份恢复远程支持部 Jim

TCP/IP网络方面,我们可以增加TCP window size 和buffer size来提升数据在网络传输过程中的吞吐量:

∧∧向上滑动浏览∧∧

  • Oracle Solaris
    • tcp_default_mss-recommend is 1500 MTU
    • tcp_sendspace-changed to 16KB or 32KB
    • tcp_recvspace-changed to 16KB or 32KB
    • 设置TCPIPWINDOW SIZE 63k 或者更高
    • 编辑文件in_proto.c 来调整下面的buffer size
  • AIX-no(network option)-我们可以使用’no’命令来调整网络参数
    • § lowclust = 200
    • § lowmbuf = 400
    • § thewall = 131072
    • § mb_cl_hiwat = 1200
    • § sb_max = 1310720
    • § rfc1323 = 1
    • Use no –a to view current settings
    • When using TCP window sizes ≥ 64, set rfc1323 to 1
    • Here are the recommended values for the parameters described in this section
  • Windows Platform
    • WIN2008: [HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesTcpipParameters] Tcp1323Opts,REG_DWORD, 3
    • WINXP/2K3: [HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesTcpipParameters] DefaultSendWindow”=dword:1048576

DefaultReceiveWindow”=dword:1048576GlobalMaxTcpWindowSize”=dword:1048576

TcpWindowSize”=dword:1048576 Tcp1323Opts”=dword:3

Linux-Check with “cat /proc/sys/net/ipv4/tcp_window_scaling” ,默认值应该大于64KSAN网络方面

  1. 首先需要排除的是有没有物理端口或光纤问题。例如我们可以用交换机的命令查看“porterrshow”-是不是哪个SFP有错误,比如’crc error’等物理错误计数。如果你看到哪个口错误比较多的,还可以看看光强度是不是够,这个可以用令’sfpshow’查看(brocade),建议值是大于-7dbm。
  2. 备份服务器和VTL是否跨多个交换机?建议不要超过3台交换机。另外,特别重要的是ISL带宽够不够用,备份数据流就像运矿的车,不但体积大而且源源不断的在跑运输,所以马路宽不宽也很重要。
  3. 长距离传输的话需要增加交换机的B2B credit buffer,这个就相当于tcp window size,一次传的数据大一点,可以免去在路上往返的开销。
  4. 我们建议主机那边的光口只连接到VTL,不能共享,这个也可以避免出现意外的通讯故障。
  5. Slow drain device-我们称之为累赘型设备。比如8G的SAN网络里连接了2G的节点,慢的设备会成为瓶颈所在,因为它处理数据很慢,其他设备都会因为等待它的回应而造成整体性能的下降。
  6. Zoning的配置很重要,多个initiator放在一个zoning 有时候会造成性能问题,因为他们彼此会尝试握手建立连接,但是永远不成功,所以对性能会有些许的影响。

最后,说一下DD本身到底什么情况下会影响性能:

  1. DD本身有硬件问题,比如硬盘或者内存的问题。
  2. 在出现坏的硬盘以后,RAID在数据重建,这个往往会消耗很多系统资源。
  3. 垃圾回收和复制同时运行,因为他们会占用很多资源,导致备份速度下降。我们建议备份窗口不要和它们重叠。
  4. 系统空间是不是超过了85%,系统空间越满,DD会占用约多时间来查找数据唯一性。
  5. VTL 的光口有没有负载均衡。
  6. VTL没有被充分利用,可以增加并发数据流来提高整体吞吐量。
  7. DD过于繁忙,没有过多资源来进行快速IO处理。我们可以用命令’iostat 2’来监控。

本次就聊到这里,对于DD虚拟带库的性能问题概括起来就是先排除DD本身有没有问题,比如硬件问题,空间使用情况,系统资源负载情况,光纤口有没有做到负载均衡。所有其他的瓶颈都是DD以外的,最直接的就是磁带设备的block size是不是大于256k。光纤网络有没有性能和配置问题以及备份主机的压力情况等等。总而言之,顺着单向的数据流一个个节点排查就是了。

Related:

  • No Related Posts

备份性能有问题?看看EMC技术大牛如何逐个排查原因(上)

一篇来自EMC技术大牛的文章,深入浅出,技术细节清晰有条理,类比也十分生动贴切。虽然讲的是Data Domain,但依然适用于目前大部分情况下的备份恢复性能分析,值得大家一看。



文/EMC备份恢复远程支持部 Jim

今天和大家谈一谈虚拟磁带库备份的性能问题,工作当中,有的客户会反映DD VTL备份速度比较慢,甚至比物理带库还要慢。因此他们就会怀疑DD不过尔尔,没有传说中牛叉之类的。对于这样的怀疑,我通常都会淡然一笑,其实80%以上的性能问题都和Data Domain无关,而是由于前期实施阶段没有规划好导致的后遗症或者是主机、网络压力过大产生的性能瓶颈。

因此,我会简单地和大家分享一下我的个人心得体会,希望对大家有所帮助。众所周知,性能调优向来是一个极其复杂而且繁琐的系统工程,因为它涉及到各种操作系统,不同的通信协议。在这里,一是由于本人知识有限,二是真往细了说估计三天三夜也说不完,因此我只会谈一些和VTL相关的点,不做很深入的展开。

既然都说了性能问题这么复杂,那么到底有哪些因素可以影响到数据备份和恢复的性能呢?

  1. 备份服务器硬件配置,包括CPU,内存,硬盘以及网卡等;
  2. 备份服务器操作系统;
  3. 备份服务器日常工作压力;
  4. 客户端硬件配置,包括CPU,内存,硬盘以及网卡/光口等;
  5. 客户端操作系统;
  6. 客户端日常工作压力;
  7. 备份网络硬件和配置情况;
  8. 备份网络拥塞情况;
  9. 光纤存储网络硬件和配置情况;
  10. 光纤网络拥塞情况;
  11. 光纤传输距离以及交换机互联的带宽和跳数;
  12. 不同的通信协议;
  13. 通信协议优化;
  14. 最终备份设备磁带库的硬件和配置

怎么样,看了是不是有点晕?你一定没想到平时仅占工作一小部分的备份会这么复杂吧?我们先来看张图,看看从存储节点到VTL的数据流走向从而加深对上面各种性能因素的理解。

我们说的性能分析一定要结合上面所说的各种因素以及数据流走向通盘分析,从数据流的源端开始自上而下来看到底哪里是瓶颈的所在。其实,我一直喜欢把备份比喻成矿产运输。

运输前,首先是挖掘机在挖矿,然后卸到卡车里,卡车经过指定的路线到达目的地卸货,然后返回到矿区继续运输。在这个过程中,总的运输窗口完全取决于客户需求,假如客户不急那么可以这样慢慢拉矿甚至可以用更小的车拉。那么假如客户要求加急,那就会投入更多工程车、运输车。多辆挖机同时采矿,装到更大的卡车里,好几辆卡车同时跑运输运到指定的不同仓库,从而大大缩短运输时间来满足客户需求,当然加急费是免不了的。

所以,对备份而言也是如此,只要能够满足你的备份时间窗口就可以了,没有最快只有更快,如果你想达到更好的备份性能,意味着你必须投入更多。

回过头来看数据备份。读取源数据的速度,一次读的大小好比有多少辆挖机同时在挖矿,然后传输到备份服务器(卡车),一次传输的大小以及一次可以传多少数据流(卡车的大小以及数量),再经过多少传输距离,网络堵不堵(道路交通状况)等诸多因素决定了备份窗口时间。对应到相关的专用术语就是:TCP window size, send/receive buffer size, buffer size, block size, multipule streams, multiplexing and ISL bandwidth…



下面,就具体的每个节点展开一下。

备份服务器。备份服务器是整个数据备份恢复的指挥所,它控制着所有资源以及负责协调相关事件的运作。本文不会就具体的服务器系统内核调优作阐述,详细可以参见不同备份软件厂商的性能调优指南。但是千万不要让服务器过于繁忙,否则会影响整体数据备份/恢复的性能,我们可以用具体命令来查看服务器是否过于繁忙。比如-‘vmstat,sar,top’等命令。另外网络的拥塞情况也要具体查看,是不是需要多个网卡做聚合?DNS服务器解析有没有延时等等,这些都会影响性能。

媒体服务器,这是一个关键媒体服务器是指直接可以和VTL通过光纤网络通信的服务器,因此它可以识别到VTL分配给它的磁带机设备。

在整个备份恢复环节中,媒体服务器既接收来自网络客户端的备份数据流,同时通过内存又将数据写到磁带设备。除了需要有足够强的硬件支撑以外,通常我们还需要在它的进口和出口下点功夫。进口就是服务器的网卡,是不是做了多网口聚合?有没有提高TCP window size以及收发的buffer size?如果是千兆网卡的话,有没有提高MTU的大小?出口的话有几个光纤口通往VTL,有没有做负载均衡等等。光纤卡的话frame size默认值是不是够大?比如,windows 32bit 2003/2008默认的frame size只有64K,需要调整注册表以及安装相应的驱动程序才能调整到1M以上。

备份客户端,顾名思义,客户端指的是真正需要做备份和恢复的服务器群体。除了上面提到的服务器负载,网络出口的带宽等等,我们还要注意备份的时候千万要把杀毒进程停掉,否则速度会非常慢。现在的应用服务器都挂载存储硬盘,所以RAID的配置以及LVM卷的管理也很重要。良好的卷管理,往往会整体提升IO数据读的响应时间。

最后,备份软件以及数据库。我们不提倡应用软件和数据库打开压缩和加密功能,因为这会直接影响到Data Domain数据压缩比以及备份速度,而且DD本身也提供数据压缩和加密服务,所以没有必要在应用端开启这些功能。多数据流备份这块,设多少个流合理呢?通常的话根据物理硬盘的数量,一个物理硬盘可以对应一个数据流这样可以确保在读数据的时候磁头不会来回找多个文件而浪费时间。

当今,RAID阵列环境中适当增加数据流还是可以帮助提升性能的,但是并不是越多越好,有时候过多的数据流反而会降低性能以及占用过多的系统资源。对于小文件,我们建议采用snap image技术进行备份,再加上增加读的buffer size可以大大提升效率。除了上面所有提到的之外,相当重要的一点就是磁带设备的block size,很多备份厂商默认的值都较小只有64K左右,所以千万要增加块的大小,至少要256K以上,这点尤为重要。

以上作者对备份的一个个节点进行了分析,接下来将会从通信协议以及Data Domain本身来查找原因,由于篇幅所限,下半部分内容将会在明天发出,请大家继续关注《备份性能有问题?看看EMC技术大牛如何逐个排查原因(下)》。

To Be Continued……

Related:

  • No Related Posts

看着8节点跑出的IOPS,客户心里美滋滋~

昨天小编的推特上有人转给我一条消息

原来是一个叫@chisoxhowe的用户晒了张ScaleIO的图片

8节点跑出了如下数据

据说还是第一天使用

看着仪表盘上数字,别提有多开心了~

“今天开始在KC使用ScaleIO,Cust看了简直无法相信自己的眼睛,比我们的SAN还要快,而且只有8U。”

话说这KC是什么意思?客户名?还是指核心用户(Key Customer)?

发这条推文的也许还是EMC现场实施人员

不管了,总之大家都很开心

再来看看延迟

0.6毫秒!

思考一下,这些性能给客户带来了什么?

敏捷灵活弹性新产品快速上线……

其实最终归结为实实在在的真金白银



小编想到有关IT转型的一句话——

“过去的IT满足企业需求,未来的IT将引领企业发展”

ScaleIO, Only U!



Related:

  • No Related Posts

一招,一年的项目变成了三个月

SESVanderHave(以下简称S公司)是一家生物科技领域的全球领导者,总部位于比利时,该公司专门从事甜菜种子的生产,包括开发种子新品到种子的生产。 目前,S公司共销售360个种子品种,在全球50多个国家拥有市场。

在S公司研发实验室里,每年都要测试超过一百万种新型基因,培育超过1万株植物,得益于此,S公司始终处于甜菜产业的前沿。然而,海量的基因测试也带来了大量数据,仅一个生物信息学项目就能产生150TB的数据,特别是S公司的传统块存储并不为如此海量数据而设计。随着研究人员不断添加大型DNA文件,出现了存储容量耗尽,文件服务器奔溃的情况,使得研究人员的项目进展大大放缓。

因此,S公司希望能有一种新的存储解决方案,具有处理大数据的性能和可扩展性。经过认真考虑,S公司选择了EMC Isilon横向扩展NAS,并部署了三台EMC Isilon X系列节点,专为生物信息学团队使用。



对S公司来说,部署Isilon带来的效果立竿见影:

首先分析速度大大加快,以往分析一个20GB的DNA文件需要一天半,现在只要三到四个小时,一个持续一年的项目现在不到三个月就完成了。这不仅得益于Isilon优异的性能,也是因为Isilon可以让研究人员使用更多的工具,过去S公司只有运行CLC Genomics Server作业的本地存储,其结果发送到任何可用的块存储,而Isilon可以让研究者使用更多分析工具(SAMtools,FastQC、BreakDancer等)并行执行任务。

其次Isilon帮助S公司消除了存储孤岛。 过去,科学家需要为他们的研究成果专门找一个地方存放,因为公司的共享块存储不是为大数据设计的。现在S公司拥有了专门用于生物技术研究的单一大数据环境,数据的存放和管理变得更加有效。

最后,Isilon横向扩展NAS存储专为需要管理数据的企业而设计,S公司目前部署的Isilon面向未来三年的需求,随着研究需求的增长,未来几乎可以实现无限制扩展。

此外,S公司还在两个服务器机房部署了EMC VNX统一存储,利用EMC VPLEX存储虚拟化保护两个VNX环境之间的连续可用性和数据移动性,并通过EMC Avamar备份VNX上存储的数据。

与之前相比,我们的生物技术研究人员现在可以为提高糖产量、克服可能限制甜菜生产的疾病和昆虫的威胁提供更多解决方案。 这将有助于我们在未来几年保持全球领先地位。”

——Kurt Bellen,SESVanderHave的系统团队负责



Related:

  • No Related Posts