京东云:11.11大促下的混沌工程实践

  • 时间:
  • 浏览:0
  • 来源:吉林快3下注平台-吉林快3注册平台_吉林快3官网平台

随着互联网技术的发展,系统架构然后 然后 断的演进、升级、迭代。从单一应用,到垂直拆分,到分布式服务,到SOA,以及现在火热的微服务架构,系统扩展性和开发效率大幅提高。但共同,可能性系统自身冗杂度的激增,传

随着互联网技术的发展,系统架构然后 然后 断的演进、升级、迭代。从单一应用,到垂直拆分,到分布式服务,到SOA,以及现在火热的微服务架构,系统扩展性和开发效率大幅提高。但共同,可能性系统自身冗杂度的激增,传统的测试土辦法 可能性要能全面理解和覆盖系统所有可能性的行为,测试的有效性也大打折扣,加之开发者在引入冗杂性的共同对风险的低估和忽视,成为目前系统可用性面临的两大挑战。

60 8年8月,某厂商可能性单点系统架构故障,愿因了7天 宕机,在此期间无法观看任何视频。然后 该厂商现在后后后后开始将服务从数据中心迁移到云上,然后 就现在后后后后开始尝试在生产环境中开展许多系统弹性的测试。

随着Chaos Monkey的出现,混沌工程原理应运而生,它被描述为“在分布式系统上进行实验的学科,目的是建立对系统承受生产环境中湍流条件能力的信心”。如今,谷歌,亚马逊,IBM,耐克等公司,都采用一种形式的混沌工程来提高现代架构的可靠性。

京东云在混沌工程领域的实践——破坏性演练

破坏性演练,是京东云在混沌工程中的实践。一方面,2018年京东云新增60 +产品,实现爆发式增长;本人面可能性微服务化,大大增加了系统间依赖关系的冗杂性;保障整个云的持续可用是巨大的挑战。

基于混沌工程的理论土辦法 ,京东云在实践过程中用系列实验,真实验证系统在各类故障场景下的表现,通过频繁地进行极少量实验,使系统一种的反脆弱性持续增强,让云有信心抵御生产环境中难以预知的问提报告 ,也让客户对云的稳定性放心。

现在后后后后开始混沌工程然后 ,京东云在底层架构上,可能性实现支持多Region和多AZ高可用,包括物理层、IaaS层、PaaS层以及控制面。然后 京东云并未持乐观态度,然后 谨慎的认为:业务垂直化的质量保证,更多关注纵向细分产品的质量和高可用能力,但对云整体横向的高可用的验证方面,指在火山岩的弱点。本人面,实践出真知,不验证就这麼底气。哪几个情况表坚定了京东云做混沌工程的决心。

仿真环境建设。云是一套非常冗杂的整体,它的资源数量、地域分布、流量体量等,都决定了无法在生产环境直接演练。为了确保演练前会影响到生产,京东云建立了隔离故障区域,将云的预发环境和测试环境都迁移至此,并投入极少量服务器做1:1仿真部署,包括物理层、IaaS层、PaaS层以及控制面,及安全、CDN、视频等核心产品,大约搭建了另有有一个多缩小公有云环境。在环境建设完成后的第7天 ,京东云就进行了第一次破坏性演练。

首次演练,投入近百人,7天 时间,即收获117个改进点。然后 ,混沌工程成为京东云每个季度的例行工作。并由此不断推动应急预案的升级和技术架构的改进。

应急预案升级。当前产品的主要故障场景,都已具备自动化预案能力。自动故障检测以及自动故障恢复能力逐渐早熟图片 是什么期是什么 图片 的句子是什么的句子是什么,故障恢复耗时大大缩短。

技术架构改进。协同京东云架构师委员会,从验证双AZ的可靠性,到完善和发展基于3AZ的高可用架构。如存储产品,由这麼 的单AZ 3副本,改进为3AZ 3副本,可用性进一步提高;共同,排查依赖成环的问提报告 ,进行解除依赖或完善降级能力。

演练平台的建设。经过不断打磨,实现了演练触发自动化、多租户场景模拟、结果快速验证等能力的建设,提升了演练的效率。然后 ,演练不断深入,场景不断充沛。覆盖了服务、机器、随机硬件等场景,并结合IDC、基础网络,对整个云基础设施进行高可用性验证。

混沌工程实战检验 京东云为客户保驾护航

截止目前,京东商城、物流等完整性核心系统都可能性运行于公有云之上。土辦法 内内外部混沌工程的经验,结合云高可用技术方案,京东云总结出了一套面向云上用户的快速验证方案,与用户共同,通过最佳实践解决用户可靠性的问提报告 。

以某客户为例,在服务建设完毕后正式上线前,京东云都在根据客户的用法和要求,做抗脆弱性验证来保障客户服务问提报告 ,让客户放心;而针对客户用到的京东云专有云产品JD Cloud Stack,京东云会对每另有有一个多发布版本做完整性的混沌工程验证,保证交付给客户的是可靠的产品。

在然后 过去的京东11.11期间,京东云全业务,全场景云端监控,流量同比增长60 %,云搜索查询每日峰值达13.3万次/秒,云缓存每秒操作数每日峰值18万次,负载均衡接入请求量同比去年上涨36%,CDN整体峰值流量同比去年上涨44%。在大促之下,京东云仍然保障了AI、物流、广告等核心业务稳定。这充分证明了京东云以混沌工程理论为指导的可靠性设计和实践经受住了严酷的考验,值得信赖。

关于京东云

京东云(JD Cloud)是京东集团旗下的全平台云计算综合服务提供商,拥有全球领先的云计算技术和充沛的云计算解决方案经验。京东云提供从IaaS、PaaS到SaaS的全栈式(Full Stack)服务,含有公有云、私有云、混合云、专有云在内的全场景(Full Services)服务,从IDC业务、云计算业务到综合业务的全频段(Full Spectrum)服务,京东云还致力于为相互战略合作伙伴提供覆盖全行业应用、为全行业提供平台支撑的全生态(Full Ecosystem)服务。共同,京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀,形成了从基础平台搭建、业务咨询规划,到业务平台建设及运营等全产业链的云生态格局,为用户供一站式全方位的云计算解决方案。

(本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)