持续近87分钟1957个客户报障 腾讯云回应事故原因
2024年4月8日下午,腾讯云出现服务故障,接口响应报错、内部服务错误,网页显示504错误。504错误代表网关超时(Gateway timeout),是指服务器作为网关或代理,但没有及时从上游服务器收到请求。
4月8日傍晚,腾讯云公告,腾讯云官网控制台相关服务出现异常,工程师正在紧急修复中。部分地区已恢复,其他地区也正在继续抢修当中。
4月14日,腾讯云官方对4月8日故障情况进行说明:4月8日15点23分,腾讯云团队收到告警信息,云API服务处于异常状态;随即在腾讯云工单、售后服务群以及微博等渠道开始大量出现腾讯云控制台登录不上的客户反馈。
经过故障定位发现,客户登录不上控制台正是由云API异常所导致。云API是云上统一的开放接口集合,客户可以通过API以编程方式管理和操控云端资源,云控制台通过组合云API提供交互式的网页功能。而事故根本原因在于腾讯云版本变更过程中,没有有效执行沙箱验证和预案演练,暴露了在变更管理上的不足,最终导致云API服务新版本向前兼容性考虑不够和配置数据灰度机制不足的问题。
故障发生后,腾讯云方面表示,依赖云API提供产品能力的部分公有云服务,也因为云API的异常出现了无法使用的情况,比如云函数、文字识别、微服务平台、音频内容安全、验证码等。此次故障一共持续了近87分钟,期间共有1957个客户报障。
从客户的视角来看,云服务可以分为数据面和控制面,数据面承载客户自身的业务,控制面负责操作云上不同产品。比如目前使用最广泛的IaaS服务基本上都是以直接面向数据面为主,控制面仅在客户购买或需要对资源层面进行调整操作时会涉及。此次发生故障的控制台和云API是对控制面的影响。通俗来讲,如果把云服务类比为酒店,控制台相当于酒店的前台,是一个统一的服务入口。一旦酒店前台发生故障,会导致入住、续住等管理能力不可用,但已入住的客房不受影响。
腾讯云方面称,这次故障中客户已经配置好的服务器等IaaS资源,包括已经部署运行的业务,没有受到云API异常的影响。其他以非云API方式提供服务的PaaS和SaaS服务,处于正常服务的状态。但用API提供的服务类产品(需要“酒店前台服务“)有不同程度的影响,比如腾讯云存储服务调用当天有明显下滑。期间售后团队协助部分客户做了业务容灾预案的实施,将受影响服务做调度以快速恢复客户的业务服务。
腾讯云方面表示将从提升系统韧性、强化变更管理与保护措施、增强故障响应与沟通能力三方面进行改进。
近年来,因云服务问题导致应用程序“崩了”的现象频繁发生。今年4月9日,支付宝崩了登上热搜,用户反映在使用支付宝APP时出现“已经停止访问”的页面。随后支付宝方面回应称:少量用户访问部分页面时出现了短暂性的访问不畅。这一情况已经快速恢复,用户的资金和信息安全都不受影响,各项功能也都可以正常使用。但具体事故原因并未进一步说明。
2023年12月3日晚,腾讯视频“崩了”登上微博热搜。腾讯视频方面回应称,出现了短暂技术问题,正在加紧修复,各项功能在逐步恢复中。
2023年11月27日晚间,滴滴App系统发生故障,全国大面积崩溃,服务无法正常使用。11月29日,滴滴方面发表声明称,各项服务已经恢复,初步确定,这起事故的起因是底层系统软件发生故障。
2023年3月5日20:20左右,在B站用户活跃的高峰期,许多网友发现B站手机和电脑端均无法访问视频详情页,当晚B站团队在出现故障20分钟后解决了问题。多位行业人士倾向于原因是“迭代更新出现代码故障”,这是2021年7月B站大规模服务器崩溃后的官方解释。
如果不是滴滴全国范围的长时间崩溃造成大规模的负面影响与讨论度,非行业人士不会将某款软件的暂时“崩了”作为热点讨论。万博智云CTO孙琦对第一财经表示,滴滴事件仅是一个个案,但该事件故障级别较大,确实影响到了一定规模普通群众的生活。实际上,很多用户看不到的软件故障正在每天发生,这在行业内是一个较为常见的问题。
此次腾讯云发生大范围故障,有行业人士将其与2023年11月阿里云史诗级故障并称。2023年11月12日晚间,阿里云发生故障,“阿里云盘崩了” “淘宝又崩了” “闲鱼崩了” “钉钉崩了” 等话题相继登上热搜,阿里系诸多产品受到影响。阿里云对此公告称,2023年11月12日17:44起,阿里云监控发现云产品控制台访问及API调用出现异常,阿里云工程师正在紧急介入排查。18:54阿里云再度公告称,经过工程师处理,杭州、北京等地域控制台已恢复,其他地域控制台服务逐步恢复中。
近期国内云平台密集降价,阿里云甚至直接将云产品以折扣形式搬进罗永浩淘宝直播间,传统IaaS产品逐渐同质化,云厂商竞争逐渐转为价格竞争。但在追求销量与市场规模的同时,客户的基础运维与数据安全工作,不应因“降本增效”而被忽视。
上海市政府工作会议上,龚正市长说:四季度有不少硬仗,要奋力冲刺,决胜收官
要以更强的信心、更大的决心、更有力的举措,不断推动经济运行持续好转、内生动力持续增强、社会预期持续改善、风险隐患持续化解,确保完成全年经济社会发展目标。0000社保系统切换,个人账户大幅减少?深圳官方发布情况说明
参保人养老保险个人账户实际金额未减少,社保个人权益不受影响。5月10日消息,对深圳市社会保险信息系统切换上线广东省集中式系统后,部分网民发现通过“粤省事”等广东省公共服务渠道查询到的企业职工养老保险个人账户金额,与通过“i深圳”等深圳市公共服务渠道查询到的个人账户金额不一致的情况,深圳市社会保险基金管理局发布说明称,参保人养老保险个人账户实际金额未减少,社保个人权益不受影响。锤子财富2023-05-10 13:07:520000清华城市健康报告:上海跃居第一,辽中南、山东半岛进步显著
上海、北京、南京、杭州、深圳、厦门、成都、福州位列我国城市健康水平前八。过去的一年里,全国城市健康水平稳步提升,特别是尾部城市显著改善。其中,上海、北京、南京、杭州、深圳、厦门、成都、福州位列我国城市健康水平前八。长三角、珠三角、辽中南三个城市群排名靠前。锤子财富2023-11-01 16:44:300000人大常委会审议“招考报告”:有地方中考政策连年变化,给家长学生带来困惑
有些出席人员提出,人民群众对优质高等教育的需求依然强烈,应稳步慎重推进“普职分流”,因地制宜,统筹推进职业教育与普通教育协调发展,有条件的地区可以适当提高普通高中入学比例。“有些出席人员指出,有些地方中考政策连年变化,给家长、学生带来困惑。建议在深入研究论证的基础上,科学制定中高考政策,并保持一定的连续性和稳定性。”0000