故事的开头,,,,,,,,是一个深夜,,,,,,,, 窗外漆黑一片,,,,,,,,屋里灯火通明。。。。。。
办公室里,,,,,,,,寸头短发的IT男们列坐双方,,,,,,,,中心一两个妹子特殊显眼。。。。。。
空气里充满着主要的气氛,,,,,,,,各人紧锁眉头,,,,,,,,盯着电脑,,,,,,,,心情异常严肃,,,,,,,,深更三更,,,,,,,,这群人是谁,,,,,,,,在干嘛??????

原来他们是betway西汉姆官网科技大数据团队驻扎在民生银行信用卡项目的一组程序猿,,,,,,,,认真该项目的闵工回忆起其时的场景仍影象犹新:

2020年4月,,,,,,,,betway西汉姆官网项目团队接到了民生银行卡中心的紧迫需求——在2020年6月16日上线中国民生银行信用卡中心梦想值引擎项目。。。。。。
梦想值是啥??????说白点就类似于积分的作用,,,,,,,,用户在民生银行信用卡APP中通过做使命可以获得梦想值,,,,,,,,再用梦想值兑换商品。。。。。。而我们认真的这个梦想值引擎项目主要为梦想值提供服务接口、数据处置惩罚,,,,,,,,包管梦想值账务的准确性。。。。。。
各人掐指一算,,,,,,,,这工期满打满算也只有1.5个月!并且这个项目对稳固性、扩展性、性能等方面要求都很是严酷,,,,,,,,同时要求7X24小时线上运行,,,,,,,,真的是时间太紧了,,,,,,,,使命太重了!
怎么办??????在betway西汉姆官网科技手艺宝宝的字典里就没有“不可能”这仨字儿,,,,,,,,那就撸起袖子加油干吧。。。。。。
原来一切都在主要有序的推进中,,,,,,,,感受尽在掌握,,,,,,,,直到民生银行信用卡测试团队举行集成测试。。。。。。
那是6月10日,,,,,,,,民生测试团队发明有时梦想值未能正常调增。。。。。。
看到这个征象,,,,,,,,我心里咯噔一下,,,,,,,,做这行,,,,,,,,各人都知道梦想值的准确性是整个项目的基本!若是在生产上泛起该问题,,,,,,,,很难在短时间内解决,,,,,,,,效果将十分严重!
但距离项目正式上线只剩6天,,,,,,,,我的心紧绷起来,,,,,,,,心里只剩下一个念头,,,,,,,,一定要快速找出缘故原由,,,,,,,,解决这个问题!
但这个BUG最大的问题不在于它有多灾解决,,,,,,,,而在于它是无意性的,,,,,,,,会不会复现、什么时间复现都不知道,,,,,,,,基础无法准确定位。。。。。。
我们项目组连忙开会,,,,,,,,向测试团队相识测试场景,,,,,,,,推测可能的种种缘故原由。。。。。。
老韩说:会不会是网络问题,,,,,,,,网络有颤抖??????
老刘说:是不是上游提供新闻有遗漏或者消耗新闻有过失??????调解梦想值泛起问题??????
云云说:会不会是redis什么地方泛起了问题??????
尚有人推测kafka、mysql、hbase或……泛起什么问题??????
你一言我一语,,,,,,,,经由一番最大化的发散讨论后,,,,,,,,我们告竣一致,,,,,,,,思量到BUG的不确定性,,,,,,,,决议接纳虽然最耗时但却是最稳妥的排查计划,,,,,,,,从最源头最先逐步分段举行排查,,,,,,,,剖析种种日志及监控源码。。。。。。于是便泛起了开头的那一幕,,,,,,,,各人都在主要地举行排查,,,,,,,,严阵以待,,,,,,,,寻找BUG所在。。。。。。
时间一分一秒已往,,,,,,,,破晓1点,,,,,,,,项目组基本定位了问题泉源,,,,,,,,原来是由于统一账号相关的多条新闻放入kafka,,,,,,,,在挪用调增接口后,,,,,,,,第一条新闻获取redis锁后短时间不释放,,,,,,,,而其他新闻跳逾期待期直接返回,,,,,,,,导致这些新闻丧失。。。。。。
定位了问题,,,,,,,,各人心里都稍微松了一口吻,,,,,,,,但丝绝不敢懈怠,,,,,,,,连忙分头行动,,,,,,,,云云用自己半吊子的英文加上翻译软件最先翻英文版的redis官方手册,,,,,,,,老刘、老韩则分头查找redis锁机制、锁原理,,,,,,,,锁控制实现代码,,,,,,,,各人细密配合。。。。。。
破晓3点,,,,,,,,云云终于从官方手册找到解决计划。。。。。。我们将源代码修改(将redis锁的期待时间设置为10s,,,,,,,,将锁的超时时间设置为20s)并自测完成后,,,,,,,,连忙提交行方专业测试团队,,,,,,,,最终回归测试乐成,,,,,,,,BUG完善解决,,,,,,,,直到这一刻,,,,,,,,各人悬着的那颗心才真正落了下来。。。。。。
奋战一晚,,,,,,,,我们却困意全无,,,,,,,,心中充满了苦战一场、大获全胜的愉快,,,,,,,,脱离项目组已是破晓4点多,,,,,,,,新的一天即将到来。。。。。。
6月16日,,,,,,,,终于迎来了该项目乐成上线,,,,,,,,不但完善顶住了616运动峰值压力,,,,,,,,也展现出了优越的性能,,,,,,,,我们项目组获得了行方相关向导的高度表扬,,,,,,,,对我们来说,,,,,,,,这不但是对betway西汉姆官网科技项目服务能力的认可,,,,,,,,更是对我们betway西汉姆官网人拼搏精神的一种认可!
后续:
厥后小编再次问闵工,,,,,,,,在这次事务中,,,,,,,,让他印象最深的是什么。。。。。。他说:那一定是betway西汉姆官网组员同心协力,,,,,,,,配合战胜难题的样子呀,,,,,,,,那一刻各人没有一小我私家有情绪、有诉苦,,,,,,,,遗忘时间、遗忘疲倦,,,,,,,,只是纯粹地奔着问题、解决问题,,,,,,,,这也是各人最美的样子……
柴静在《望见》内里曾说:“每一个微笑的背后,,,,,,,,都有一个咬紧牙关的灵魂。。。。。。”