这是华为人的平常夜晚

心声社区2020-08-19 13:31:50

编者按:这是一个平常得不能再平常的夜晚,一个普通的研发团队在接到客户的紧急需求后,连夜解决了一个不算尖端但却棘手的问题。没有枪林弹雨,也没有轰轰烈烈,可这就是华为人的日常,类似的故事,几乎每天都在上演,个中酸甜,唯有自己能体会。



临危受命


2013年春节后不久的一日下午,坂田刚到下班时间,ATCA(硬件研发平台)的李安正在收拾东西,期待着一会儿在草根足球场的蛇年“首战”。突然接到来自北美一线同事的电话求助:“兄弟, H产品在北美运营商的Z城局点扩容出了点问题,一块交换板发生故障,我们怀疑是硬件缺陷。”


阴霾如暴风雪一般笼罩着李安的心头。这是H产品在全球的TOP1局点,仅仅两个月前,该局点因为友商设备缺陷导致了一次升级失败,让客户有些敏感。此番,客户对华为的设备也心存疑虑,要求第二天北京时间中午12点前务必找出根因并解决,以确保继续扩容,否则华为将面临回款阻塞甚至被罚款的风险。


李安抬手看看表,还有不到18个小时。他感受到了压力,作为ATCA承接团队的维护PL,他接触H产品刚刚两个月时间,这是第一次独自承担重大问题攻关。


“所有人,周五晚要泡汤了,大事。”李安拍拍手,示意团队成员。年轻的团队开始攻关,指导一线同事分析信息。


一个小时过去了,产品软件配置的原因被排除。


又一个小时过去了,交换板配置问题被排除。


坂田上空暮色已来临,受限信息安全,在深圳的团队没法收取更多信息,只能通过操作设备来分析,是否为硬件故障。但是此次是远程扩容,华为的一线同事不在局点,机房也没有客户的工程师。李安和团队需要等到深夜,那时北美已至上班时间,客户工程师到场后才能调试设备。


等待,让大伙的身体得到短暂喘息,可时间一分一秒流逝,大伙的精神陷入焦虑。“刚才走廊有只燕子飞过,好兆头啊”,李安拍着邵光领的肩膀,“别紧张,是问题肯定都能解决的”。

跑马拉松。故事所有主人公都在图里。

山穷水尽


经过漫长的等待,一线终于传来好消息:客户那边有人去局点了,并且到现场观察后,初步反馈了一些关于设备的信息。我们赶紧分析信息,很快向客户传递了下一步操作指令,希望对方操作后再次反馈信息。


可一等就是一个多小时。“不至于啊,我们的操作指令已经非常简单清晰,最多二十分钟就能反馈了啊。”刚才还宽慰大家的李安,自己内心泛起一丝隐忧。


这时,一线同事终于将客户的反馈信息传递回来。可之后两三轮的信息传递中,每次都是我们很快就能应答,而客户方总是一个多小时后才回信息。“什么情况。”李安自己念叨着。


此时的坂田已经临近十二点,而局点所在的Z城虽是白天,却狂卷起了暴风雪。一线又传递过来一个消息,令所有人哭笑不得:Z城暴风雪太大,如果积雪太深,对房屋和交通都有严重的安全隐患,所以这位客户隔段时间就要去院子里扫雪,可每次扫雪都没有带手机,所以谁都联系不上他。


等待与煎熬中度过了三个多小时,那位客户终于按照我们的指引,完成了网线、前插板、后插板等所有排查工作。攻关团队结合他的反馈信息,排除了交换板故障的可能。


 “都没有问题?”李安问到,“那就只有机框背板有嫌疑了?”这是最坏的可能性。即使一线人员争分夺秒,也不一定能在中午之前完成机框背板的更换,何况Z城大雪,许多航班停飞,备件怎么运过去呢。


“是不是客户没理解我们的操作指引。”邵光领捕捉到客户扫雪的细节后,怀疑那位局点唯一的客户并非技术人员,于是把操作的每一步都画成图,发给客户再核对一遍。另一头,一线同事迅速联系备件中心,在北美另外一个城市找到了机框背板的备件,做好最坏的打算。


“图画版”操作步骤发给客户后,又是漫长的等待,大概Z城的大雪还在纷飞吧。此时坂田已经凌晨三点,李安才想起来大家都还没吃晚饭,好在附近的肯德基还在“陪伴”着大家。


填饱肚子,客户的反馈来了:之前的操作准确无误,与华为方的指引完全一致。同时我们还得知,那位“扫雪僧”是货真价实的工程师。


仅有的一丝希望也破灭了,看来非更换机框不可了。电话会议里,一线同事已经在讨论如何将机框送往Z城。

莲花山的华为遐想


峰回路转


“我还是觉得不太可能,ATCA单板发货过百万,还没出现一例机框故障。”李安摇摇头,站在白板前,会议室里一片沉寂。沉寂又被他自己打破,“如果不是硬件问题,还有什么可能?”


 “客户反馈的信息有错误?”邵光领嘴里回答,可心里连自己都有点不信,因为客户已经进行了两次验证。


“你们想想C产品在俄罗斯的E1鸳鸯线案例,复杂问题很可能都是微小错误导致的。”李安一句话,让大家重振精神,从头开始重新排查,结论依然是设备没有问题。


只可能是网线的问题了,由于无法抓包确认,攻关团队只能通过推理,分析可能是客户对端的Vlan端口配置错误。“对!让客户检查Vlan端口配置!”团队似乎重燃信心。


这次客户的响应非常快,十分钟后消息返回到坂田:客户的Vlan端口标识和实际配置不符,导致交换板级联线连接到了错误的Vlan端口。客户自己摆了个乌龙。


真相大白。客户表示非常惊讶,“你们华为工程师长了千里眼吗?”


电话会议里氛围瞬间变得轻松,有人玩笑说苛刻的客户自己也会犯低级错误啊,有人调侃扫雪的客户才是真正的高手。


“安爷,球鞋还在座位下,要不现在去球场来个蛇年首秀”,大家在玩笑声中,对问题做了简要总结和通报,迎着朝阳回宝岗。

 

客户扫完了Z城局点的积雪,攻关组也扫清了客户心中的积雪,树立了华为高质量的品牌和客户为中心的诺言。这个未眠的坂田之夜,让年轻的ATCA承接团队收获了信心。ATCA落地西安后,质量实现跨越式领先,发货增长一倍,并荣获公司金牌团队奖。     

ATCA承接团队


本文来自《华为人》,转载请注明出处。


心声社区就是华为的罗马广场

长按二维码关注心声微信公众号