V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fromMars1130
1D

分享一下自己身上出现过哪些重大线上事故

  •  5
     
  •   fromMars1130 · 1 天前 · 8883 次点击
    136 条回复    2026-04-18 00:16:02 +08:00
    1  2  
    msy45
        101
    msy45  
       17 小时 6 分钟前
    数据库价格单位是分,以为是元了,我直接改的线上数据库,数据错了一天
    还好公司混乱,而且还是线下消费的功能,最后好像就我们开发知道(客户得了优惠都没说🤣)
    elevioux
        102
    elevioux  
       17 小时 2 分钟前
    APP 推送没切环境,公推发了 10 几条测试信息
    7gugu
        103
    7gugu  
       16 小时 59 分钟前
    react native 发外网,忘记发 jsbundle 只同步了配置,导致外网白屏了
    abobobo
        104
    abobobo  
       16 小时 55 分钟前
    积分兑换的时候,1:100 的,忘了微信支付的小数点,搞成了 1:10000 ,被薅了两个当年的新款 iphone ,还好最后退款送积分,把损失拉回来了
    shilianmlxg
        105
    shilianmlxg  
       16 小时 42 分钟前
    @runking 这种是不是团队得用知识库,才能解决忘记之前设定的问题
    theroad
        106
    theroad  
       16 小时 39 分钟前
    写 SQL 提取现网数据,并发没控制好,把数据库 slave 拉挂了
    tt67wq
        107
    tt67wq  
       16 小时 33 分钟前
    把一个环境的服务发现干挂了 20 分钟
    seamonster
        108
    seamonster  
       16 小时 30 分钟前   ❤️ 1
    发短信,给几千人每人重复发了十几条短信,后反馈紧急,停了服务
    shuimuwei
        109
    shuimuwei  
       16 小时 26 分钟前
    yudao 多租户删除,我不小心把管理员那个主租户删了... 导致其余租户都无法登录了
    AutumnVerse
        110
    AutumnVerse  
       16 小时 22 分钟前 via iPhone
    退款脚本,计算退款金额,sql 本来应该是 select sum(price) from xxx where uid=xxx
    测试的时候把 where 条件注释了,上线忘了打开。
    tanx
        111
    tanx  
       16 小时 19 分钟前
    @rocmax 所以我更新 都是 update top(1) xx 了,错了也只是一条数据
    xiayebaibi
        112
    xiayebaibi  
       16 小时 17 分钟前
    同时操作的 生产 linux 删除列 /bin 目录
    自己操作的 mv 直接把线上文件覆盖掉了。
    fbi007130
        113
    fbi007130  
       16 小时 5 分钟前
    多发了一百万 RMB 代金券,没收回,算吗
    teric
        114
    teric  
       16 小时 4 分钟前
    17 年在某行对接海关,当时因为没考虑到 0 点跑批,导致多给海关打了 200 多 W ,后面行里面和海关走了一个多月流程才把钱拿回来。
    jiangfkyyy
        115
    jiangfkyyy  
       15 小时 57 分钟前
    前公司+年少无知的时候发生的事儿了,
    用户说功能失败,我们不好意思要数据,就把用户的密码临时改一下登录上去看看,结果没写 where ,导致密码都改成 123456
    后面赶紧用备份恢复数据,但是期间新增的用户就没法改密码,用户表后面也多加了一列原密码字段
    corcre
        116
    corcre  
       15 小时 55 分钟前
    写 update 没加 where, 生产环境直接加索引卡死了生产数据库之类的🤣
    evan1
        117
    evan1  
    PRO
       15 小时 49 分钟前
    @nickxudotme #74 mentor 也是有故事的人
    ZoR
        118
    ZoR  
       15 小时 41 分钟前
    菜鸟的时候线上操作数据库 update 没加 where 条件,你懂吧
    Sylphiette
        119
    Sylphiette  
       15 小时 11 分钟前
    某一线城市的某机关单位的 xxx 职业线上考试系统,考生正在线上考试呢,我把生产库删了
    ccvip
        120
    ccvip  
       14 小时 51 分钟前
    一个运营中的网站项目,需要第三方协助开发模板,需要把现有代码发给协作方(不给数据)

    我就把网站复制了一份出来,在副本中的网站后台删除用户数据。

    结果,网站图片是保存在第三方云服务器里的,删除用户数据的时候,程序代码有设定会自动删除第三方云服务的图片附件

    悲剧了! 运营中的网站所有图片都没了,网站都有备份,第三方云服务的附件没备份,损失巨大!
    ZXCDFGTYU
        121
    ZXCDFGTYU  
       14 小时 49 分钟前
    不是我的,是开发的。
    给某单位搞的计费系统,算应付费用的时候应该是在总额上累加,结果开发搞成了每次累加总额...
    就比如说我原来应付费用 100 块,又用了 10 块钱的量,应该是 100+10 ,结果开发搞成了 100+( 100+10 )...

    结果搞的全系统的客户人均欠款 1000+,最高的欠款上万,而且居然有客户硬氪金,充值了好多钱硬挺到服务可用
    mach9452
        122
    mach9452  
       14 小时 35 分钟前
    做了商场和秒杀活动,把测试价格发到线上,0.01 卖了几百单
    wxm
        123
    wxm  
       14 小时 0 分钟前
    @JiZhiDeboy 联系到那个人不退,或者电话都不接,涉及人太多最后不了了之了。。
    pursuit9
        124
    pursuit9  
       13 小时 7 分钟前
    rm -rf *
    fjkfwz406
        125
    fjkfwz406  
       12 小时 51 分钟前
    一个查询把线上 ES 搞 OOM 了
    Leeeeex
        126
    Leeeeex  
    PRO
       12 小时 15 分钟前
    之前有人把 iOS 的沙盒支付在生产上放开了
    然后被刷走了十几万,后面公司说要起诉,也不知道后续怎么样
    user100saysth
        127
    user100saysth  
       11 小时 43 分钟前
    远程调试服务器防火墙策略,打开后
    诶,怎么远程断了
    guch99999
        128
    guch99999  
       10 小时 43 分钟前
    我到没有。 分享给同事的 , 他运维,本来是像删除 从库的数据的,登错机器了,把主库删除了, 删除到一半发现了。 被开了
    soleils
        129
    soleils  
       10 小时 10 分钟前
    好几个回复都是: "不过我觉得责任不在我"
    YaD2x
        130
    YaD2x  
       10 小时 7 分钟前
    服务器重启算吗?之前以为连的是自己服务器 直接 reboot 了。然后等重启 恢复服务 用了一个小时。没有啥损失。
    colom
        131
    colom  
       9 小时 48 分钟前
    那会刚进社会,当时做的轧钢产线上的项目,领导说了几次系统在跑的时候不要改程序,我没当回事改掉了,然后程序崩溃,产线直接急停了,还好当时没什么损失,不然后悔一辈子
    he888
        132
    he888  
       9 小时 10 分钟前
    刚开始写代码那会儿,上线新功能,测试之后需要删除测试数据,写了 sql 丢给负责人执行,where 条件写错了,删了整表,负责人搞了一晚上,看我都是想骂的。。
    levelworm
        133
    levelworm  
       9 小时 1 分钟前 via iPhone
    @villivateur #26
    明确一下是老婆的 80GB 还是 80Gb 的老婆?
    binyu
        134
    binyu  
       8 小时 27 分钟前
    用本地代码连线上数据库,登录用户的账号,注释掉密码比对的部分,上线的时候忘记改回来了
    felixcode
        135
    felixcode  
    PRO
       6 小时 29 分钟前
    写几个字的标题就能看这么多热闹,赚了
    jedeft
        136
    jedeft  
       2 小时 53 分钟前
    测试环境给 app 推送消息,错发给全部生成环境的用户了。
    消息内容是公司上市了,老板接到朋友的恭喜电话时一脸懵逼。
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1011 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 185ms · UTC 19:09 · PVG 03:09 · LAX 12:09 · JFK 15:09
    ♥ Do have faith in what you're doing.