メインコンテンツまでスキップ
0:00
–:––
Space 再生/停止 · ← → 5秒

障害対応(インシデント対応)

メンバー​

  • 田中(たなか) - チームリーダー
  • 李(り) - バックエンドエンジニア
  • 山本(やまもと) - インフラエンジニア

対話内容​

田中: 皆みなさん、急きゅうに集あつまってもらってすみません。今朝けさ10時じごろから本番ほんばん環境でAPIのエラーが多発たはつしていて、今いまもまだ続つづいている状況じょうきょうです。まずどんなインシデントだったか詳くわしく教おしえてもらえますか。

李: はい。決済けっさいAPIのレスポンスタイムが急激きゅうげきに上あがっていて、一部いちぶのリクエストがタイムアウトしています。エラーレートは通常つうじょうの0.1%から今いまは8%くらいまで跳はね上あがっています。

山本: インフラ側がわも確認かくにんしました。DBのCPU使用率しようりつが90%を超こえていて、特定とくていのクエリが重おもくなっているのが原因げんいんだと思おもいます。

田中: なるほど。昨日きのうのデプロイで何なにか変かわった部分ぶぶんはありましたか。

李: 検索けんさく機能きのうのロジックを変更へんこうしました。お客きゃく様視点してんで使つかいやすくしようとしたんですが、そのクエリが想定そうていより重おもかったかもしれません。

田中: そこが怪あやしいですね。山本やまもとさん、今いますぐスロークエリのログを確認かくにんしてもらえますか。

山本: わかりました。確認かくにんします。……見みてみると、検索けんさく系けいのクエリが一件いっけんあたり平均へいきん2.8秒びょうかかっています。通常つうじょうは0.3秒びょうくらいなので、明あきらかに異常いじょうです。

田中: 李りさん、一旦いったんその変更へんこうをリバートするのが早はやいと思おもいますが、どうですか。

李: そうですね。今いますぐリバートします。インデックスの見直みなおしはteam Bと連携れんけいしてやっていきます。

田中: わかりました。復旧ふっきゅうしたら動作確認どうさかくにんをして、結果けっかをSlackに流ながしてください。他ほかに今いま話はなしておきたいことはありますか。

山本: 今後こんごのために、デプロイ後ごのモニタリングのチェックリストを作つくったほうがいいと思おもいます。

田中: いいですね。weekly sync ミーティングで議題ぎだいにしましょう。今後こんごも継続してやっていきましょう。まずはリバートを優先ゆうせんしてください。

語法・表現のポイント​

  1. 〜てもらえますか(依頼・お願い)

    • 用法:请求对方做某事,语气比「〜てください」更委婉,上下级之间或同事之间均可使用。在会议中向同事发出指示时很常用。
    • 例句:今すぐスロークエリのログを確認してもらえますか。
    • 变体:確認していただけますか(更正式,对上级)/確認してもらえる?(同事之间,更随意)
  2. 〜かもしれません(不确定推测)

    • 用法:表示说话人对某事有一定程度的不确定推测,相当于中文"也许……"。在障害対応中汇报可能原因时很实用,语气比「〜でしょう」更谦逊。
    • 例句:そのクエリが想定より重かったかもしれません。
    • 变体:重かった可能性があります(更正式,书面报告)/重かったかも(同事之间,更随意)
  3. 一旦〜のが早いと思いますが(提出建议时的缓冲表达)

    • 用法:「一旦」表示"先暂时",「〜のが早い」表示"这样做比较快",结尾加「が」语气变得更柔和,适合上级向下属提出方向性建议时使用,避免过于强硬。
    • 例句:一旦その変更をリバートするのが早いと思いますが、どうですか。
    • 变体:一旦リバートするのがよいかと思いますが(更正式)/一旦リバートしたほうがよくないですか(同事之间)
  4. 〜と連携してやっていきます(协作推进的表达)

    • 用法:「連携して」表示"与……协作配合",「やっていきます」表示"持续推进",整体传达"我们会跨团队合作推动此事"的意思,是日本职场中非常常见的表态方式。
    • 例句:インデックスの見直しはteam Bと連携してやっていきます。
    • 变体:team Bと協力して進めていきます(更正式)/team Bと一緒にやっていきます(同事之间)
  5. 〜したら〜してください(顺序指示)

    • 用法:「〜たら」表示"做完……之后",用于明确指定操作顺序,在障害対応等需要按步骤推进的场景中非常实用,语气直接但不失礼貌。
    • 例句:復旧したら動作確認をして、結果をSlackに流してください。
    • 变体:復旧が完了しましたら、動作確認のうえご連絡ください(更正式,邮件等书面场合)/復旧したら確認して報告して(同事之间,更随意)

補足語彙

  • 多発(たはつ):频繁发生、大量出现
  • スロークエリ:慢查询(数据库执行时间过长的查询语句)
  • リバート:回滚、还原(代码或变更)
  • 復旧(ふっきゅう):恢复(系统或服务恢复正常)
  • 動作確認(どうさかくにん):功能验证、确认运行正常

中文翻译​

田中: 不好意思突然把大家叫过来。今天早上10点左右,生产环境的API开始大量报错,现在还在持续。能先跟我详细说说这次是什么情况吗?

李: 好的。支付API的响应时间急剧上升,部分请求出现了超时。错误率从平时的0.1%飙升到了现在的大约8%。

山本: 我也查了基础设施这边。DB的CPU使用率超过了90%,应该是某个特定查询变重了导致的。

田中: 原来如此。昨天部署的时候有什么改动吗?

李: 改了搜索功能的逻辑。本来是想从用户角度出发让它更好用,但那个查询可能比预想的要重。

田中: 那里很可疑。山本,能马上帮我看一下慢查询日志吗?

山本: 好的,我来查。……看了一下,搜索相关的查询平均每条要2.8秒。平时大概是0.3秒,明显不正常。

田中: 李,我觉得先把那个改动回滚掉比较快,你觉得呢?

李: 对,我现在马上回滚。索引的优化会跟Team B协作一起推进。

田中: 好的。恢复之后做一下功能验证,结果发到Slack上。还有其他现在想聊的事情吗?

山本: 为了以后,我觉得应该做一个部署后监控的检查清单。

田中: 好主意。放到weekly sync会议上讨论吧,以后也持续推进下去。现在先优先处理回滚。