MS 365 24시간 먹통 사태 총정리 | 원인은 석 달 숨어 있던 버그, 우리가 배울 5가지

반응형
반응형

11월 13일 금요일 아침, 출근하자마자 아웃룩을 켰는데 받은편지함이 열리지 않는다. 팀즈는 느리고, 코파일럿은 응답이 없다. 이번 주 많은 직장인이 실제로 겪은 장면입니다.

마이크로소프트(MS) 365가 약 24시간 동안 전 세계적으로 먹통이 되었고, 국내 기업과 대학, 공공기관도 업무 차질을 겪었습니다. MS가 사후 보고서(예비 PIR)를 공개하면서 원인도 꽤 구체적으로 드러났는데요.

이번 글에서는 ① 무슨 일이 있었는지, ② 왜 하루나 걸렸는지, 그리고 데이터 엔지니어로 일하는 입장에서 느낀 ③ 우리가 가져가야 할 교훈과 당장 해둘 수 있는 대비책까지 정리해 보겠습니다.


1️⃣ MS 365 장애, 한눈에 정리

발생 시각 2026년 11월 13일(금) 오전 1시 20분경 (한국시간)
미국 동부시간 11월 12일 오전 11시 20분
복구 완료 2026년 11월 14일(토) 오전 1시 10분경 (한국시간)
지속 시간 약 24시간
주요 피해 Exchange Online(아웃룩 메일) 접속 불가, 메일 수발신 지연
연쇄 영향 팀즈, 코파일럿, 셰어포인트, 원드라이브, 디펜더, 인튠, 파워BI 등 일부 기능
영향 범위 다운디텍터 기준 70여 개 국가·지역 (한국, 일본, 인도, 호주 포함)
원인 7월 업데이트에 숨어 있던 버그 + 트래픽 증가 + 서버 용량 감소가 겹친 연쇄 장애
해킹 여부 MS는 사이버 공격이 아니라고 밝힘

 

국내에서도 영향이 컸습니다. 일부 대기업은 임직원에게 긴급 공지를 보냈고, 부산신항만은 대체 이메일 주소를 안내했으며, 몇몇 대학도 업무 차질을 공지했습니다. 메일로 소속 확인을 받아야 하는 출장 준비가 막히거나, 협력사와 전화로만 소통해야 했다는 직장인들의 사연도 기사로 나왔죠.

흥미로운 점은 챗GPT와 클로드의 MS 365 커넥터까지 영향을 받았다는 것입니다. AI 서비스 자체가 멈춘 것은 아니지만, 메일과 문서를 불러오는 연동 기능이 함께 멈췄습니다. AI가 업무 도구와 깊게 연결될수록 장애의 파급 범위도 넓어진다는 걸 보여준 사례입니다.


2️⃣ 원인: 세 가지 조건이 동시에 겹쳤다

MS의 예비 사후 보고서에 따르면 이번 장애는 하나의 실수가 아니라 세 가지 요인이 한꺼번에 맞물리면서 터졌습니다. 문제가 난 곳은 MS 365의 여러 서비스 앞단에서 연결을 처리하는 네트워크 게이트웨이였습니다.

✔ 원인 ① 석 달 동안 숨어 있던 버그

올해 7월, MS 365 네트워크 게이트웨이 서버용으로 만든 수정 패치가 배포됐습니다. 이 패치에는 특정 부하 조건에서 내부 프로세스의 락 경합(lock contention)이 생겨 CPU와 메모리를 고갈시키는 결함이 숨어 있었습니다.

문제는 이 패치가 3개월 넘게 전 세계에서 아무 문제 없이 돌아갔다는 점입니다. 사내 부하 테스트는 코어 수가 적은 구형 장비 위주였는데, 이 결함은 코어가 많은 최신 장비에서 더 심해지는 성격이라 테스트에서 잡히지 않았다고 합니다.

✔ 원인 ② 팀즈 트래픽이 같은 게이트웨이로 이동

MS 365에는 서로 독립된 게이트웨이 시스템이 두 개 있습니다. 장애 약 15시간 전, 팀즈가 다른 게이트웨이에서 Exchange Online(메일)과 같은 게이트웨이로 페일오버했습니다. 평소에도 하는 정상적인 운영 절차였지만, 결과적으로 이 게이트웨이의 부하와 트래픽 패턴이 바뀌었습니다.

✔ 원인 ③ 서버 약 14%가 이미 빠져 있었다

같은 시점에 전날 생긴 별개 문제로 게이트웨이 서버 용량의 약 14%가 서비스에서 빠져 있었습니다. 원래는 여유 용량이 충분해서 이것만으로는 아무 일도 없었을 상황이었죠.

늘어난 부하 + 줄어든 서버 + 숨어 있던 버그. 셋 중 하나만 있었다면 아무 일도 없었을 텐데, 미국 업무 피크 시간대에 셋이 동시에 맞아떨어졌습니다.

3️⃣ 왜 하루나 걸렸을까? 연쇄 장애의 무서움

개인적으로 이번 사고에서 가장 인상 깊었던 부분은 평소 서비스를 지켜주던 안전장치가 오히려 장애를 키웠다는 점입니다.

✔ 자동 우회가 불을 옮겼다

서버가 응답하지 않으면 트래픽 관리 시스템이 자동으로 사용자를 정상 서버로 옮깁니다. 평소라면 이게 서비스를 살리는 장치인데, 이번에는 옮겨간 트래픽 때문에 정상 서버도 같은 버그를 만나 멈췄습니다. 같은 양의 트래픽이 점점 더 적은 서버에 몰리면서 2시간도 안 돼 서버의 80% 이상이 응답 불가 상태가 됐습니다.

✔ 격벽(Bulkhead)이 막아주지 못했다

게이트웨이는 수천 개의 용량 단위로 쪼개지고 지역별로 나뉘어 있어서, 원래는 한 지역 문제가 다른 지역으로 번지지 않아야 합니다. 그런데 또 다른 별개 문제 때문에 이 칸막이가 제대로 작동하지 않았고, 장애가 전 세계로 퍼졌습니다.

✔ 살려낸 서버가 다시 쓰러졌다

복구된 서버는 기다리고 있던 트래픽을 한꺼번에 받으면서 곧바로 다시 멈췄습니다. 자동 복구 절차는 이렇게 광범위하게 멈춘 상태를 되살리도록 설계되지 않았다고 합니다.

✔ 롤백도 쉽지 않았다

원인이 몇 달 전 변경이다 보니 평소 쓰던 롤백, 단계적 배포(flighting), 기능 플래그(feature flag)로 바로 되돌릴 수 없었습니다. 결국 문제 코드 경로를 이전의 정상 상태로 되돌리는 업데이트를 새로 만들어, 서버 그룹을 하나씩 빼서 적용하고 재시작하는 방식으로 복구했습니다.

참고로 팀즈, 원드라이브, 셰어포인트처럼 다른 경로로 피할 수 있었던 서비스는 비교적 빨리 회복됐고, 규모 때문에 우회가 어려웠던 메일(Exchange Online)이 가장 오래 묶여 있었습니다.


4️⃣ 내가 본 이번 장애의 교훈 5가지

데이터 파이프라인을 운영하다 보면 규모는 훨씬 작아도 비슷한 패턴을 자주 만납니다. 그래서 이번 보고서는 남 일 같지 않게 읽혔습니다.

✔ 1. 재시도와 페일오버는 양날의 검이다

장애 대응 자동화는 "트래픽을 어디로 보낼지"만큼 "언제 보내지 말아야 할지"도 알아야 합니다. 클라이언트 재시도에는 지수 백오프와 지터를, 서버 쪽에는 서킷 브레이커와 부하 차단(load shedding)을 두는 이유가 바로 이것입니다. MS도 재발 방지책으로 트래픽 분산 가드레일과 트래픽 우회 패턴 모니터링을 추가했다고 밝혔습니다.

✔ 2. 테스트 환경이 운영 환경과 다르면 테스트가 아니다

구형 장비로 한 부하 테스트가 최신 고사양 장비의 문제를 놓쳤습니다. 우리 팀의 스테이징도 운영과 같은 인스턴스 타입, 같은 트래픽 구성을 쓰고 있는지 한 번쯤 점검해볼 만합니다.

✔ 3. "몇 달 동안 괜찮았다"는 안전의 증거가 아니다

잠복 버그는 특정 조건이 맞아야만 드러납니다. 오래된 변경일수록 롤백 경로가 사라지기 쉬우니, 핵심 경로의 변경은 시간이 지나도 끌 수 있는 스위치를 남겨두는 습관이 중요하다고 느꼈습니다.

✔ 4. 격벽은 "있다"가 아니라 "작동한다"를 확인해야 한다

지역 격리는 설계 문서에만 있으면 의미가 없습니다. 카오스 엔지니어링이나 정기 장애 훈련으로 실제로 장애가 칸막이 안에 갇히는지 확인해야 합니다.

✔ 5. 쌓인 백로그를 어떻게 소화할지도 설계해야 한다

복구 직후 밀려든 대기 트래픽에 서버가 다시 쓰러진 장면은, 카프카에서 컨슈머 랙(Consumer Lag)이 쌓였다가 한 번에 몰릴 때와 비슷합니다. 복구 계획에는 "켜는 법"뿐 아니라 "천천히 받아들이는 법"도 들어가야 합니다. 백로그 관리에 관심 있다면 Kafka Consumer Lag 해결 방법 글도 함께 참고해 보세요.


5️⃣ 직장인과 팀이 지금 해둘 수 있는 대비책

클라우드 장애는 개인이 막을 수 없습니다. 하지만 멈췄을 때 덜 곤란해지는 준비는 할 수 있습니다.

✔ 개인이 할 수 있는 것

  • 장애 여부부터 확인: 내 PC 문제인지 헷갈릴 때는 Microsoft 365 서비스 상태 페이지(status.cloud.microsoft)나 MS 365 상태 공식 X 계정(@MSFT365Status)을 먼저 확인하세요.
  • 중요 파일은 로컬에도: 원드라이브의 "이 디바이스에 항상 유지" 기능으로 당장 필요한 문서는 오프라인에서도 열 수 있게 해두세요.
  • 데스크톱 아웃룩 캐시 모드 활용: 클래식 아웃룩의 캐시 모드를 켜두면 서버가 멈춰도 이미 받은 메일과 일정은 PC에서 볼 수 있습니다.
  • 핵심 연락처는 따로 저장: 자주 연락하는 협력사와 팀원의 전화번호는 메일 주소록 말고 휴대폰에도 저장해 두세요.

✔ 팀과 회사가 할 수 있는 것

  • 대체 소통 채널 정하기: 메일과 메신저가 동시에 멈출 때 쓸 채널(전화, 문자, 다른 메신저)을 미리 정해두세요.
  • 장애 공지 템플릿 준비: 대체 이메일 주소와 연락처를 담은 공지문을 미리 만들어두면 혼란을 크게 줄일 수 있습니다.
  • 의존성 지도 그리기: 우리 업무 중 MS 365(메일, 인증, 파일)에 기대는 업무가 무엇인지 목록으로 정리해두세요. 이번처럼 AI 커넥터까지 함께 멈출 수 있습니다.
  • SLA 확인: 기업 고객이라면 계약한 서비스 수준(SLA)에 따라 서비스 크레딧을 청구할 수 있는지 관리자와 함께 확인해 보세요.

실제로 국내 보도에 따르면 자체 메일 시스템을 쓰는 일부 대기업은 이번 장애의 영향을 상대적으로 덜 받았다고 합니다. 모든 회사가 자체 구축을 할 수는 없지만, 한 회사의 클라우드에 모든 업무가 묶여 있는 구조의 위험은 이번 기회에 한 번쯤 따져볼 만합니다.


6️⃣ 자주 묻는 질문 (FAQ)

Q. 해킹이나 사이버 공격이었나요?

A. 아닙니다. MS는 이번 장애가 기술적 문제이며 사이버 공격이 아니라고 밝혔습니다.

Q. 내 윈도우 PC도 같은 버그가 있나요?

A. MS는 이 결함과 패치가 MS 365 네트워크 게이트웨이 서버 전용이며 일반 윈도우 환경에는 해당하지 않는다고 설명했습니다.

Q. 장애 동안 못 받은 메일은 사라졌나요?

A. MS는 지연된 메일이 반송되지 않도록 전달 대기 시간을 늘렸고, 대기 중이던 메일을 모두 처리했다고 밝혔습니다. 그래도 중요한 메일은 보낸 사람에게 한 번 더 확인하는 게 안전합니다.

Q. 더 자세한 원인은 언제 나오나요?

A. 이 글은 11월 15일자 예비 보고서를 바탕으로 썼습니다. MS는 최종 사후 보고서를 11월 20일까지 공개하겠다고 했으니, 장기 재발 방지책은 그 보고서에서 더 자세히 확인할 수 있을 것입니다.


마무리

이번 MS 365 장애는 "클라우드는 절대 안 멈춘다"는 막연한 믿음을 깨준 사건이었습니다. 동시에, 세계 최고 수준의 엔지니어링 조직도 잠복 버그, 자동화의 역효과, 격벽 실패라는 고전적인 함정에 빠질 수 있다는 것도 보여줬습니다.

개발자라면 우리 시스템의 재시도와 페일오버 로직을, 직장인이라면 "메일이 멈추면 나는 어떻게 일하지?"를 한 번 떠올려 보는 계기가 되면 좋겠습니다. 여러분 회사는 이번 장애 때 어떻게 대응하셨나요? 댓글로 경험을 나눠주세요.


참고 자료

반응형

댓글

Designed by JB FACTORY