- 유머가 아닌 펌글, 영상 등 가볍게 볼 수 있는 글들도 게시가 가능합니다.
- 여러 회원들이 함께 사용하기 위해 각 회원당 하루 5개로 횟수제한이 있습니다.
- 특정인 비방성 자료는 삼가주십시오.
Date 22/12/30 08:25:29
Name   그저그런
File #1   Screenshot_20221230_081856.jpg (2.87 MB), Download : 3
Subject   IT 엔지니어 거품 무는 짤


원제 : 서버점검이 오래 걸리는 이유

PM, PL, 프론트엔드, 백엔드, QA, 운영자

모두 공감 가능한 짤일것 같아서 가져왔읍니다.


Mission critical 한 서비스 관련일수록 더 임팩트가 클것 갗아요 ㅎㅎ



1


중대코딩오류처벌법을 만들어야할듯..
5
서버 중단 시 업무개시명령도 해야 함.
4
실행오류가 하나도없으면 그게 더 무섭다는 프로그래머들
게임사인가요? 편한 소리들 하네요...
'기능 적용을 위해 1시간 정도 서버 셧다운이 필요합니다.'
'뭐하느라 1시간이나 걸려? 30분에 안돼?'
'빠듯합니다.'
(기능적용후)
'어? 안되는데?'
'야이 ㅅㅂ... 당장 원복하고 서버 올려!'

고민이고 원인 분석 테스트고 뭐고 할 시간이 없습니다.
소시적에 1분 비가동 내서 공장장한테 불려가서 개까임. 너희까지 왜 비가동내냐고.. 1분이 소중한줄 알라고..
https://aws.amazon.com/ko/compute/sla/
aws high availability 보장 내용에서도 99.99%를 약속하는데, 이건 반대로 서비스가 안되는 시간이 0.01%는 생길 수 있어요 하는거라 1년 서비스하면 그동안 50분 정도는 장애가 있을 수 있으니 양해해 달라는 이야기입니다.

공장의 1분의 비가동 시간이 얼마나 큰 가치가 있는지 모르지만, 중요한 서비스라면 그만큼 비용을 들여서 다중화를 하면 되는데 거기서부터는 기술자는 견적만 내는거고 가격표 보고 그만큼 비용을 지불 할 건지 아니면 그냥 위험을 안고 갈건지 가치 판단은 관리자가 하는건데;
그 공장장은 나쁜 관리자네요.
그저그런
1) 선생님이 말씀하신 내용은 SLA가 그렇다는거지, 실제 크리티컬한 서비스에서 50분 장애가 나도 된다는 뜻이 아닙니다. 선후를 잘못 생각하신듯요.
+ 그래서 크리티컬한 서비스는 멀티클라우드를 쓰기도 합니다. AWS장애나면 AZURE로 돌려야 해서요. 그걸 생각하면 카카오는 참...
2) 다중화와 서버 업데이트간의 장애는 상관없습니다. 2중화 된 서버를 하나씩 업데이트 하는게 아니니까요. 그러면 오히려 데이터 꼬이죠. 아무리 비용을 들여 다중화를 해도 업데이트간 장애는 실제로는 커버되지 않습니다.
위 댓글에서 제가 어떤 선후 착오가 있었는지요?

1) 서비스 다운타임 1분 건에 대해서 위에 적은거 조목별로 풀어서 다시 써 보겠습니다.
a: IDC에서 실제 머신을 관리해도 기기 장애는 생길 수 있고, 클라우드 업체에서 임대를 해도 100% 기동을 보장하지 않는다.
b: 그래서 잠깐이라도 다운타임이 있어서는 안되는 서비스라면 다중으로 보험을 들어야 하는데 거기에 비용을 얼마나 쓸 것인지는 기술자는 가격표 견적을 뽑는거고 상급 관리자가 리스크 관리 비용을 얼마나 쓸 건지 결정하는거다.
c: 공장장이 비가동 1분에 대해서 ... 더 보기
위 댓글에서 제가 어떤 선후 착오가 있었는지요?

1) 서비스 다운타임 1분 건에 대해서 위에 적은거 조목별로 풀어서 다시 써 보겠습니다.
a: IDC에서 실제 머신을 관리해도 기기 장애는 생길 수 있고, 클라우드 업체에서 임대를 해도 100% 기동을 보장하지 않는다.
b: 그래서 잠깐이라도 다운타임이 있어서는 안되는 서비스라면 다중으로 보험을 들어야 하는데 거기에 비용을 얼마나 쓸 것인지는 기술자는 가격표 견적을 뽑는거고 상급 관리자가 리스크 관리 비용을 얼마나 쓸 건지 결정하는거다.
c: 공장장이 비가동 1분에 대해서 질책을 했다는데, 상급 관리자로서 기술책임자에게 위험성과 비용 견적을 받고 결정을 했다면 본인의 판단에 따른 책임을 방기한거고, 기술 책임자에게 견적서를 받아 보지 않았다면 권한을 위임하면서 생긴 관리책임을 지지 않은거니 나쁜 사람이다.

2) 서버 점검과 1분 비가동이 같은 건이라 이해하신 거 같은데 저는 별개의 건이라 생각했습니다.
기능 적용하느라 서비스 내리고 배포했다가 오동작 확인하고 서버 다시 내리고 롤백하고 재기동 하는데 1분밖에 안걸린다는걸 저는 상상할 수 없었습니다.
그저그런
1) SLA는 장애를 양해 해달라는 뜻이 아니니까요?
인프라인 AWS가 99.99 가용성을 제공한다고 실제 서비스가 1년에 50분 정도는 장애가 있을수 있다는 뜻이 되는건 아니죠.
밑에 풀어쓰신 내용도 대체로는 동의하지만 실제 운영에서 위험성과 비용견적이 비례하진 않습니다. 이중화로 해결 안되는 장애도 분명히 있고요.
자원이 없으면 장애를 막을수 없지만, 자원만 있다고 장애가 해결되는게 아니라서요. 운영자와 개발자의 실력차이도 요소중 하나이니 저런 질책이 있을수 있다고 봅니다.
2) Picard 글이 하나라서 그냥 하나의 사건이라 생각했습니다. 기능 적용이 2시- 4시인데 4시까지 해결안되고 4시 1분에 해결되면 1분만큼 손해라고 할수도 있을것 같았어요.
aws sla 를 예로 들어서 99.99% 고가용성이라도 1년에 50분정도 장애가 생긴다.
=> 그래서 서비스 다운타임이 중요한 경우 다중화 등 추가 작업이 필요하다.

이 부분에서 저는 서비스 하다 보면 1년에 50분 정도 장애 생기는건 어쩔 수 없는 일이니 그냥 참고 넘어가야 한다고 이야기 한 적은 없는데요.
aws sla는 아마존에서 손님들이 손해배상 소송 걸 경우에 대비해 새운 약관이고, aws와 같은 클라우드 서비스를 연장으로 쓰는 경우에도 서비스 장애 관련해서 미리 고려해야 한다고 이야기를 풀어 나갔습니다.
저는 aws 가 100%를 보장하지 않으니 실제 라이브 서비스에서도 마찬가지여야 한다고 주장한 적이 없는데 왜 그렇게 받아들이고 계신지 납득이 가지 않습니다.
1) SLA는 장애를 양해 해달라는 뜻이 아니니까요?

Amazon Web Services 의 service-level-agreements 는 아마존에서 제공하는 기능을 이용하던 손님들이
아마존 장애 때문에 피해를 보았다고 손배 소송을 낼까봐 안전장치로 준비한 약관 같은거라 생각합니다.
'우리가 고가용성이라 하는 건 99.99%로 1년 중 50분 정도는 정상적으로 동작하지 않을 수도 있다.
그러니 우리가 제공하는 기능을 구매해서 사용할 때 이걸 미리 알고 쓰셨으면 한다.' 하고 아마존에서 미리 고시한 내용이지 않습니까. ... 더 보기
1) SLA는 장애를 양해 해달라는 뜻이 아니니까요?

Amazon Web Services 의 service-level-agreements 는 아마존에서 제공하는 기능을 이용하던 손님들이
아마존 장애 때문에 피해를 보았다고 손배 소송을 낼까봐 안전장치로 준비한 약관 같은거라 생각합니다.
'우리가 고가용성이라 하는 건 99.99%로 1년 중 50분 정도는 정상적으로 동작하지 않을 수도 있다.
그러니 우리가 제공하는 기능을 구매해서 사용할 때 이걸 미리 알고 쓰셨으면 한다.' 하고 아마존에서 미리 고시한 내용이지 않습니까.
아마존 입장에서 자기들이 제공하는 서비스의 장애 가능성에 대해서 미리 양해를 구하는 내용 아닌가요?


인프라인 AWS가 99.99 가용성을 제공한다고 실제 서비스가 1년에 50분 정도는 장애가 있을수 있다는 뜻이 되는건 아니죠.

저는 "Amazon Web Services" 와는 별개로 [공장의 1분의 비가동 시간이 얼마나 큰 가치가 있는지 모르지만, 중요한 서비스] 에 대해서 aws sla 가 동일하게 적용되어야 한다고 주장한 적이 없습니다.
제가 언급하지 않은 내용에 대해서 반복해서 주장을 하고 계신데 근거를 들어 주셨으면 합니다.
두번우려낸티백
게임도 다운타임에 민감합니다. 썰 푸신 분이 초보자에 문제 의식 없는거예요.
라이브 서비스 경험, 특히 사고대응 경험이 있으면 렙업이 빠르긴 합니다;
전투기 타는 분들이랑 비교하면 실전에서 기체 날려먹고 낙하산 타서 살아남은거나 마찬가지니까요.
jobdescription
테스트 서버가 따로 없는건가요?

게임개발자가 아니여서 그런지.. 프로드 서버에 테스트없이 바로 코딩을하는개념이 이해가 안가네요
두번우려낸티백
그냥 썰 푸신 분이 초보자여서 그런 것 같습니다.
1
그저그런
네. A/B 테스트도 안하고, 서버 업데이트날 라이브 코딩 한다는데서.. 이미 비전문가구나 싶은거쥬 ㅎㅎ
퍼블리셔 끼고 게임 서비스 하고 있는데 dev, qa, stage, audit, prod 합치면 두 자릿수가 나옵니다.
미고띠
게시글 제목이 거품 무는 짤이니까요. 현업 기준으로 말도 안되는 이야기입니다. ㅋㅋㅋ
원금복구제발ㅠㅠ
썰 푼 사람이 정말 이제 배우기 시작한 사람이네요 ㅋㅋㅋㅋㅋ
코드가 잘못작성된 얘기랑은 살짝 동떨어진 시점의 얘기인데 ㅋㅋ qa 때 나오는 얘기죠 저건 ㅋㅋ 배포가 아니라 ㅋㅋ
여기가 홍차넷 개발자 벙개 장소인가요
글 쓰신 목적에 부합하였는지는 모르겠는데 진짜 만선이네요.
2
jobdescription
가입할때부터 궁금했는데
혹시 실례지만 스프링 책쓰신 토비님 이신가요..? ㅋㅋㅋ
아닙니다 ㅎㅎ
그분은 찐토비님이고 저는 짭토비입니다 ㅎㅎ
1
6시간이나 고민해야하면 테스트는 물론이거니와 로깅이나 모니터링쪽도 제대로 안 되어있을 가능성이..
오래 걸리는 서버 점검은 알고리즘에 의한 문제라기 보다는 db를 어떻게 롤백할 것인가가 주를 이루지 않으려나 싶습니다.
사전에 공지를 한 대규모 서버 점검은, 당연히 대규모 패치겠죠. 온라인 게임으로 치면 메이저 버전이 올라가는 수준의.. 회사마다 다르겠지만 개발서버 테스트서버에서 몇일에 걸쳐서 테스트를 완료하고 패키징이 끝난 빌드도 점검도중에 라이브 서버에 올리면 말도안되는 버그가 발생하는 경우가 빈번했습니다. 당장 생각나는게 이벤트로 바나나 아이템이 추가되었는데 바나나아이템 획득 후 재접속을 하면 착용 아이템이 모두 바나나가 되는... (진짜 10초정도 뇌정지가 왔음) 물론 점검 중에 수정이 완료되었지만요.
목록
번호 제목 이름 날짜 조회 추천
공지 유머 게시판 이용 규정 9 Toby 15/06/01 58338 9
68444 250417 오타니 쇼헤이 시즌 6호 리드오프 홈런.swf 김치찌개 25/04/23 30 0
68443 250420 스즈키 세이야 시즌 6호 2점 홈런.swf 김치찌개 25/04/23 22 0
68442 1980년대 프로스펙스의 위엄.jpg 2 + 김치찌개 25/04/23 75 0
68441 태권도 vs 무에타이 누가 더 쎌까?.jpg 김치찌개 25/04/23 51 0
68440 이서진 : 공부는 유전이다.jpg 김치찌개 25/04/23 75 0
68439 대부분 불호라는 유부초밥 6 + 골든햄스 25/04/22 215 0
68438 250422 이정후 1타점 3루타.swf 김치찌개 25/04/22 85 0
68437 250419 스즈키 세이야 시즌 5호 솔로 홈런.swf 김치찌개 25/04/22 28 0
68436 역대 넷플릭스 오리지널 한드 평점 순위.jpg 1 + 김치찌개 25/04/22 151 0
68435 만화책 킹덤 너무 재미가 없음.jpg 2 + 김치찌개 25/04/22 221 1
68434 박명수가 말하는 '테슬라를 타면 다른 차를 못 타는 이유'.jpg 김치찌개 25/04/22 194 0
68433 당신은 하이엘프에 대해 들어 보셨습니까? 1 닭장군 25/04/22 182 0
68432 모르는 초딩이 용돈주더라 swear 25/04/22 236 0
68431 50억 받고 지금까지 본 야동공개 조홍 25/04/22 271 0
68430 유럽에서 가장 습한 나라 2 이이일공이구 25/04/22 252 0
68429 청춘을 희생시킬 수 있으신가요? 19 자몽에이슬 25/04/22 594 1
68428 보고 흠칫한다는 YTN 뉴스장면 4 swear 25/04/22 585 0
68427 아이유가 말해주는, 박보검이 ‘폭싹’ 촬영중 단 한번 엄격했던 순간 6 swear 25/04/22 496 0
68426 난 회사에서 메신저로 소통할때 ㅎㅎ쓰는게 잘못된건지 첨 알음 15 swear 25/04/22 541 0
68425 두 아들맘 황정음에게 의문을 갖게 되는 부분 5 swear 25/04/22 498 0
68424 보관온도의 중요성 이이일공이구 25/04/22 409 0
68423 한국에 진출 못하는 일본의 석유 운송 회사 5 루루얍 25/04/21 841 1
68422 레딧에 올라온 비행기에 4개월 아기 데리고 탑승한 한국맘 swear 25/04/21 629 1
68421 고양이 털 색깔이 정해지는 과정 swear 25/04/21 532 1
목록

+ : 최근 2시간내에 달린 댓글
+ : 최근 4시간내에 달린 댓글

댓글