뜌릅

1. 장애 요약어느 날 갑자기 Airflow 운영 서버의 MongoDB 업로드 Task에서 원인 불명의 에러가 발생했습니다. 코드 변경이 없었음에도 세 가지 양상의 에러가 무작위로 나타났습니다.증상 1 (무한 대기): 로그 없이 40시간 이상 Pending 상태 지속 (알람 미발생).증상 2 (Exit -6): double free or corruption으로 인한 프로세스 강제 종료.증상 3 (Exit -9): OOM(Out of Memory) 발생 및 컨테이너 셧다운.코드도 변경이 없었고, 로그도 일관적이지 않았습니다...2. 디버깅 로그: 원인을 찾기 위한 사투문제 해결을 위해 인프라와 이미지의 모든 경우의 수를 테스트했습니다.구분테스트 내용 및 결과결론코드최신 커밋 리버트(Revert) 후 실행 ..

새로운 요구 사항,,,새로운 요구 사항이 생겼다.우리회사에는 C++로 작성된 엔진파일이 존재한다. 이 코드에 구현된 알고리즘을 통해 우주에서 발생할수 있는 수많은 NP-HARD 문제를 해결할 수 있다. 문제는 Airflow는 파이썬 환경이며, Docker Container 형태로 Worker Node에 설치되어 있는 상황이다. C++ 파일을 Docker Mount하더래도, 컴퓨팅 환경에 맞춰 빌드해야하는 C++가 도커 워커 내부에서 돌아갈리 만무하다. 사실 이 문제는 C++코드를 Docker Image로 말았으면 해결될 문제였지만, 그때는 그 생각을 하지 못하여 SSH Hook이라는 최악의 방법을 꺼내들고 말았다. SSH HookSSH을 통해서 원격접속을 한뒤, 빌드되어있는 C++ 파일을 실행하면, 이..

야근의 끝,,,길고 길었던 회사에서의 야근이 끝났다. 새로운 직원들도 들어왔고, 레거시 코드와 일 자체도 안정화 되고있다.이제 잠깐 한숨을 돌릴 시간이 생겼다. 쉬면서 생각해보니 많은 문제가 Airflow에서 나왔었다.스케줄링 마비, BFS 도어 해킹 (언제부턴가 이상한놈이 채굴을 하고있었다......), C++ 바이너리파일 실행하기, 컨테이너 내부 시스템 라이브러리의 충돌(이건 찾아낸게 기적이다) 등등,,,,,,,,,,, 과거를 회고할겸 나를 가장 골치아프게 했던 Airflow을 구축했던 경험을 적어보고자 한다. Airflow 도입 이유당시 나는 처음 정규직으로 입사한 주니어중에 주니어 개발자였지만 겁도 없이 Airflow 도입을 결정하였다. Airflow을 들어보지도 못했고, 회사에는 시니어도 동..