빅데이터 연합동아리 BITAmin | 현직자 초청 강연 그 후

지난 2024년 11월, 비타민 선배님들 중 현직에서 실무를 하고 계시는 분들을 초청하여 강연을 듣는 자리 있었습니다. 비타민 2기의 넥슨 추천팀에서 근무하시는 선배님의 명함을 쉬는 시간에 받았었는데, 마침 판교에서 카카오테크 부트캠프를 하고 있었기에 연락을 드려보았습니다. 게임, 데이터 분석, AI에 관심이 있는 동료도 주변에 많이 생겨서 메일로 멘토링 시간을 요청드리고 감사하게도 시간을 내 주셔서 찾아뵈었습니다.

 

사전 공부

찾아 뵙기 전, 넥슨 데이터 분석가 직무 공고를 확인했더니 다음과 같았다.

• 데이터 분석 경험이 있으신 분 (분석 실무 경력, 분석 분야 입상 경험, 개인 프로젝트 등)
• Spark, Zeppelin, Airflow, Tableau 활용 경험과 이해가 있으신 분
• 통계학 및 데이터 분석 관련 학위가 있거나 이에 준하는 지식을 보유하신 분
• 넥슨 게임의 실제 플레이어 (특히, 마비노기 모바일, 마비노기, 바람의나라 클래식, 바람의나라 우대)

다른 것들은 이해가 갔는데, Spark, Zeppelin, Airflow는 생소했다. (태블로는 데이터 시각화 도구. BDA 수강때 봤다) 

이들은 데이터 엔지니어링 파이프라인을 구하기 위한 도구들이다.

 

서비스 동작을 위한 테이블 구조와 실시간으로 발생하는 대량의 데이터 원본은 데이터 분석에 적합한 형태가 아니다. (e.g. 유저 로그 데이터). 때문에 원시 데이터를 데이터 분석에 용이하게 가공하고 중앙에서 보관하여 하는 절차가 필요한데, 이러한 과정을 ETL (extract 추출 - transform 변환 - load 적재)이라고 부른다. 그리고 서비스 동작과 데이터 분석을 위한 두 가지 데이터 흐름이 OLTP vs OLAP 개념이 된다. OLTP는 트랜잭션 단위로 이루어지며, 비용 효율성과 정합에 초점이 맞추어져있는 것이다. OLAP가 데이터 분석가의 데이터 활용이라고 볼 수 있다.

 

Snowflake는 클라우드 기반 데이터 웨어하우스이다. MySQL, PostgresSQL과 같이 서비스를 위한 데이터 베이스에서 데이터가 장기 보관하고 적재 및 분석하기 위한 도착점이다. Spark는 대규모 데이터를 빠르게 처리하는 분산 컴퓨팅 프레임워크이다. Pytorch, Tensorflow가 딥러닝을 위한 프레임워크인 것 처럼, 분산 처리를 위한 라이브러리인 것이다. Airflow는 데이터 파이프라인을 스케줄링하고 관리하는 오케스트레이션 툴이다. 크론 스케줄의 업그레이드처럼 독립된 여러 작업을 연속적으로 실행시켜주는 툴이다. 이러한 도구들을 사용해서 데이터를 마련한 후 Zeppelin, Tableau로 분석, 시각화를 진행하게 된다.

---

Q&A

채용

채용공고를 보면 데이터 플로우 툴인 Airflow, Spark 등의 사용 능력을 언급하는 경우가 많다. 하지만 경력직 혹은 연구실에서 산학협력쪽에서 운좋게 기회가 있었던 경우를 제외하면 많이 찾아보기 힘든 사례라고 한다. 학부생은 물론이고 석사생이라고 해도 해당 사항에 큰 부담을 가질 필요는 없고, SQL 및 DB 설계 능력만 있다면 데이터 핸들링 측면에서 큰 부담을 가질 필요는 없을 것 같다. 다만 사이즈가 작더라도 한 번 구현해 본다면 큰 이점이 될 것이다.

 

그리고 취업을 준비한다면 해당 부서가 어떤 일을 하고 있고, 어떻게 동작하고 있는지를 파악하는 것이 많이 유리하다. 평소 네트워킹이나 라포 형성에 노력을 기울이는 것도 좋고, 가장 좋은 방법은 링크드인을 통해서 인맥을 쌓아두는 것이다. 마지막으로 넥슨 추천팀의 경우 코딩 테스트(알고리즘)을 실시하지 않는다. 대신 모델링을 시키고 그 수치를 확인함. SQL도 풀게 하는 편. 카테부 네트워킹 데이 때 Ilium이 말씀해주셨던 것 처럼 코딩테스트도 기업의 니즈, 취업 시장에 맞춰서 변화하고 있음을 느꼈다.

기업 문화

업무가 어떤식으로 진행되는 지를 여쭤보았다. 취업하게 되면 어떤 작업을 하게 되고, 누구와 소통하여 프로젝트를 점검, 진행, 마무리하는지가 궁금하였다. 우선 프로젝트 진행 과정은 Task에 맞추어 모든 것이 유기적이라고 하셨다. 넥슨의 데이터 분석은 팀별로도 소규모 인원이 배치되어 있으면서, 따로 전문 팀이 같이 존재하고 있다. 선배님이 근무하시는 인텔리전스 랩에서 프로젝트를 제안하기도 하고, 또 게임 부서에서 요청을 하기도 하여서 상황마다 적절히 대처해야 한다고 한다.

 

업무 사이클은 가설 설정, 실험 및 평가, 결과 해석의 반복이다. 그리고 모델링 및 분석을 어떻게 평가할 것인지에 대해서 많이 강조해주셨다. 그동안 구현하는데에만 집중하고 성능 평가는 상대적으로 안일하게 해왔던 것 같아서 많이 와닿았다. KPI를 설정하고 그에 대해서 기준을 설정하는 일이 가장 중요하게 된다.  

 

그리고 기획팀, 사업팀, 개발팀 등 비전공자와 이야기 할 일이 정말 많다. 따라서 발표, 피드백, QA 등 소통하는 능력과 문서 작성 능력이 정말 많이 요구된다. 주간에는 회의, 소통, 문서 작업이 정말 많고, 모델링을 야간에 하게 된다는 슬픈 사실은 덤. 기술블로그를 꾸준히 써주면서 성실함과 정리하는 습관을 나타낼 수 있다면 플러스 요소가 될 것이다.

 

포트폴리오

포트폴리오 정리는 문제 인식 → 해결 과정 → 결과 해석, 후속 작업 설계 형태로 해주면 좋다. 앞서 말씀해주신 것처럼 현업의 프로세스를 흉내내보는 것도 괜찮다. 마찬가지로 중요한 것은 달성 목표를 설정하고 이를 어떻게 평가했는지. 꼭 통계적 수치가 아니어도 좋다. A/B test도 좋고, 도메인 바탕에 따라서 해당 분야의 지표를 조사해도 좋다. 예를 들어, 게임의 경우 $MSE$나 $R^2$는 타 부서와 회의 할 때 잘 와닿지 않지만, 유저 이탈율, 잔존율은 훨씬 설득력을 가지고 있는 지표이다. 오히려 KPI를 생각한다면 후자가 더 효과적인 지표가 된다.

 

도메인 지식은 절대 필수가 아니다. 그저 다다익선. 어차피 신입사원이 들어오게 된다면 다시 교육하고 알려주게 되며, 현장 밖에서는 알 수 없는 내용들도 많다. 열심히 배우려는 자세와 의지. 그리고 관심이 충분하다는 면을 보여준다면 충분하다고 생각한다.

---

판교에서 카카오테크 부트캠프를 진행하는 김에 바로 육교 건너에 있는 넥슨 사옥도 가볼 수 있어 재미있는 경험이었습니다 :) 판교에서 가장 늦게까지 불이 밝혀져 있는 건물 중 하나라는 이명 답게, 귀가 할 때 보면 늘 야근하시는 분들이 보였습니다. 1층에 간단한 전시물과 어린이 집 같은 부대시설도 보고 커피를 마신 후 선배님은 빠르게 다시 업무를 하시러 가셨습니다. 역시 게임사... 게임과 AI의 같이 공ㅂ하여 새로운 재미를 만들고 싶다는 로망을 가지고 있는 만큼 꼭 합격하고 싶은 회시입니다.