현 승 재

NBT

하루 6TB 규모의 광고 postback 로그와 서비스 DB 데이터를 수집하고 적재하는 플랫폼을 운영합니다. postback 로그는 광고 성과 리포트와 리워드 지급 정산 그리고 어뷰징 탐지와 광고주 리포트에 쓰이고 DB 데이터는 사업팀 매출 분석과 마케팅 지표 그리고 경영 대시보드에 쓰입니다.

• VM에서 GKE로 로그 파이프라인을 옮기는 작업 중 3개 프로젝트를 담당했습니다. Fluentd와 Logstash를 Vector로 통합해 수집기 재시작률을 90% 줄이고 처리량을 3배 늘렸습니다
• Jenkins 잡 500개를 Airflow 배치 250개와 Kafka Connect 스트리밍 250개로 나누고 Elasticsearch 적재도 Logstash에서 Kafka Connect로 옮겼습니다
• postback 페이로드가 3배 늘면서 수집기 pod 10개가 1시간에 40번 OOM으로 재시작했습니다. 오토스케일이 걸려 있어도 pod 메모리 한도가 병목이라는 것을 메트릭으로 확인하고 리소스를 128MB에서 512MB로 다시 잡고 읽기 배치를 조정해 안정화했습니다. DLQ 알림과 Kafka에 남은 데이터로 복구할 수 있게 설계해 두어 데이터 유실은 0건이었습니다
• BigQuery 비용 이상 탐지(비용 상위 쿼리와 예약 쿼리 스캔 변화 그리고 스토리지 사용 주기)와 미사용 스토리지 정리로 월 운영 비용을 절감했습니다
• BigQuery 쿼리 비용 분석 도구를 혼자 설계하고 개발했습니다(FastAPI와 대시보드를 Cloud Run에 배포). 상위 쿼리를 자동으로 뽑아 튜닝안을 측정하고 결과를 대조합니다. 광고 리포트에서 쓰던 쿼리에 적용해 스캔량 99.1%와 실행 시간 90.1%를 줄였고 결과 차이는 0건이었습니다
• 서비스운영팀이 광고 적립 장애와 어뷰징을 바로 확인할 수 있도록 Kafka와 ksqlDB로 실시간 알림을 만들어 탐지 시간을 분 단위에서 초 단위로 줄였습니다
• Skill Keywords
  • BigQuery Kafka Kafka Connect Debezium ksqlDB GCP Pub/Sub Airflow 3 dbt Embulk Cloud SQL Trino Vector Fluentd Logstash Elasticsearch Kibana Redash Looker Jenkins Argo CD

신세계 이마트 DT / 신세계 아이앤씨

이마트와 트레이더스 그리고 노브랜드 상담 챗봇의 API 서버와 데이터 파이프라인을 담당했습니다.

• BERT 학습 기반 구조를 vector embedding과 LLM 검색 구조로 바꿔 주 60시간의 GPU 학습 자원을 없앴고 새 데이터를 학습 없이 바로 반영할 수 있게 했습니다
• 챗봇 API를 개발하고 운영했습니다(MAU 50만). MLOps와 CI/CD를 구축해 배포 시간을 80% 줄였습니다
• 상담 분류와 욕설 탐지 모델을 적용해 상담사 업무를 7 M/M 줄였습니다
• 챗봇과 채팅 그리고 음성 상담 데이터 파이프라인과 분석 대시보드를 만들었습니다(하루 평균 1만 건)
• Skill Keywords
  • Python FastAPI PostgreSQL BigQuery Airflow AWS Argo CD LLM / Vector Embedding

해줌 (Haezoom)

미국과 유럽 그리고 한국의 기상 데이터 전처리 파이프라인과 발전량 예측 API를 담당했습니다.

• 기상 데이터 파이프라인을 구축해 하루 250GB의 이미지를 처리했고 데이터와 모델 테스트로 지점별 장애를 줄였습니다
• PostGIS 쿼리를 튜닝해 지리 검색 속도를 50배 높였습니다
• 발전량 예측 API와 RE100 경영 관리 API를 개발하고 운영했습니다. 예측 경진대회에서 2020년과 2021년에 우승했습니다
• Skill Keywords
  • Python Django PostgreSQL PostGIS AWS Airflow Jenkins Docker

슬로그업 (Slogup)

• 사내 프로젝트를 정식 서비스로 키우면서 견적과 결제 그리고 어드민과 블로그 자동화 시스템을 개발했습니다
• Skill Keywords
  • Node.js AngularJS MariaDB MongoDB AWS

씸플 (Cimple)

• 서비스 API와 User-Based Collaborative Filtering 기반 포스트 추천 기능을 개발했습니다
• Skill Keywords
  • PHP Phalcon MariaDB AWS

이마트 챗봇 및 채팅 관리자 서비스

• 관련 기사
• 챗봇 FAQ 모델 인퍼런스 서버를 운영했습니다(MAU 50만)
• MLOps를 구축해 배포 단계 시간을 80% 줄였습니다
• 상담 내역 자동 분류로 상담사 업무 7 M/M을 줄이고 카테고리 분석에 활용했습니다

태양광 발전량 예측 API

• 홈페이지
• GFS와 LDAPS 그리고 천리안2 기상 데이터를 추출하고 전처리하는 파이프라인을 만들었습니다
• 하루 250GB의 기상 데이터를 처리하고 보관했습니다
• OpenAPI 2.0 규격으로 Swagger API 문서를 작성했습니다

초기 경력 프로젝트

• 쓱싹 가전 설치 온라인 견적 O2O 서비스 (2017~2018)
• Femtofab 혈액 데이터 기반 질병 통계 예측 서비스 (2018)
• PONGIFT 모바일 기프트 쿠폰 플랫폼 (2017)
• IMS Analytics 대량 발송 메시지 데이터 분석 솔루션 (2016~2017)
• POSTYPE 창작자 1인 미디어 플랫폼과 추천 시스템 (2015~2016)
• 인블룸 2D 패턴 기반 3D 프린팅 주얼리 서비스 (2015)
• 트래블링 아울 외국인 대상 한국 관광 플랫폼 (2014)
• 그라모 리워드 앱과 광고 콜백 연동 (2014)

• xyflow 기반 생성 AI용 CMS (2024) 데모 영상 라벨러와 기획자의 반복 작업을 줄이려고 ML 단계별 결과를 시각화하는 도구를 만들었습니다
• Stable Diffusion 영상과 음성 가공 (2024) 상세 설명 YOLOv8 검출과 Stable Diffusion 생성 그리고 RVC 음성 합성을 묶었습니다
• Object Detection Album (2022) 소스 YOLOv5로 이미지를 검출하고 분류하는 앨범 서비스입니다
• 시계열 데이터 이상 감지 (2021) 상세 설명 Isolation Forest와 LSTM으로 기상 데이터 이상치를 찾았습니다