[HYPERCONNECT AI - AI Lab]
하이퍼커넥트 AI Lab은 사람과 사람 사이를 연결하는 서비스에서 기존의 기술로는 접근하기 어렵지만 머신러닝 기술을 통해 풀 수 있는 문제들을 찾아내고 해결하여 사용자 경험을 혁신합니다. 이를 위해 영상/음성/자연어/추천 등을 포함하여 다양한 도메인의 수많은 모델을 개발하고, 모바일 및 클라우드 서버를 통해 안정적으로 제공하면서 마주하는 문제들을 해결하여 AI Lab이 만들어 내는 기술이 실제 서비스의 성장에 기여하는 것을 목표로 합니다. 이러한 목표 아래 하이퍼커넥트 AI Lab은 아자르를 포함한 하이퍼커넥트의 제품에 기여하는 머신러닝 기술들을 수년간 발전시켜나가고 있습니다.
[ML Software Engineering Team 소개]
AI Lab 소속의 ML Software Engineering 팀은 하이퍼커넥트가 보유한 모든 AI 기술을 제품에 적용하여 비즈니스 임팩트를 낼 수 있도록 하며, 지속 가능한 시스템/플랫폼을 개발하여 AI 기술의 적용이 가속화 되도록 하는 것을 목표로 합니다. 이 목표를 달성하기 위해 다음과 같은 업무들을 수행하고 있습니다(인터뷰).
[머신러닝 기반의 백엔드 어플리케이션 설계 및 구현]
하이퍼커넥트와 매치그룹이 운영하는 글로벌 서비스의 사용자 경험을 개선하고 핵심 지표를 향상시키기 위한 머신러닝 기반 백엔드 애플리케이션을 설계·구현합니다(관련 테크 블로그). 주요 업무 영역은 개인화 추천 시스템과 콘텐츠 모더레이션 시스템으로, 단순한 모델 서빙을 넘어 서비스의 신뢰성과 품질에 직접적인 영향을 미치는 대규모 시스템을 개발합니다.
특히 글로벌 사용자에게 실시간으로 서비스를 제공하기 위해, 낮은 지연(latency), 높은 처리량(throughput), 확장성(scalability)을 모두 충족하는 아키텍처를 설계합니다. 이 과정에서 분산 시스템, 캐시 전략, 비동기 처리, 마이크로서비스 아키텍처(MSA) 등 다양한 기술을 적극적으로 활용하며, 서비스 전사에서도 가장 높은 수준의 트래픽을 안정적으로 처리하는 시스템을 운영하고 있습니다.
또한 모델 성능을 극대화하기 위해 엔지니어링 최적화와 함께, 데이터 품질 관리, 로깅/모니터링, A/B 테스트 기반의 실험 시스템을 병행하여 모델 개선 사이클(AI Flywheel)이 빠르게 돌 수 있도록 지원합니다. 이러한 과정을 통해 개발된 머신러닝 어플리케이션은 단순한 기능을 넘어, 서비스의 성장과 비즈니스 임팩트 창출을 견인하는 핵심 엔진이 되고 있습니다.
[모델 추론을 위한 실시간 데이터 파이프라인 개발]
우리는 서비스 전반에서 발생하는 방대한 규모의 이벤트 데이터를 실시간으로 처리하고 모델 추론에 최적화된 형태로 전달하기 위해 파이프라인(Apache Flink, KSQL 등)을 개발합니다. 단순히 데이터를 흘려보내는 수준을 넘어, 모델 성능에 직결되는 고품질 피쳐를 빠르고 안정적으로 수집·가공·서빙할 수 있도록 전체 아키텍처를 설계합니다.
이 과정에서 단일 이벤트 스트림을 다양한 ML 서비스(추천, 검색, 콘텐츠 모더레이션 등)에 동시에 제공하기 위한 확장성과 재사용성 높은 데이터 파이프라인을 구축하고 있으며, 피쳐 스토어(feature store)와 같은 핵심 인프라도 직접 설계·운영합니다. 또한 데이터 품질을 모니터링하고 이상 징후를 조기 탐지할 수 있는 자동화된 시스템을 도입하여 지속적인 피쳐 품질 관리를 수행합니다.
나아가 단순 엔지니어링을 넘어, 새로운 피쳐 후보를 발굴하고 실험을 통해 모델 성능 개선에 기여하는 역할도 맡습니다. 이를 통해 단일 모델의 정확도 향상뿐 아니라, 글로벌 규모에서 안정적이고 지연(latency)이 낮은 사용자 경험을 제공하는 데 중추적인 역할을 하고 있습니다.
[지속적 학습 파이프라인 구축]
프로덕트로부터 얻은 데이터를 활용하여 모델을 재학습, 평가, 배포하고, 다시 프로덕트를 개선하는 자동화된 선순환 구조(AI Flywheel)를 구축하는 업무를 수행합니다. ML 파이프라인의 각 단계(ML 데이터 처리, ML 모델 학습, ML 데이터 배포)별로 ML Ops 컴포넌트를 제공하여 연구자가 이를 조합해 쉽게 ML 파이프라인을 구축할 수 있도록 돕습니다. 또한 ML Ops 워크플로우 툴을 기반으로 다양한 도메인에서 데이터를 수집하는 데이터 파이프라인과 클라우드 스토리지와 학습 환경을 원활하게 연결하는 데이터 플랫폼을 개발하고, 자동 학습 워크플로우를 구성할 수 있도록 클라우드 인프라와 도구를 제공하며, 실험과 파이프라인 양면에서 활용할 수 있도록 새로운 영역을 탐색하고 있습니다.
