랜딩
부전공인 클라우드학과는 수업이 대부분 동영상 강의로 진행됐습니다. 기초 과목은 이미 아는 내용이 태반인데도, 시험과 과제 때문에 아는 강의를 처음부터 다시 틀어놓고 있어야 했습니다.
한동안은 강의 영상을 내려받아 타사 요약 서비스에 넣어 썼습니다. 시험 2주 전에 몰아 쓰고 두 달을 손도 안 대는 게 학생의 사용 패턴인데, 월 구독제라 쓰지 않는 날에도 비용을 지불해야 했습니다. 영상을 불러오는 것부터 요약까지 한 번에 끝내면서, Pay As You Go 형태의 서비스를 만들어보자는 게 코스모의 노트의 시작이었습니다.
처음에는 강의 시청 화면 오른쪽에 다운로드 버튼을 붙여주는 브라우저 익스텐션을 만들었습니다. 버튼을 누르면 익스텐션이 웹 통신 내용을 읽고, 스트리밍 파일의 주소를 서버로 보냅니다. 서버는 ts 스트리밍 파일을 내려받아 mp4 로 인코딩한 뒤, 다운로드 링크를 주는 간단한 구조였습니다.
익스텐션을 만들어 배포한 뒤 커뮤니티에 게시하니, 학우 480명 이상이 좋아요를 눌렀습니다. 다운로드만 가능한 프로그램임에도 뜨거운 관심을 받았다는 점은 이 불편함이 저만의 문제는 아니라는 뜻이었습니다.
AI 노트 생성 기능을 붙이고, 다운로드 버튼을 강의 홈 화면으로 옮겼습니다. 버튼을 누르면 Cloudflare Browser 로 서버가 직접 강의 사이트에 접속하도록 바꿨습니다. 로그인은 익스텐션이 넘겨준 세션 키를 서버 쪽 브라우저에 심어 우회했습니다.
익스텐션이 하던 일을 하나씩 서버로 옮겨두는 작업이었습니다. 익스텐션을 없애고 완전히 웹 서비스로 동작하게 만드는 게 목표였습니다. 더불어 결제를 연동해 수익화 구조도 만들어봤습니다.
교환학생을 다녀온 뒤, 다시 서비스를 업데이트하기 시작했습니다. 가장 큰 목표는 브라우저 익스텐션을 완전히 제거하는 일이었습니다. 브라우저 익스텐션은 사용자의 브라우저에 깊게 접근할 수 있다는 점은 좋지만, 모바일에서는 전혀 동작하지 않고 특정 브라우저에 종속되는 문제가 있습니다. 무엇보다 익스텐션을 아는 사람이 별로 많지 않았습니다.
그래서 웹 사이트만으로 동작하도록 대대적으로 고쳤습니다. 학교 사이트 로그인 정보와 강좌 URL 을 입력받으면 Cloudflare Browser 로 직접 로그인하고, 패킷을 탐지해 영상을 찾아내는 구조입니다. 로그인 정보는 저장하지 않게 만들었습니다. 소프트웨어는 복잡해지고 버그도 늘었지만, 익스텐션을 없애니 사용성은 비교할 수 없이 나아졌습니다.
기존 구조는 학교 사이트에서만 영상을 불러올 수 있었습니다. 성장에 걸림돌이기도 했지만, 저작권이 있는 학교 강의를 가공해 돈을 받는 일이라 법적인 리스크를 피할 수 없었습니다.
비록 매출이 발생하기 시작해 기뻤지만, 학교 사이트 연동 기능을 폐기했습니다. 다만, 이 서비스의 정체성인 만큼 완전히 버리지는 못하고 익스텐션으로 되돌렸습니다. 동영상과 녹음본, 이미지, 문서를 직접 올리는 방식으로 리뉴얼하여 현재 모습에 이르렀습니다.
대부분의 강의 요약 서비스는 음성을 STT 로 받아쓴 다음, 그 텍스트를 요약합니다. 그런데 수업 영상에서 정작 중요한 것은 프레젠테이션에 많이 있고, 강의자가 이를 읽지 않고 넘어가는 경우도 많습니다. 슬라이드에서 나온 수식, 도표가 그대로 유실되는 문제가 발생합니다.
따라서 코스모의 노트는 영상 프레임을 분석하는 로직을 넣었습니다. summarizer 는 ffmpeg 를 이용해 프레임의 변화를 추적합니다. 프레임의 변화율이 5% 미만이라면 같은 프레임으로 보고, 같은 프레임이 오랫동안 유지되는 경우를 랭킹으로 만듭니다. 그리고 상위 70% 에 해당하는 프레임을 찾아 OCR 을 수행합니다.
STT 결과와 OCR 결과를 하나의 타임라인으로 병합합니다. 마지막으로 Worker 에 이 타임라인을 전달하고, 사전에 튜닝된 프롬프트로 요약노트를 생성해냅니다.
코스모의 노트는 ffmpeg 로 영상 프레임을 처리해야 하기 때문에, 그 순간에는 꽤 좋은 머신을 요구합니다. 고성능 인스턴스를 상시로 띄워두면 아무도 사용하지 않는 시간에도 비용이 발생합니다. 따라서 영상 처리 기능은 서버리스 구조를 채택하여 비용을 크게 절감했습니다.
Workers 는 최대 100MB 까지만 업로드를 받을 수 있습니다. 동영상이 100MB 미만인 경우는 거의 없으므로, 서버는 버킷에 바로 업로드할 수 있는 Presigned URL 을 발급해 클라이언트에 제공합니다. 파일은 클라이언트에서 R2 에 바로 업로드됩니다.
업로드된 파일은 estimator 가 검사합니다. 깨지거나 잘못된 파일이 아닌지 확인하고 문제가 없으면 샘플링해 비용을 예측합니다. 사용자는 예측된 비용을 결제해야 노트 생성이 시작됩니다. 비록 예측된 금액보다 분석해야 할 양이 많으면 손해를 볼 수 있지만, 평균 비용에 배수를 곱하게 하여 이 문제를 최소화했습니다.
이 구조가 그대로 요금제로 만들어졌습니다. 2시간 영상에 약 1,300원이 듭니다. 타사 서비스가 3시간 영상을 분석하는 데 월 7,900원을 요구하니, 시험 기간에 몰아 쓰는 학생들 대상으로는 매우 합리적인 제도입니다. 인프라 또한 사용한 만큼만 청구되는 구조이기에 유지 가능한 시스템입니다.
개발 초기에는 클로드 같은 플래그십 모델을 사용했습니다. 프롬프트 튜닝이나 타임라인을 크게 정리하지 않아도 만족스러운 결과가 나왔지만, 노트 한 편을 생성하는 데 돈이 너무 많이 들었습니다. 2시간짜리 영상을 클로드로 요약해주고 1,300원만 받는 것은 자선단체가 아니면 어려운 일입니다.
지금은 Gemini, DeepSeek 같은 저비용 고효율 모델을 사용하고 있습니다. 대신 한 번에 모든 작업을 시키지 않고 목차 생성, 본문 생성, 이미지 배치, 퇴고 등으로 파이프라인을 나눴습니다. 작은 모델은 특히 컨텍스트가 커지면 품질이 급격히 떨어지는데, 목차를 먼저 만들고 한 항목씩 쓰게 일을 나누면 품질이 크게 떨어지지 않습니다. 또한 캐싱을 통해 비용이 일부 절감되기도 합니다.
컨텍스트 때문에 품질이 떨어지는 문제는 해결했지만, 사고 능력의 차이가 남았습니다. 그래서 클로드 Fable 같은 플래그십 모델과 지금 파이프라인의 결과를 비교하는 하네스를 만들어 정기적으로 실행하고 있습니다. 비록 Fable 만큼의 성능이 나오지는 못하지만, 비용 대비 좋은 품질이 나오고 있습니다.
