AI 허브 977개 무료 데이터, 검색으로 보물찾기 성공

콘텐츠 자동화 파이프라인을 운영하다 보면 새로운 소재와 데이터를 끊임없이 탐색하게 된다. 블로그 글과 쇼츠 스크립트 생성이 자동화되어 돌아가지만, 결과물의 질을 높이기 위해서는 꾸준히 새로운 연료를 공급해야 한다. 최근 AI 허브에 977개의 무료 데이터가 공개되었다는 소식을 접했다. 감사원의 발표로 주목받은 ‘데이터 창고’에서 개발자가 활용할 만한 가치 있는 자료를 찾을 수 있을지 궁금했다.

막상 접속해 보니 977개라는 숫자가 주는 압박감이 상당했다. 이 방대한 자료 속에서 블로그 초안 요약 규칙을 다듬거나, 쇼츠 대본의 말투를 분석하고 TTS에 감정을 입힐 만한 자료를 찾아야 했다. 처음에는 단순하게 접근했다.

977개 데이터 탐색, 예상치 못한 난관

가장 먼저 시도한 방법은 웹사이트의 모든 목록을 직접 훑어보는 것이었다. ‘무료 데이터니 일단 다 봐야 한다’는 단순한 생각이었다. 회원가입과 휴대폰 인증 절차는 금방 마쳤지만, 첫 페이지부터 스크롤을 내리기 시작한 결과는 처참했다. 방대한 목록은 끝없이 이어졌고, 영상, 음성, 센서 데이터 등 내 프로젝트와 전혀 관련 없는 자료들이 대부분이었다. ‘음성인식용 아동 음성 데이터’, ‘한국인 일상생활 동작 영상 데이터’ 같은 제목을 보며 이건 아니라고 판단했다. 한 시간가량 스크롤만 하다가 허무하게 포기했다. 977개 전체를 열어보는 것은 현실적으로 불가능한 일이었다.

벤치마킹과 필터링으로 대상 좁히기

이대로는 답이 없다고 판단했을 때, 방구석컴퍼니의 AI 허브 활용 영상(YouTube ID: dNUXhId7XfE)이 떠올랐다. 영상에서 얻은 중요한 힌트는 전체 다운로드의 37.7%를 차지하는 상위 50개 데이터와 용량이 1GB 이하인 125개 데이터였다. 특히 인기 있는 20개 데이터는 ‘감성 대화 말뭉치’, ‘법률 지식 베이스’, ‘문서요약 텍스트’, ‘심리 상담 대화’ 등 한국어 텍스트 위주라는 점이 도움이 되었다.

이 가이드라인을 따라 AI 허브에서 조건을 설정하여 대상을 좁혔다. 먼저 1GB 이하 데이터를 필터링하니 125개의 목록으로 줄어들어 한결 숨통이 트였다. 이어서 인기순으로 정렬한 뒤, 상위 20~30개 정도의 한국어 텍스트 데이터를 집중적으로 살펴보았다. 데이터셋 이름을 보고 대략적인 설명을 읽고, ‘미리보기’ 버튼을 눌러 샘플 데이터를 확인하는 과정을 반복했다. 이 방식은 첫 번째 시도보다 훨씬 효율적이었다. ‘감성 대화 말뭉치’와 ‘문서요약 텍스트’는 내 프로젝트에 필요하겠다는 직감이 왔다.

방법	결과	비고
모든 목록 직접 훑어보기	시간 낭비, 무관한 자료 대부분, 포기	977개 전체 확인 불가
벤치마킹 정보 활용 (상위 50개, 1GB 이하, 인기 텍스트 데이터)	대상 좁혀졌으나 여전히 수동 작업 비중 큼, 2시간 이상 소요, 확신 어려움	125개 목록에서 30개 내외 검토
구체적 요구사항 기반 키워드 검색	필요한 핵심 데이터셋 2~3개 30분 내 확정	가장 효율적이고 만족스러운 결과

 

하지만 여전히 수동 작업의 비중이 컸다. 125개 데이터 중 필요한 것을 정확히 골라내려면 하나씩 상세 페이지에 들어가 샘플을 봐야 했다. 2시간 넘게 투자했지만, 어떤 데이터가 가장 가치 있을지 확신하기 어려웠다. 지칠 무렵, 다음 단계를 고민하게 되었다.

목적에 맞는 키워드 검색, 해결의 실마리를 찾다

가장 효과적인 방법은 내 프로젝트의 구체적인 요구사항에 맞춰 직접 키워드를 검색하는 것이었다. 방구석컴퍼니 영상에서 얻은 인기 데이터 목록과 내가 필요한 데이터의 교집합을 찾아 나섰다. AI 허브 검색창에 ‘감성 대화’를 입력하자 즉각적인 결과가 나왔다. ‘AI 학습용 감성 대화 말뭉치’가 가장 먼저 눈에 들어왔다. 기쁨, 당황, 분노, 불안, 상처, 슬픔 6가지 세부 감정에 따른 60종의 대화가 포함되어 있었다. 쇼츠 대본에 감정을 더하고 TTS 음색을 미세 조정하는 데 매우 유용한 자료였다. 샘플 파일의 구조도 명확해서 바로 활용할 수 있겠다는 생각이 들었다.

이어서 ‘문서 요약’을 검색했다. ‘한국어 문서 요약 텍스트’, ‘뉴스 기사 요약’ 같은 데이터셋이 나왔다. 내 블로그 콘텐츠 초안을 효과적으로 압축하고 핵심을 뽑아내는 규칙을 만드는 데 큰 도움이 될 것으로 기대되었다. 이 데이터들을 활용해 요약 성능을 개선할 수 있을 것이다.

데이터 이용 조건도 꼼꼼히 확인했다. 학습 및 분석용으로만 사용해야 하며, 원본을 국외로 반출하면 안 된다는 점을 명확히 인지했다. 즉, 내려받은 원본 텍스트 파일을 클로드나 챗GPT 같은 해외 LLM에 통째로 업로드하는 것은 금지된다. 하지만 메타데이터나 CSV 형태로 가공하여 활용하거나, 내 자동화 시스템 내부에서 데이터 기반의 보조 도구를 만들어 쓰는 것은 문제없었다. 이 최종 단계에서 필요한 핵심 데이터셋 2~3개를 확정하는 데는 30분도 채 걸리지 않았다.

효율적인 데이터 탐색의 교훈

977개라는 숫자 앞에서 허우적거렸던 시간을 되짚어본다. 무작정 달려드는 것보다는 먼저 외부의 검증된 정보로 대상을 좁히고, 그 후에 내 구체적인 목적에 맞춰 필요한 것을 정확히 찾아 나서는 것이 훨씬 효율적이었다. ‘감성 대화 말뭉치’와 ‘문서요약 텍스트’는 곧 내 콘텐츠 자동화 파이프라인에 투입될 예정이다. 이 데이터가 가져올 작은 변화들이 기대된다.

 

함께 보면 좋은 글

• LLM 에이전트 반복 지시 자동화: 스킬과 메모리 활용법
• launchd 환경변수 작업 디렉토리 해결