LM Studio, LLM 컨텍스트 길이 설정 오류: AI 성능 98% 저하 해결

AI 파이프라인 구축 중 예상치 못한 난관에 봉착

최근 블로그 원고를 AI로 분할하고 다각화하는 파이프라인을 만들면서 황당한 경험을 했다.

긴 글을 여러 숏폼 콘텐츠로 쪼개는 작업, 즉 맥락을 유지하며 핵심을 추출하고 재구성하는 건 LLM의 장기 기억력에 전적으로 의존한다.

그런데 아무리 프롬프트를 튜닝하고 모델을 바꿔봐도 결과물의 퀄리티가 기대 이하였다. 맥락을 자주 놓치고, 중요한 세부 정보를 빼먹기 일쑤였다. 이건 AI의 능력 문제라기보다는, 뭔가 근본적인 설정 오류 같았다.

Mac mini에서 로컬 LLM 돌리는데 왜 이러지? 🤯

문제는 주로 여러 문서를 한꺼번에 종합해야 할 때 나타났다. 예를 들어 '블로그 → 숏폼 전환 전략'이라는 수십 페이지짜리 기획안을 통째로 넘겨주고, 이 중에서 유튜브 쇼츠, 틱톡, 인스타그램 릴스 각각의 플랫폼 특성에 맞는 핵심 문장과 키워드를 뽑아내라고 시켰다.

내 Mac mini (48GB 통합 메모리)에 띄운 로컬 LLM은 Q4_K_M 양자화된 13B~20B 파라미터 모델이었다. 이론상 이 정도 모델이면 꽤 긴 글도 충분히 처리할 수 있어야 했다.

그런데 자꾸만 앞부분 내용만 기억하고 뒷부분으로 갈수록 횡설수설했다. 처음엔 내가 프롬프트를 복잡하게 만들었나 싶어 단순화도 해보고, 템플릿도 여러 번 고쳤다. 심지어 모델 자체를 여러 번 다시 다운로드받기도 했다.

지난 몇 주간 퇴근 후 서너 시간씩 이 문제에 매달렸는데, 정말 답답했다.

 

LM Studio 로그에서 찾은 황당한 원인

그러다 문득 LM Studio 콘솔의 로그를 다시 들여다봤다. 모델을 로드할 때 출력되는 수많은 정보 중에 낯선 줄이 눈에 띄었다.

그것은 바로 context_length: 4096 이라는 부분이었다. 순간 머리가 띵했다.

내가 쓰는 모델은 26만 토큰 컨텍스트를 지원하는 녀석이다. 그런데 겨우 4096 토큰으로 로드되어 있었다니. 26만 토큰에 비하면 고작 1.6% 수준이었다. 마치 48레인 고속도로를 1차선으로만 달리라고 강요한 꼴이었다.

원인은 LM Studio의 기본 설정 때문이었다. LM Studio는 사용자 편의를 위해 'just-in-time 자동 로드' 기능을 제공하는데, 이게 모델을 처음 띄울 때 가장 보수적인 컨텍스트 사이즈로 로드해버리는 경향이 있었다.

아마 대부분의 일반적인 대화나 짧은 질의응답에는 4096 토큰이면 충분하고, 메모리 부담도 적으니 기본값으로 그렇게 세팅한 듯했다. 하지만 수십 페이지짜리 문서를 통째로 읽고 요약해야 하는 내 작업에는 치명적인 병목이었다.

LLM의 컨텍스트는 인간의 단기 기억력과 비슷하다. 이 기억력이 4096단어밖에 안 되면, 긴 글은 첫 몇 문장 읽고 바로 까먹는 것과 마찬가지다. 26만 토큰은 내 Mac mini의 48GB 램으로도 충분히 감당 가능한 용량인데, 이걸 낭비하고 있었다니!

 

간단한 설정 변경으로 LLM 성능 100% 활용하기 ✨

해결책은 간단했다. 모델을 로드할 때 컨텍스트 사이즈를 명시적으로 지정하는 것이다.

LM Studio의 모델 설정에서 'Context Length' 값을 260000으로 직접 입력하고 모델을 재로드했다. 그리고 앞으로 이런 일이 없도록, 진행 중인 작업이 모델을 사용하고 있을 때는 함부로 재로드되지 않도록 파이프라인에 간단한 가드 로직을 추가했다. 예를 들어, 특정 플래그 변수를 설정해서 모델 사용 중에는 변경 요청을 무시하는 식이다.

 

이후 LLM의 작업 퀄리티는 드라마틱하게 개선됐다. 기획안 전체의 맥락을 완벽하게 이해하고, 각 플랫폼의 특징에 맞는 핵심 메시지를 오차 없이 뽑아냈다.

사소한 설정 하나가 AI의 성능을 거의 98% 가까이 묶어두고 있었다니, 어처구니없으면서도 씁쓸했다.

이번 경험을 통해 배운 건 단순했다. 아무리 좋은 AI 모델과 강력한 하드웨어를 갖춰도, 그 시스템을 어떻게 ‘로드’하고 ‘설정’하는지에 따라 실제 성능이 천지차이라는 점이다. 자동화된 도구의 기본값은 편리하지만, 항상 내 고유한 작업 환경에 최적화된 것은 아니다.

※ 이 글은 직접 겪은 작업 경험을 바탕으로 AI의 도움을 받아 작성했습니다.