사내 LLM 개발 워크플로우
사내 코드와 문서를 외부로 내보내지 않고, 추가 토큰 비용 없이 동작하는 LLM 기반 개발 워크플로우 패턴을 설계해 도입했습니다.
언어
- Python3
기술
- FastAPI
- Ollama
- vLLM
환경
- PyCharm
- VSCode
사내 코드와 문서를 외부로 내보내지 않으면서, 시중 자동화 도구 없이 사내 LLM을 결합한 개발 워크플로우 패턴을 설계·도입했습니다.
배경·과제
-
보안 제품 코드와 내부 문서는 외부 반출이 금지돼 있었습니다. 반복 작업마다 외부 API 토큰 비용을 낼 수도 없었습니다. 그래서 시중 도구 대신 사내 LLM을 결합한 워크플로우를 직접 만들었습니다.
-
TextRAG·GitLab MR 리뷰봇, 개인 OSS(Glimi 등)에서 얻은 조각난 경험을 재현 가능한 하나의 패턴으로 묶어야 했습니다.
수행·기여
-
사내 코드·문서를 의미 기반으로 검색하는 TextRAG 위에 Claude Code와 MR 리뷰봇이 그 컨텍스트를 받아 MR 코멘트와 명세를 생성하는 구조를 정의했습니다. 내부 자료가 외부로 나가지 않도록 사내 모델과 로컬 실행을 기본값으로 설정했습니다.
-
설계·구현·리뷰·문서화 단계에 LLM을 점진적으로 붙여 iOS 팀에 적용했습니다.
-
경력 DB·이력서·자소서 작성에도 같은 사내 LLM 결합 구조를 썼습니다.
-
book-forge(도서 원고→docx)·Glimi 등 개인 OSS에서 배운 점을 사내 패턴으로 옮겼습니다.
성과
-
TextRAG와 GitLab MR 리뷰봇을 사내에서 운영했습니다.
-
iOS 팀의 설계·리팩토링·명세 작성 작업에 이 방식을 썼습니다.
-
민감 자료를 외부로 내보내지 않고, 추가 토큰 비용 없이 LLM을 전 개발 단계에 결합했습니다. AOS·웹·서버 팀으로도 확장 가능한 사내 패턴으로 정리했습니다.