지식 파이프라인 첫 실전 완주의 스테이지별 소요 측정

개요

kknaks_profile 의 유튜브 지식 파이프라인이 2026-08-13 에 처음으로 실전 완주했다. 큐 항목 #3880 하나가 summarize → route → source_note → concept → derived 다섯 스테이지를 지나 reference 1 · concept 2 · content 1 네 장으로 발행됐다(커밋 8d7e862).

이 노트는 그 실행이 남긴 소요 시간과 실패 기록을 자료로 남긴다. 기능이 되는지는 확인됐고, 남은 것은 그 값이 얼마였는지다.

출처와 맥락

본인이 운영하는 시스템의 실행 기록이라 1차 자료다. 대신 표본이 하나다 — 아래 숫자는 이 항목 하나의 값이고, 자료 길이·개념 수·모델 상태에 따라 흔들린다. 경향을 읽는 데는 쓸 수 있지만 벤치마크로 인용할 값은 아니다.

시간은 각 스테이지의 AI 실행 하나가 제출부터 완료까지 걸린 시간이다. 사람이 승인 화면을 보고 판단한 시간은 포함하지 않는다.

핵심 주장

• 스테이지 다섯의 AI 실행 합이 약 13분이었다.
• 시간이 스테이지에 고르게 퍼져 있지 않다. source_note 하나가 309초로 전체의 40% 가까이를 썼다.
• source_note 의 1차 시도가 실패했다. 출력 형식(JSON) 파싱이 깨져 95초를 버렸고, 재시도가 309초를 더 썼다. 사람이 한 번 개입해야 넘어갔다.
• 각 스테이지는 새 에이전트로 시작한다. 같은 자료를 다루는데도 매번 rules/knowledge-note-pipeline.md 와 해당 양식 파일을 다시 읽고, 원문·요약·앞 단계 결과를 payload 로 다시 받는다.

주요 개념

• [[cold-start]] — 스테이지마다 준비 상태 없이 처음부터 시작하는 구조. 이 측정이 그 비용을 숫자로 보여 준다

근거와 사례

1차 실패의 사유는 다음과 같았다.

INVALID_NOTE_OUTPUT: JSON 파싱 실패: Expecting ',' delimiter: line 3 column 840

출력 계약이 markdown 전문을 JSON 문자열 값으로 넣게 되어 있어, 본문의 따옴표·줄바꿈·백슬래시를 수천 자에 걸쳐 하나도 틀리지 않고 이스케이프해야 통과하는 구조였다. 컬럼 840 은 본문 한가운데다.

준비부가 프롬프트에 싣는 원문(source_excerpt)은 상한이 40,000자이고, 스테이지마다 그대로 다시 실린다.

적용 가능성

아래는 기록의 요약이 아니라 적용을 위한 해석이다.

• 소요의 상당 부분이 자료를 이해하는 데 아니라 매번 다시 준비하는 데 쓰이고 있다. 스테이지 사이에 실행 상태를 물려주면 그 부분이 줄어든다.
• 줄어드는 것이 시간만은 아니다. 뒤 스테이지가 앞 스테이지의 산출물을 요약본이 아니라 자기가 방금 쓴 것으로 알게 된다.
• 실패 하나가 재시도까지 400초를 태웠다. 형식 위반은 확률이 본문 길이에 비례하므로, 본문이 가장 긴 교안에서 더 자주 날 것으로 본다.

한계와 검증이 필요한 부분

• 표본 1건이다. 개선 전후를 비교하려면 같은 성격의 자료로 다시 재야 한다.
• 스테이지별 소요에서 「규칙을 다시 읽는 시간」과 「내용을 만드는 시간」이 분리돼 있지 않다. 합만 관측했으므로 앞의 몫이 얼마인지는 추정이다.
• 모델·제공자 상태에 따른 편차를 통제하지 않았다.

참고

(자료 내 명시 없음 — 본인 시스템의 실행 기록이다)