WikiSkill로 설계하는 에이전트 실행 경험 지식 베이스

로그를 지식으로 바꾸는 WikiSkill의 문제의식

2026년 8월 공개된 WikiSkill의 3계층 아키텍처는 에이전트의 실행 경험을 시간순 대화 로그가 아닌, 수정과 재조직이 가능한 지식 베이스로 다룬다. 대화 로그는 잘못된 내용을 바로잡거나 중복 경험을 합치기 어렵다. 반면 경험을 문서로 컴파일하면 실패 원인과 성공 전략을 주제별로 묶고, 이후 판단과 절차에 다시 사용할 수 있다.

핵심은 실행 원본을 보존하면서도 그 위에 편집 가능한 지식 계층을 두는 것이다. 검증을 거친 절차만 실행 스킬로 승격하고, 검증에 실패한 제안 역시 위키에 남겨 다음 시도의 재료로 활용한다.

원본 기록·위키·스킬을 분리하는 구조

Raw Layer는 학습 과정에서 발생한 모든 상호작용을 불변 실행 트레이스로 보관한다. 각 트레이스에는 추론 단계, 도구 호출, 출력이 담긴다. 이 계층은 직접 편집하는 대상이 아니라, 위키 문서가 잘못 고쳐졌을 때 다시 확인하고 복원할 수 있는 기준점이다. 원본까지 바꿀 수 있으면 정정의 기준 자체가 사라진다.

Wiki Layer는 원시 트레이스를 실패 유형이나 성공 전략에 따라 구조화된 문서로 컴파일한다. 문서는 세션 단위가 아니라 주제 단위로 구성해야 서로 다른 세션에서 나온 같은 경험을 한곳에 모을 수 있다. 사람이 읽고 수정할 수 있는 마크다운 같은 형식이 적합한 이유도 여기에 있다.

Skill Layer에는 검증을 통과한 절차만 올린다. 위키에 기록된 지식과 실제 실행에 쓰이는 절차는 신뢰 수준이 다르므로, 스킬은 개별 교체와 롤백이 가능한 모듈형 디렉터리로 관리한다.

⤢✕

문서가 다시 로그가 되지 않게 관리하기

같은 실패 유형을 다루는 문서가 여러 개면 병합하고, 하나의 문서에 조건 분기가 과도하게 쌓이면 분할한다. 이 기준이 없으면 문서 수만 늘어나며 결국 로그와 비슷한 상태가 된다. 상호 참조가 계속 발생하는 문서 쌍은 병합 후보가 될 수 있다.

오류가 확인되면 위키 문서를 고치되 정정 이력을 남긴다. 정정 사실도 다음 판단의 근거가 되기 때문이다. 해당 문서를 근거로 만들어진 스킬은 재검증 대상으로 표시한다.

문서 사이에는 관련 전제와 조건을 연결하는 링크가 필요하다. 회수 과정에서 단일 문서만 가져오면 전제 조건이 빠져 잘못 적용될 수 있다. 링크 구조는 회수 경로이면서 문서 병합 판단을 돕는 신호이기도 하다.

문서별로 근거가 된 실행 횟수와 최근 확인 시점을 표시하면 한 번의 성공에서 나온 결론과 반복 확인된 결론을 구분할 수 있다. 실패 기록에서 도출된 문서는 실패 지식이라는 점을 명시해야 한다. 실패 경험도 재시도를 줄이는 데 유용하지만, 성공 지식과는 다른 성격을 가진다.

회수 목적에 맞춰 계층을 선택한다

절차를 실행해야 할 때는 Skill Layer를, 판단 근거가 필요할 때는 Wiki Layer를, 원인을 조사할 때는 Raw Layer를 회수한다. 목적 구분 없이 모든 계층을 함께 가져오면 컨텍스트 예산이 빠르게 소진된다.

도입할 때는 먼저 원자 기록의 범위를 정해야 한다. 모든 실행을 남길지 특정 과제군만 남길지 결정해야 하며, 저장량은 곧 비용이다. 실패한 실행도 반드시 포함해야 실패 유형 문서가 만들어진다.

문서화는 같은 실패가 반복되거나 새로운 성공 전략이 관찰될 때 시작하는 편이 적절하다. 매 실행마다 문서를 만들면 문서 수가 로그 수와 같아져 위키화의 의미가 사라진다.

위키 편집 권한과 스킬 승격 권한은 분리한다. 문서 편집은 넓게 열 수 있지만 스킬 승격은 좁게 관리해야 한다. 자동 편집 주체와 사람 편집 주체를 구분해 남겨야 정정 이력의 신뢰도를 판단할 수 있다.

유사 문서는 주기적으로 병합 후보로 검토하고, 낮은 신뢰도 표기나 오래된 최근 확인 시점을 가진 문서는 검수 대상으로 선별한다. 검수 결과를 신뢰도 표기에 반영하면 문서 품질을 계속 갱신할 수 있다. 문서별 회수 횟수와 회수가 성공으로 이어진 비율을 측정하면, 회수되지 않는 문서가 삭제 대상인지 회수 경로 문제인지 구분할 수 있다.

스킬 승격과 문서 삭제는 승인 대상으로 두고, 실행 트레이스에 포함된 민감 정보의 보관 범위와 기간은 별도 정책으로 관리한다.

편집 가능한 위키 메모리와 추가 전용 로그의 차이

구분	편집 가능한 위키 메모리	추가 전용 대화 로그
정확도 유지	시간 경과 시 개선	시간 경과 시 하락
오류 정정	가능	불가
중복 처리	병합	누적
관리 부담	큼	작음
회수 밀도	높음	낮음
구축 비용	높음	낮음

위키 메모리는 잘못된 결론을 정정할 수 있고, 동일 주제의 경험을 한 문서에 모아 회수 밀도를 높인다. 실패한 시도도 원인과 함께 남기므로 다음 시도가 그 지식 위에서 출발할 수 있다. 대신 병합·분할·정정·검수 작업이 계속 필요하며, 편집 권한을 잘못 관리하면 잘못된 정정이 조직 전체의 판단을 오염시킬 수 있다.

추가 전용 로그는 기록만 하면 되므로 구축 비용이 낮고 원본 훼손 위험이 없어 감사 목적에는 적합하다. 그러나 시간순으로 축적되면서 틀린 내용과 중복이 계속 회수되고, 관련 없는 맥락까지 함께 실릴 수 있다. 원자 기록은 불변 로그로 보존하고 그 위에 편집 가능한 문서 계층을 두는 이중 구성이 두 방식의 장점을 결합한다.

구조화 문서 회수는 주제와 링크를 따라 전제 조건 문서를 함께 가져올 수 있고, 신뢰도와 최근 확인 시점을 정렬에 반영할 수 있다. 무엇이 왜 회수됐는지도 설명 가능하다. 반면 문서 체계를 유지해야 하며, 체계에 아직 없는 새로운 주제에는 회수 경로가 없다.

벡터 유사도 회수는 문서 체계가 없어도 작동하고 표현이 달라도 의미가 가까운 문서를 찾으며 신규 주제에도 대응한다. 다만 유사도가 높다고 지금 필요한 문서라는 보장은 없고, 전제 조건 문서가 상위 결과에 없으면 빠진 상태로 적용될 수 있다. 유사도로 후보를 넓게 잡고 링크 구조로 전제 문서를 보강하는 결합이 두 방식의 약점을 상쇄한다.

자동 문서화는 실행량에 비례해 지식이 축적되고 사람이 놓치기 쉬운 실패 패턴까지 남길 수 있다. 하지만 잘못 해석한 결론이 문서로 굳어 이후 실행에 영향을 주거나, 문서 수 증가에 따라 병합 부담이 커질 수 있다. 사람 검수 문서화는 결론의 신뢰도와 조직 맥락을 확보하지만, 축적 속도가 사람의 가용 시간에 묶이고 검수가 밀리면 문서화가 중단된다. 자동으로 문서화하되 스킬 승격에만 검증 게이팅을 적용하는 비대칭 구조는 속도와 신뢰도를 분리해 관리하는 방식이다.

지식 관리와 형상 관리로 보는 WikiSkill

암묵적인 실행 경험을 문서로 형식화하고 재사용 자산으로 승격하는 흐름은 지식 변환 모델의 구현으로 볼 수 있다. 문서 회수 횟수와 성공 기여율은 지식 자산 활용도를 평가하는 지표가 된다.

신뢰도 표기와 최근 확인 시점 관리는 데이터 품질의 정확성과 적시성을 계량화하는 수단이다. 중복 문서 병합은 데이터 정제 과정의 중복 제거와 연결된다.

불변 원자 기록 위에 편집 계층을 두는 구조는 베이스라인과 변경 이력을 분리하는 형상 관리 원칙을 따른다. 스킬 롤백과 파생 스킬 재검증 표시는 변경 영향 범위를 추적하는 통제 수단이다.

에이전트 메모리가 향하는 방향

실행 트레이스를 원본으로 보존하고 그 위에 문서 계층을 두는 이중 저장 구조는 에이전트 메모리의 표준형으로 확산되는 방향이다. 자동 문서화의 안전장치로는 스킬 승격에만 검증 게이팅을 거는 비대칭 품질 관리가 자리 잡는 흐름이다.

문서 간 링크를 회수 경로로 쓰는 그래프형 메모리는 벡터 단독 회수를 보완하는 방식으로 확산될 수 있다. 실패 경험의 문서화 가치는 벤치마크로 측정되고, 실패 트레이스 보관은 필수 요건으로 요구되는 흐름이다.

대화 로그는 쌓이지만 스스로 오류를 정정하거나 중복을 합치지는 못한다. WikiSkill은 불변 원본, 편집 가능한 위키, 검증된 절차를 분리해 기억이 축적될수록 개선될 수 있는 구조를 제안한다. 문서가 다시 로그처럼 늘어나지 않도록 병합과 분할의 기준을 처음부터 정해 두는 일이 이 설계의 전제가 된다.