Claude Dreaming의 세션 회고와 자기 개선 메모리 설계

작업이 끝난 뒤에도 학습은 이어진다

Anthropic이 Claude Managed Agents 플랫폼에 추가한 Dreaming은 완료된 세션을 다시 검토해 다음 작업에 사용할 기억을 만드는 기능이다. 에이전트는 과거 경험에서 반복 패턴을 찾고 메모리를 자동으로 갱신한다. 특정 도메인의 작업이 누적될수록 정확도와 효율성을 높이는 자기 강화 구조다.

이때 남기는 것은 대화 내용의 단순 요약이 아니다. 도구를 선택한 이유, 파라미터 구성, 오류에 대응한 방식, 결과 평가처럼 각 의사결정 지점을 단계별 실행 트레이스로 기록한다. Harvey의 법률 AI 적용 사례에서는 이 구조를 도입한 뒤 태스크 완료율이 약 6배 향상됐다고 보고되었다.

실행 트레이스에서 재사용할 패턴을 찾는다

저장된 트레이스는 정기적으로 실행되는 Dreaming 스케줄러를 거쳐 패턴 추출 엔진으로 전달된다. 패턴 추출 LLM은 여러 세션에서 반복된 행동을 비교한다. 특정 법률 문서를 처리할 때 같은 순서로 조항을 검색했다면, 개별 세션의 행동을 법률 문서 처리 절차라는 메모리 항목으로 추상화하는 식이다.

⤢✕

비용을 줄이기 위해 패턴 추출에는 Claude의 경량 버전인 Haiku 수준의 모델을 사용한다. 이 메타 에이전트는 패턴이 재현된 빈도와 성공률, 적용 가능한 조건을 추정해 구조화된 메모리 항목으로 출력한다.

기억은 강화하고, 고치고, 새로 쌓는다

추출된 패턴을 기존 기억과 합치는 방식은 강화(Reinforce), 수정(Revise), 추가(Append)로 나뉜다. 이미 저장된 패턴이 새 세션에서도 확인되면 신뢰도 점수를 높인다. 최근 경험이 과거 기억을 반박하면 내용을 수정하고, 기존 항목으로 설명할 수 없는 패턴은 새 기억으로 추가한다.

저장 계층은 벡터 데이터베이스와 구조화 스토리지를 함께 사용한다. 자연어로 표현된 절차 지식은 벡터 임베딩으로 보관해 시맨틱 유사도 검색에 활용한다. 성공률, 평균 실행 시간, 오류 유형 분포와 같은 수치 통계는 정밀하게 질의할 수 있도록 구조화 스토리지에 둔다.

새 세션의 컨텍스트로 되돌려 보낸다

작업이 시작되면 컨텍스트 주입 모듈이 태스크와 관련된 메모리를 검색한다. 태스크 설명과 장기 기억 항목의 임베딩 사이에서 코사인 유사도를 계산하고, 관련성 점수와 신뢰도 점수의 곱으로 주입 우선순위를 정한다. 컨텍스트 윈도우의 한계가 있으므로 상위 N개 항목만 시스템 프롬프트에 삽입한다.

이 순환이 반복되면 과거 경험은 보관 자료가 아니라 현재 행동을 바꾸는 입력이 된다. 에이전트는 유사한 새 태스크를 만났을 때 이전에 효과가 있었던 처리 순서와 오류 회피 방식을 첫 시도부터 활용할 수 있다.

성공과 실패를 어떻게 구분할 것인가

경험에서 올바른 패턴을 얻으려면 먼저 각 세션의 결과를 신뢰성 있게 분류해야 한다. 사용자가 작업 종료 후 제공하는 피드백이나 슈퍼바이저의 평가가 명시적 레이블이라면, 완료 조건을 자동으로 검사해 얻은 결과는 암묵적 레이블이다.

코드 작성 작업에서는 단위 테스트 통과 여부를 성공 기준으로 사용할 수 있다. 법률 문서 검토에서는 지정된 조항 목록이 모두 처리됐는지를 확인한다. 품질 메트릭까지 함께 계산한 뒤 레이블을 종합해 성공 패턴 풀과 실패 패턴 풀로 보낸다.

⤢✕

패턴 일반화는 특정 사례를 그대로 외우는 작업과 다르다. 하나의 법률 계약서 검토 과정에서 검색→분류→리스크 평가→요약이라는 문서 처리 원칙을 뽑아내고, 그 원칙이 적용될 조건까지 명세해야 재사용 가능한 기억이 된다.

오래된 기억과 민감한 정보를 함께 관리한다

장기 메모리가 계속 커지면 검색 성능이 떨어지고 무관한 기억이 컨텍스트에 섞일 수 있다. Dreaming은 중요도 기반 가지치기(importance-based pruning)를 적용한다. 오랫동안 사용되지 않았거나 최근 세션에서 반박된 항목은 아카이브 대기열로 옮기고, 일정 기간이 지나면 영구 삭제한다.

법률과 의료 세션에는 고객 이름, 사건 번호, 환자 정보처럼 장기 기억에 남겨서는 안 될 데이터도 들어올 수 있다. 패턴 추출 전에 PII(Personally Identifiable Information) 탐지 모듈을 실행해 민감한 값을 익명화한다. 최종 메모리에는 특정 개인을 식별하는 정보가 아니라 절차 지식만 저장한다.

지식의 유효 기간도 동일하지 않다. 안정적인 절차 패턴에는 긴 TTL(Time-to-Live)을 부여하고, 외부 규정이나 정책에 의존하는 항목에는 짧은 TTL을 설정할 수 있다. 만료가 가까운 기억은 재검증 큐로 보내 최근 트레이스를 기준으로 다시 평가한다. 계속 유효하면 TTL을 연장하고, 그렇지 않으면 수정하거나 삭제한다.

Harvey에서 축적된 법률 업무 경험

Harvey는 법률 문서 검토, 계약 분석, 판례 조사를 자동화하는 법률 특화 AI 플랫폼이며 Claude Managed Agents를 기반으로 구축되었다. Dreaming 도입 전에는 복잡한 멀티단계 법률 태스크의 완료율이 약 17%였다. 도입 후 6개월간 운영한 결과 동일한 태스크 유형에서 완료율이 약 102%에 달하는 수준으로 향상되었다.

이 변화는 판례 검색 전략, 계약 조항 분류 체계, 리스크 등급 평가 기준과 같은 법률 처리 절차가 메모리에 누적된 결과로 설명된다. 처음에는 일반적인 문서 처리 패턴에 의존했지만, 수천 건의 세션 경험이 쌓이면서 법률 전문가 수준의 처리 절차를 습득하게 된다.

⤢✕

의료 문서화에서는 기관별 규칙까지 기억한다

의료 분야에서는 임상 노트 작성, 퇴원 요약, 처방 검토 자동화에 Dreaming을 적용하고 있다. 의료 문서는 표준 절차와 도메인 용어 체계가 함께 작동한다는 점에서 법률 문서와 닮았다. 에이전트는 특정 의료기관의 문서 작성 스타일, ICD-11과 SNOMED CT 같은 의료 코드 체계, 기관 내부 용어 규칙을 메모리로 학습한다.

이 영역에서는 PII 필터링이 특히 엄격해야 한다. HIPAA 규정을 준수하기 위해 환자 식별 정보는 패턴을 추출하기 전에 완전히 제거하며, 메모리에는 의료 절차와 표현 양식에 대한 추상화된 지식만 남긴다.

RAG와 Dreaming이 기억을 만드는 방식

RAG(Retrieval-Augmented Generation)는 정적인 지식 베이스에서 관련 문서를 찾아 컨텍스트를 보강한다. 검색 대상은 외부에서 제공된 지식이며, 에이전트가 실제 작업에서 무엇을 시도했고 어떤 결과를 얻었는지와는 직접 연결되지 않는다. 지식 베이스 갱신도 외부 관리자가 수동으로 수행한다.

Dreaming은 에이전트 자신의 세션에서 절차 지식을 귀납적으로 추출한다. 실제로 성공하거나 실패한 행동에서 작업 방식을 학습하기 때문에 같은 유형의 태스크에 과거 경험을 적용할 수 있다. 새 세션이 축적되면 기억도 자동으로 강화되거나 수정된다.

이 차이는 외부 지식을 찾는 능력과 경험을 통해 행동을 바꾸는 능력의 구분이다. Dreaming을 기업 환경에 적용하려면 패턴 추출 자체뿐 아니라 레이블의 신뢰성, PII 제거, 중요도 기반 가지치기, TTL 재검증까지 하나의 운영 체계로 다뤄야 한다.