오우⋯ 전 겨우 이번 사례로 막 시작한 참이라 큰 도움이 될까 싶습니다.
그래도 정리해서 말씀드리자면,

1) 당연히 정답지가 있는 것이 좋습니다. 정답지가 없다면, 간이 지침으로 일반 분류를 하고, 분류별로 훑으면서 수작업으로 정답지에 가깝게 만드는 방법을 써서라도 정답지를 만드는 것이 좋습니다. 조금의 오차는 있어도 됩니다. 그 부분만 찾아내서 따로 기준을 넣어 루프 한 번을 더 돌리면 되니까

2) 정답지가 있으면 이제, 간단한 기준(또는 1에서 만들었던 간이지침)으로 분류 작업을 하는 서브에이전트를 돌리도록 지시합니다. 서브에이전트인 이유는 당연히 새 컨텍스트에서 실시하는 것이 정확한 연구작업이기 때문이고, 결과를 상위 에이전트가 평가하고 반복할 수 있기 때문입니다

3) 결과가 나오면 정답지와 비교해서 얼마나 차이나는지 점수를 매기도록 합니다. 그리고 어떻게 잘못 분류되었는지 오답지를 분석해서 지침을 수정하도록 합니다. 이 루프에서 고급 프론티어 모델을 쓰면 알아서 여러 전략을 시도합니다. 저성능 모델을 쓴다면 여러 전략을 가이드로 달아주는 것이 좋습니다. 체망 위에 중요한 것을 남기는 전략 - 체망 아래로 중요도가 높은 것을 보내는 전략 - 특정 내용을 가장 먼저 확실히 걸러내서 남은 목록의 분리 난이도를 낮추는 전략 - 큰 분류로 나누고 다시 소분류로 나누는 전략 - 일단 확실한 키워드로 기계적 분리를 하고 목록별로 검토해서 다른 분류로 보내는 전략 등등을 쓰게 되실 겁니다.

4) 그리고 과적화를 주의해야 하는데⋯ 전 이 부분을 분류 지침을 수정하는 지침에 지시해두는 것이 맞다고 생각해서, 분류 조건에 분류 대상의 제목/키워드를 그대로 적지 못하도록 했습니다. 어떻게든 둘러서 설명하게 만들었습니다. 이건 뭐 예시를 들 것도 없고, 그냥 금지시키면 됩니다.

5) 이런 방식으로 루프를 처음 돌리면, 20~35% 정도의 정답률을 보일겁니다. 그러면 95%를 목표로 지정하고 최대한 도달하라고 지시합니다. 그러면 반복 반복 루프를 돌기 시작합니다. 그리고 몇 바퀴 돌지 않아도 85~90%의 정답률까지 훅 도달할겁니다.

6) 여기서 더 돌리면 정말 조금 조금씩 정답률이 오르는데, 점수가 쑥 떨어지는 전략까지 시도하게 되면서 한계가 생깁니다. 전 전문적으로 쓸 게 아니라서 이 정도에서 멈췄습니다.

7) 그리고 마지막으로⋯ 정답지가 약간 틀린 부분 때문에 결정사항이 생기는 구간이 있습니다. 이 때, 기준을 정해주면 그대로 진행합니다. 정답지에 오류가 많을 수록 결정해줄 게 많고 루프가 늘어납니다.

음⋯ 대충 이 정도인데, 전문적으로 지침개선작업이나 모델 트레이닝, 하네스 엔지니어링 하시는 분들에 비하면 정말 초보적인 게 아닌가 싶네요. 제 개인적인 발전은 있었습니다만⋯