머릿속의 판단을 문서로 쓰다: 컨텍스트 엔지니어링과 모델의 순종도
요 몇 년 AI를 업무에 도입한 뒤로, 저는 원래 머릿속에만 존재하던 판단을 조금씩 분해하고 externalize(외부화)하여, 통제 가능한 하나의 “컨텍스트 엔지니어링 문서”(Context Engineering Document)로 정리해 왔습니다.
저는 세 가지로 모델을 평가합니다
현재 저는 어떤 모델이 “높은 규율, 높은 추적성”이 요구되는 일에 적합한지 평가할 때, 주로 세 가지를 봅니다.
- 정해진 규칙을 지킬 수 있는가.
- 정보가 부족할 때, 스스로 “빈자리를 메워” 버리지 않는가.
- 출력한 내용을 추적하고 감사할 수 있는가.
지금 이 시점의 실측 소감
아래는 제 최근 실측 소감입니다. 먼저 밝혀 두자면, 이것은 어디까지나 지금 이 순간, 개인의 사용 경험이며, 모델도 계속 업데이트되고 있으니 모든 사람, 모든 버전에 들어맞는다고는 할 수 없습니다.
- Claude: 컨텍스트에 대한 순종도가 가장 높고, 정해진 규칙에 딱 붙어 실행해 주는 편이라, 저는 이것을 주력으로 삼아 판단의 층을 맡깁니다.
- GPT: 그다음입니다. 추적성은 비교적 통제하기 쉽지만, 정보가 부족할 때 이따금 훈련 데이터로 빈자리를 메워 버려서, 저는 주로 백업이나 특정 작업에 씁니다.
- Gemini: 이런 장문의, 높은 규율이 요구되는 일은 다소 버거워하고, 예전에 허구의 출처를 한꺼번에 무더기로 나열한 적이 있어, 지금은 이 주력 라인에서 잠시 빠지게 했습니다.
차이를 벌리는 것은 “외부화된 판단에 대한 순종”
저에게 있어, 모델 사이의 차이를 진정으로 벌리는 열쇠는 사실 모델 자체의 능력만이 아니라, 그것이 이미 제가 외부화해 둔 전문적 판단에 “순종”할 수 있느냐입니다.
도구는 앞으로도 계속 업데이트될 것입니다. 하지만 먼저 머릿속의 판단을 분명히 써 두는 것, 이 일은 당신이 어떤 도구를 고르느냐와 사실 똑같이 중요합니다.