문맥 전환 비용 (Context Switching Cost)
한 프로젝트를 떠나 다른 프로젝트로 건너갈 때 맥락을 다시 잡는 데 드는 비용입니다. 여러 프로젝트를 동시에 굴릴 때 가장 먼저 부딪히는 병목이 이 비용입니다.
문맥 전환 비용은 한 프로젝트를 떠나 다른 프로젝트로 건너갈 때 맥락을 다시 잡는 데 드는 비용입니다. 여러 프로젝트를 동시에 굴려 보면 가장 먼저 부딪히는 벽이 이것입니다.
이 비용이 중요한 이유는 그것이 기다림과 다른 종류의 비용이기 때문입니다. 기다림은 AI가 작업을 처리하는 동안 사람이 손을 놓는 시간이고, 동시성은 그 빈 시간에 다른 프로젝트의 판단을 끼워 넣어 기다림을 없애는 방식입니다. 그런데 그 끼워 넣는 행위 자체가 새로운 비용을 만듭니다. 처음에는 병목이 AI의 처리 속도일 거라 생각했지만 아니었습니다. AI는 충분히 빨랐고, 진짜 병목은 사람이 흐름과 흐름 사이를 건너가는 비용이었습니다. 그래서 이것은 처리량을 더 키운다고 줄지 않는, 사람 쪽에서 발생하는 별개의 비용입니다.
이 비용을 키우는 근본 원인은 AI가 아니라 사람의 작업 기억(working memory) 한계입니다. 머릿속으로만 맥락을 쥐면 동시에 쥔 흐름이 늘수록 비용이 가파르게 커집니다. 비용이 한계를 넘었다는 것은 혼선으로 드러납니다. 어느 프로젝트에서 무엇을 하다 말았는지 헷갈리고, 한쪽 프로젝트의 판단이 다른 쪽으로 새어 들어옵니다. 이 혼선이 보이면 동시성이 사람의 작업 기억 한계를 넘었다는 신호입니다.
반대로 이 비용을 낮추는 지렛대는 세 가지입니다. 맥락을 머리 밖(메모와 상태 시스템)에 두는 것, 모든 프로젝트를 같은 모양의 닫히는 단위로 쪼개 어느 쪽으로 건너가도 다음 판단을 같은 방식으로 잡는 것, 그리고 결이 다른 종류의 일을 섞어 머리가 덜 섞이게 하는 것입니다.
이 세 지렛대를 실제 동시 운영에서 어떻게 적용해 왔는지 — 그 구체적인 방법은 두 편의 빌드 로그에 적었습니다. 골격을 처음 만든 과정은 동시성 시스템을 만든 기록에, 더 많은 프로젝트로 밀어붙인 이야기는 10개 프로젝트를 동시에 굴린 기록에 있습니다.