논문 세 편이 인용했습니다. 써봤다는 사람은 아직 없습니다.

예상하지 못한 숫자

논문 세 편이 이 툴킷의 설계를 인용했습니다. 그런데 이 도구를 실제로 써봤다고 공개적으로 쓴 사람은 한 명도 찾지 못했습니다.

두 번 찾아봤습니다. 블로그, 레딧, 한국어 커뮤니티, "의사들이 실제로 쓰는 Claude 스킬" 같은 정리글까지. 카탈로그와 awesome-list에는 올라 있습니다. 누군가 자기 작업을 설명하는 글 안에는 없습니다.

지금 이 프로젝트에서 가장 흥미로운 사실이 그 간극이고, 스타 개수보다 쓸 값어치가 있다고 봤습니다.

5개월, 실측

저장소는 오늘로 5개월입니다. 첫 커밋은 2026년 4월 6일이었습니다.

• 스타 302개, 포크 73개, 워처 12명
• 커밋 907개
• 스킬 59개, 보고 가이드라인 49종, 무결성 검사기 90개, CI 게이트 251개
• 최근 14일 조회 2,179회, 고유 방문자 740명
• 외부 기여자가 머지시킨 PR 4건, 사람 수로는 2명

제가 계속 보는 비율은 포크 대 스타입니다. 24.2%. 5월에 저장소가 스타 100개를 넘겼을 때, 포크 30개가 스타 106개보다 중요하다고 썼습니다. 스타는 북마크지만 포크는 실제로 돌려보거나 고쳐 쓰겠다는 신호이기 때문입니다. 보통 오픈소스는 5~10% 사이에 있습니다. 넉 달이 지나도 비율이 유지됩니다. 적어도 찾아온 사람들이 링크만 저장하고 있지는 않다는 뜻입니다.

다운로드 수를 쓰지 않는 이유

위 목록에 넣을 수 있었던 더 큰 숫자가 두 개 있습니다. 둘 다 정직하지 않았을 겁니다.

릴리스 다운로드는 사용자 수가 아니라 릴리스를 몇 번 찍었는지를 따라 자랍니다. 자동화된 미러와 스캐너, 크롤러가 새 릴리스마다 파일을 받아 갑니다. 올해 초 37일 동안 릴리스를 42개 찍었는데, 누적 다운로드는 두 배가 됐고 릴리스당 다운로드는 32에서 5로 무너졌습니다. 저는 그 두 배를 채택의 증거로 인용하기 직전이었습니다. 실제로는 태그를 많이 찍었다는 증거였습니다.

클론 수에는 CI가 섞입니다. GitHub은 CI 체크아웃도 클론으로 세는데, 이 저장소의 파이프라인은 푸시할 때마다 돕니다.

스타와 포크, 고유 방문자는 사람이 의도적으로 만들어야 나오는 숫자입니다. 위에 적은 것이 그 셋입니다. 이 지표가 사용자를 세는지 나를 세는지 묻는 습관은 이 툴킷이 강제하려는 습관과 같은 것이라, 툴킷에 대한 글에서 그 습관을 버리면 이상해집니다.

비개발자가 도구를 만드는 일에 대해

저는 의사입니다. 이걸 만들려고 프로그래밍을 배운 게 아니고, 그게 무슨 뜻인지 정직하게 설명할 방법이 오랫동안 없었습니다. 근거가 제 작업에 대한 제 인상뿐이었기 때문입니다.

이제 더 나은 근거가 있습니다. Anthropic이 6월에 클로드 코드 세션 약 40만 건, 사용자 약 23만 5천 명을 분석한 결과를 냈습니다. 2025년 10월부터 2026년 4월까지의 데이터입니다.

verified success에 도달한 비율은 소프트웨어 직군이 약 30%, 그 외 직군이 약 **26%**였습니다. 코드를 실제로 생산한 세션만 보면 데이터셋에서 가장 큰 열 개 직군 전부가 소프트웨어 엔지니어의 7%포인트 안에 들어왔습니다. 논문은 결론을 이렇게 적었습니다. "Domain expertise, and not coding proficiency, amplifies effective use of the tool."

정작 크게 갈린 건 분야 안에서의 숙련도였습니다. 초심자로 분류된 세션은 15%가 verified success에 도달했고 중급 이상은 2833%였습니다. 막혔을 때 초심자는 19%가 세션을 포기했고, 나머지는 57%였습니다.

영상의학과 의사가 연구 툴킷을 만들 수 있었던 이유가 여기 있습니다. 세션의 성패를 가르는 부분이 제가 이미 갖고 있던 부분이었습니다. 이 분야에서 틀린 답이 어떻게 생겼는지 아는 것 말입니다.

인용은 셋, 사용기는 영

설계 논문은 6월에 올렸고, 그 뒤로 세 편이 인용했습니다.

하나는 recursive self-improvement 서베이입니다. AI가 자기 과학적 산출물을 감사할 때 무엇이 실패하는지에 대한 참조로 인용했습니다.

두 번째는 같은 구조를 개인 건강기록에 적용한 논문인데, 독립적으로 같은 설계에 도달했습니다. 추출된 값은 결정론적 검사기가 원문과 대조해 통과시키기 전까지 잠정 상태로 남습니다. 생성한 쪽은 자기 출력을 승인할 수 없고, 증거가 모호하면 거부되며, 거부된 후보는 조용히 버려지지 않고 사람이 보는 대기열로 갑니다.

다른 나라의 연구팀이 다른 문제에서 출발해 같은 설계에 닿았습니다. 올해 이 프로젝트에 일어난 일 중 가장 고무적이었습니다.

세 번째는 백서입니다. 파이프라인이 자기 출력을 게이팅하는 선행 시스템을 딱 두 개만 지목하고, 그중 하나로 이 작업을 놓은 뒤 이렇게 적었습니다. "The present work uses the same verification primitive."

아이디어는 옮겨가는데 소프트웨어는 옮겨가지 않습니다. 이유는 단순하다고 봅니다. 아이디어를 가져가는 비용은 한 문단이지만, 툴킷을 가져가는 비용은 설치에 반나절과 에이전트 호스트에 대한 실무 지식입니다. 설치 경로가 제가 투자를 덜 한 지점이고, 저장소에 임상의용으로 열어둔 good-first-issue 다섯 개가 아직 아무도 손대지 않은 채 남아 있는 것도 같은 말을 다른 쪽에서 합니다.

사실일 것 같은 부분

이 프로젝트의 성장은 멈출 것이라고 봅니다.

파운데이션 모델은 계속 좋아지고, 그들이 제공하는 하네스는 예전에 직접 조립해야 했던 능력을 계속 흡수합니다. 서브에이전트, 지속 메모리, 오케스트레이션, 일급 개념이 된 스킬까지 전부 기본 탑재됐고 저는 그 어느 것에서도 앞선 적이 없습니다. 의사 한 명이 저녁 시간에 유지하는 연구 툴킷이 거기에 공학으로 이길 수는 없습니다. 이길 수 있는 척하면 남은 시간만 버립니다.

그 하네스들이 흡수하지 못하는 건 도메인 부분 아래에 깔린 노동입니다. 이 툴킷이 싣고 있는 EQUATOR 보고 도구 49종을 원본 문서와 대조해 감사했더니 3분의 2 정도가 수정이 필요했습니다. 항목 수가 틀렸거나, 원본이 비워둔 자리에 임계값이 지어내져 있거나, 아예 그 도구가 아닌 파일도 하나 있었습니다. 고치려면 원본 PDF를 열어 한 줄씩 대조해야 했고, 한 건은 그 도구를 배포하는 기관에 직접 문의해야 했습니다. 모델이 더 좋아진다고 검증된 체크리스트가 나오지는 않습니다. 그럴듯한 체크리스트가 나오고, 그게 문제입니다.

저널 프로필도, 제출 단계의 실패 패턴도, 어느 출판사의 제작 시스템이 특정 heading 레벨을 거부한다는 지식도 마찬가지입니다. 그건 무엇이 잘못됐는지에 대한 기록이고, 그 일을 직접 당한 사람이 남긴 것입니다. 어떤 하네스도 그걸 싣고 오지 않습니다.

그래서 정직한 예측은 이렇습니다. 이 프로젝트의 범용적인 절반은 상품화되고, 특수한 절반은 값을 유지하되 관리가 필요합니다. 가이드라인이 개정되기 때문입니다. 이 툴킷을 쓰는 동안 QUADAS-2는 QUADAS-3로 대체됐습니다.

제 숫자부터 확인했습니다

이 글을 쓰면서 외부 통계를 전부 1차 출처까지 따라갔습니다. 넷 중 둘이 흔히 인용되는 형태로는 틀려 있었습니다.

Anthropic의 성공률은 34%와 29%로 널리 돌아다닙니다. 논문은 30%와 26%라고 적었습니다. 그리고 스택오버플로 개발자 설문에서 나왔다는 "3%만이 AI 출력을 완전히 신뢰한다"는 수치는 스택오버플로 자신의 글에 아예 없습니다.

스택오버플로가 실제로 보고한 숫자는 인용할 값어치가 있습니다. 개발자의 84%가 AI 도구를 쓰거나 쓸 예정인데, 신뢰한다는 응답은 전년 40%에서 29%로 떨어졌습니다. 채택이 오르는 동시에 신뢰가 내려가는 것이 연구 파이프라인에 검증을 심는 일의 전제 전부입니다.

넷 중 둘이 재인용 과정에서 어긋났고, 그걸 잡은 유일한 방법은 출처를 여는 것이었습니다. 이 툴킷이 하는 일이 그것입니다.

이 프로젝트의 자리

DHH는 최근 지난 1년의 AI 코딩을 가른 것이 원시적인 지능이 아니라 하네스였다고 말했습니다. 모델이 코드를 돌리고, 에러를 읽고, 사람 없이 고치는 루프 말입니다. 그는 자기 리눅스 배포판을 전부 AI가 쓰게 하고 코드를 열어보지 않았다고도 했습니다.

그가 그럴 수 있는 건 컴파일러가 몇 초 안에 틀렸다고 말해주고 사용자가 몇 시간 안에 말해주기 때문입니다. 임상 논문에는 컴파일러가 없습니다. 판정자는 석 달 뒤의 리뷰어이거나, 아무도 아닙니다. 이 저장소의 결정론적 게이트는 전부 프로그래밍이 이미 가진 그 피드백 신호를 한 좁은 분야에 억지로 만들어보려는 시도입니다.

그 시도가 제 여가 시간보다 오래 갈지는 모르겠습니다. 다만 세 팀이 이 아이디어 위에 무언가를 세웠고 그중 하나는 독립적으로였으며, 툴킷은 MIT 라이선스로 그 자리에 남습니다. 이 기여가 종착지가 아니라 더 큰 무언가의 한 계단이었던 것으로 밝혀진다면, 저녁 시간 5개월의 결과로는 납득할 만합니다.

저장소는 github.com/Aperivue/medsci-skills에 있습니다. 실제 업무에 쓰신다면, 스타 하나보다 그 이야기를 읽고 싶습니다.