질문 모양의 데이터 표면을 먼저 정의하기 #1

배경

abductcli는 단순한 공개 데이터 분석 도구가 아니라, 인간이 스케일을 잘 못 잡는 지점에서 출발하는 abductive scale reasoning 도구다.

현재 방향은 대략 다음 감각으로 잡혀 있다.

anomaly → signal → memo → evaluation

그런데 에이전트와 같이 실험해보면, 데이터셋을 먼저 찾으려는 관성이 생긴다. 예를 들면 NBA 데이터, 농수산 데이터, Kaggle류 공개 데이터처럼 깨끗하고 구하기 쉬운 표를 먼저 가져오려 한다.

문제는 그런 데이터가 나쁘다는 것이 아니다. 문제는 그 데이터가 힣의 실제 질문에서 출발하지 않는다는 점이다. 모르는 주제의 데이터셋을 분석하면 정확도는 나올 수 있어도, 이 도구가 훈련하려는 감각과 붙지 않아서 재미가 없다.

핵심 문제

현재 필요한 것은 “더 많은 공개 데이터셋”이 아니다.

필요한 것은 다음 순서다.

질문 → 표면 → 신호 후보 → 최소 데이터 → 메모 → 검증

즉 데이터셋을 먼저 고르는 것이 아니라, 먼저 힣이 실제로 붙잡은 이상한 장면, 스케일 감각의 어긋남, 주변 체감과 실제 세계 사이의 간격을 선언해야 한다.

그 다음 그 질문이 요구하는 측정 표면을 잡고, 그 표면을 지탱할 최소 데이터만 가져와야 한다.

예시 1: 지역 콘서트 스케일

관측된 이상함

수원에도 김장훈 같은 가수의 콘서트 현수막이 걸린다. 그런데 나는 이런 콘서트에 가본 적이 없고, 주변에서도 갔다는 사람을 거의 못 봤다.

그럼에도 전국투어 콘서트는 계속 열린다.

질문

• 이런 공연은 실제로 좌석이 다 팔리는가?
• 다 팔리지 않아도 공연이 성립하는 최소 관객 밀도는 어느 정도인가?
• 팬카페, 지역 문화 수요, 공연장 규모, 할인, 예매처, 주최/제작 구조가 어떻게 결합되어 관객을 만드는가?
• “내 주변에는 아무도 없음”과 “공연장은 돌아감”은 어떻게 동시에 참인가?

가능한 데이터 표면

• 공연장 좌석 수
• 티켓 가격
• 잔여석/좌석표 스냅샷
• 투어 도시와 일정
• 팬카페/SNS 반응
• 지역 문화재단/공연장 홍보
• KOPIS 공연예술통합전산망 통계
• 공연 후 후기, 사진, 기사

abductcli 관점

이 표면은 임의의 스포츠 데이터보다 낫다. 출발점이 실제 체감이기 때문이다.

내 주변 샘플에서는 0명처럼 보이지만,
광역 생활권 + 팬덤 + 지역 문화 수요 + 예매 플랫폼이 결합하면
하루 한 장소에 수백~수천 명이 압축될 수 있다.

예시 2: Emacs / 디지털가든 사용자 스케일

관측된 이상함

주변에는 Emacs 사용자도 거의 없고, 디지털가든을 장기 운영하는 사람도 거의 보이지 않는다.

그런데 GitHub, 패키지 저장소, 메일링리스트, 블로그, 공개 가든, Org-mode 생태계를 보면 분명히 이 사람들은 존재한다.

질문

• 내 주변에는 없는데 세계에는 존재하는 이 희소 집단은 어떤 방식으로 유지되는가?
• 도구나 실천이 대중적이지 않아도 살아남기 위한 최소 커뮤니티 규모는 어느 정도인가?
• 지역 밀도는 낮지만 네트워크 밀도는 높은 집단을 어떻게 관측할 것인가?

가능한 데이터 표면

• GitHub repo / commit / contributor 수
• 패키지 릴리즈 주기
• mailing list / forum / issue 활동
• 블로그와 backlink
• 검색 노출
• 문서 갱신 빈도
• 소수 장기 사용자의 공개 흔적

제안: surface 계층 추가

현재 파이프라인 앞에 surface 계층을 명시하자.

human question
  → declared surface
  → signal candidates
  → minimal data pack
  → memo
  → verification

또는 한국어로:

인간의 질문
  → 측정 표면 선언
  → 신호 후보
  → 최소 데이터 묶음
  → 메모
  → 나중 검증

에이전트 작업 지침

에이전트는 “공개 데이터셋을 찾아라”에서 시작하면 안 된다.

먼저 다음을 확인해야 한다.

1. 힣이 실제로 이상하게 느낀 장면은 무엇인가?
2. 어떤 스케일 간격을 보고 있는가?
3. 그 간격을 드러낼 수 있는 표면은 무엇인가?
4. 그 표면을 지탱할 최소 공개 데이터는 무엇인가?
5. 나중에 이 메모를 반증하거나 보강할 수 있는가?

나쁜 방향:

깨끗한 공개 데이터셋을 아무거나 찾는다.

좋은 방향:

이 인간의 질문이 요구하는 측정 표면을 먼저 잡는다.

첫 번째 후보 표면들

• 지역-콘서트-스케일
  • 현수막, 공연장, 좌석 수, 티켓 가격, 팬덤, 지역 문화 수요
• 희소-도구-커뮤니티
  • Emacs, Org-mode, Clojure, 디지털가든, GitHub 활동, 패키지 생태계
• 일상재-공급망-스케일
  • 바나나, 커피, 쌀, 택배, 편의점 물류
• 도시-크기-직관
  • 수원, 서울, 러시아, 바이칼호, 인구/면적/거리 비교
• AI-인프라-스케일
  • GPU, 데이터센터, 전력, 추론 트래픽, 비용
• 전쟁-물류-스케일
  • 탄약, 사상자, 열차, 식량, 의료, 전선 유지

수용 기준

• docs/surfaces.md 또는 data/surfaces.edn 같은 문서를 추가한다.
• 최소 3개의 질문 모양 표면을 정의한다.
• 각 표면은 다음 항목을 가진다.
  • 관측된 이상함
  • 왜 스케일 추론과 연결되는가
  • 후보 신호
  • 가능한 공개 출처
  • 최소 데이터 묶음
  • 검증 경로
• AGENTS.md에 에이전트가 임의의 데이터셋부터 찾지 않도록 지침을 추가한다.
• generic dataset 예제가 아니라 surface 기반 예제를 하나 만든다.

메모

abductcli의 목적은 일반 데이터 분석기가 되는 것이 아니다.

목적은 힣이 실제로 마주친 조각에서 출발해, 보이지 않는 규모와 경로를 추론하는 감각을 훈련하는 것이다.

한 줄로 압축하면:

abductcli는 dataset-first가 아니라 question-first, surface-second, dataset-third여야 한다.

이 이슈는 이후 작업을 걸어둘 수 있는 후크로 둔다. 구현은 작게 시작하되, 에이전트가 잘못된 데이터셋 사냥으로 빠지지 않도록 방향을 먼저 박아둔다.