Skip to content

feat(search): SwiftData 정규화 + FTS5/임베딩 검색 기반 구축 #4

Open

Description

@hsu3046

Context

현재 Overline은 LibraryStateSnapshot 전체를 하나의 JSON Data로 인코딩해 SwiftData의 PersistentLibrarySnapshot.data에 저장하고, UserDefaults 백업을 함께 둔다.

이 구조는 로컬 저장에는 충분하지만, 글조각이 수천 개 이상 쌓였을 때 검색, 부분 업데이트, 정렬, LLM 호출용 관련 글조각 검색, embedding 갱신 관리에 불리하다.

현재 인사이트 생성은 사용자가 명시적으로 선택한 글조각만 LLMInsightSource로 조립해 LLM에 전달한다. 앞으로는 선택 기반 흐름은 유지하되, 질문 기반 자동 검색/RAG도 지원할 필요가 있다.

제안 / 할 일

  • BookRecord, HighlightRecord, InsightRecord 등 SwiftData 모델을 개별 레코드 구조로 정규화
  • 기존 snapshot 저장 구조에서 새 모델 구조로 안전하게 마이그레이션
  • 일반 검색은 우선 SwiftData/메모리 검색으로 유지하되, 데이터 증가 시 SQLite FTS5 인덱스 추가
  • OCR 본문, 메모, 태그, 책 제목, 저자 필드를 검색 대상으로 포함
  • Core Spotlight 인덱싱을 검토해 iOS 시스템 검색 및 향후 Foundation Models 연동 가능성 확보
  • LLM 호출 전 관련 글조각 Top-K를 검색하는 RAG 흐름 설계
  • embedding 저장용 EmbeddingRecord 설계: sourceID, modelID, dimension, vectorBlob, textHash, updatedAt
  • cloud embedding과 on-device embedding/Core Spotlight 방식의 개인정보·성능·비용 trade-off 정리
  • LLM 프롬프트 조립 순서 정리: 책 정보 → 선택/검색된 글조각 → 메모 → 사용자 질문

관련

  • 현재 논의: 데이터가 많이 쌓였을 때 검색/embedding/RAG 구조 조사

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions