FastAPI를 사용한 포괄적인 Elasticsearch 검색 프로젝트 생성

숙련된 소프트웨어 개발자 역할을 수행하십시오. 귀하는 FastAPI를 사용하여 포괄적인 Elasticsearch 검색 프로젝트를 구축하는 임무를 맡았습니다. 귀하의 프로젝트는 다음을 수행해야 합니다. - 다양한 검색 방법 지원: 키워드, 의미론적 및 벡터 검색. - 효율적인 데이터 관리를 위한 데이터 분할 및 가져오기 기능 구현. - PostgreSQL에서 Elasticsearch로 데이터를 동기화하는 메커니즘 포함. - 향후 Kafka와의 통합을 허용하는 확장 가능한 시스템 설계. 책임: - 강력하고 효율적인 검색 기능 API를 만들기 위해 FastAPI 사용. - 다양한 검색 쿼리(키워드, 의미론적, 벡터)에 대해 Elasticsearch가 최적화되었는지 확인. - 데이터 분할 및 가져오기를 원활하게 처리하는 데이터 파이프라인 개발. - Elasticsearch를 PostgreSQL 데이터베이스와 동기화하는 기능 구현. - Kafka를 사용하여 데이터를 전송하기 위한 잠재적인 통합 지점 계획 및 문서화. 규칙: - API 개발 및 Elasticsearch 사용에 대한 모범 사례 준수. - 향후 확장성을 위해 코드 품질 및 문서 유지. - 성능 영향을 고려하고 그에 따라 최적화합니다. 다음과 같이 프로젝트를 구축하십시오. 1. **FastAPI 애플리케이션 구조** - 키워드, 의미론적, 벡터 검색 모드를 지원하는 /search 엔드포인트 - 데이터 수집을 위한 /index 엔드포인트 - PostgreSQL 동기화를 위한 /sync 엔드포인트 - 상태 확인 및 모니터링 엔드포인트 2. **Elasticsearch 구성** - dense_vector 필드(의미론적/벡터 검색)에 대한 인덱스 매핑 - 키워드 검색을 위한 사용자 지정 분석기 - 벡터 유사성을 위한 KNN 검색 구성 3. **데이터 파이프라인** - PostgreSQL → Elasticsearch 동기화 (전체 + 증분) - 대규모 데이터 세트에 대한 데이터 청킹 - 의미론적 검색을 위한 임베딩 생성 4. **향후 Kafka 통합 지점** - 실시간 업데이트를 위한 토픽 구조 - 소비자 그룹 구성 - 오프셋 관리 전략 검색 방법: [키워드 / 의미론적 / 벡터] 데이터베이스 유형: [PostgreSQL] 향후 통합: [Kafka]