Update reg_embedding_system_v02.py

reg_embedding_system_v02.py

@@ -454,54 +454,67 @@ def get_unique_metadata_values(
         return []
 
 def smart_search_vectorstore(
-    retriever, 
+    bm25_retriever, 
+    vectorstore, 
     query, 
     k=5, 
-    vectorstore=None, 
     sqlite_conn=None, 
     enable_detailed_search=True
 ):
-    """기본 검색 + 상세 검색 수행"""
-    # 1. 기본 검색
-    basic_results = retriever.invoke(query)
-    basic_results = basic_results[:k]
-    #logger.info(f"[기본 검색] {len(basic_results)}개 문서 검색 완료")
+    """
+    1단계: 하이브리드 검색으로 전체 맥락 파악
+    2단계: 검색된 문서들에서 주된 'regulation'(규정) 파악
+    3단계: 해당 규정으로 필터링하여 심층 검색 수행
+    """
     
-    if not enable_detailed_search or not vectorstore or not sqlite_conn:
-        #logger.info("[안내] 상세 검색 비활성화 또는 컴포넌트 부족 → 기본 검색 결과만 반환")
+    # 1. 기본 검색 (하이브리드 검색 수행)
+    #    단순 retriever.invoke가 아니라 앞서 정의한 search_vectorstore를 사용하여
+    #    Vector + BM25 결과를 섞어서 가져옵니다.
+    try:
+        basic_results = search_vectorstore(bm25_retriever, vectorstore, query, k=k)
+    except Exception as e:
+        print(f"[스마트 검색 오류] 기본 검색 실패: {e}")
+        return []
+
+    # 상세 검색이 비활성화되었거나 필수 컴포넌트가 없으면 기본 결과 반환
+    if not enable_detailed_search or not sqlite_conn:
         return basic_results
     
-    # 2. regulation_part 빈도 분석
-    regulation_parts = []
+    # 2. 메타데이터 빈도 분석 (타겟 키: 'regulation')
+    #    DB 스키마가 변경되었으므로 regulation_part 대신 regulation을 사용합니다.
+    target_metadata_key = 'regulation' 
+    extracted_values = []
+    
     for doc in basic_results:
-        reg_part = doc.metadata.get('regulation_part')
-        if reg_part:
-            if isinstance(reg_part, list):
-                regulation_parts.extend(reg_part)
-            elif isinstance(reg_part, str):
-                if ',' in reg_part:
-                    regulation_parts.extend([part.strip() for part in reg_part.split(',')])
+        val = doc.metadata.get(target_metadata_key)
+        if val:
+            if isinstance(val, list):
+                extracted_values.extend(val)
+            elif isinstance(val, str):
+                # DB 저장 시 ', '로 합쳐진 문자열일 수 있으므로 분리 시도
+                if ',' in val:
+                    extracted_values.extend([part.strip() for part in val.split(',')])
                 else:
-                    regulation_parts.append(reg_part)
+                    extracted_values.append(val)
     
-    if not regulation_parts:
-        #logger.info("[안내] regulation_part 메타데이터 없음 → 기본 검색 결과만 반환")
+    if not extracted_values:
+        # 분석할 메타데이터가 없으면 기본 결과 반환
         return basic_results
     
-    counter = Counter(regulation_parts)
-    most_extracted_category = counter.most_common(2)
-    #logger.info(f"[빈도 분석] regulation_part 빈도: {dict(counter)}")
-    #logger.info(f"[상위 카테고리] {most_extracted_category}")
+    counter = Counter(extracted_values)
+    # 상위 2개의 카테고리(규정) 추출
+    most_common_categories = counter.most_common(2)
     
-    # 3. 상세 검색
+    # 3. 상세 검색 (필터링 검색)
     detailed_results = []
-    for rank, (category, count) in enumerate(most_extracted_category, 1):
-        #logger.info(f"[상세 검색 {rank}순위] '{category}' 카테고리 검색 시작 (빈도: {count})")
-        metadata_filter = {'regulation_part': category}
+    for rank, (category, count) in enumerate(most_common_categories, 1):
+        # 상위 카테고리에 대해 필터링 조건 생성
+        metadata_filter = {target_metadata_key: category}
         
         try:
+            # 변경된 search_with_metadata_filter 시그니처에 맞춰 호출
             category_results = search_with_metadata_filter(
-                ensemble_retriever=retriever,
+                bm25_retriever=bm25_retriever, # [변경] Ensemble 대신 BM25 전달
                 vectorstore=vectorstore,
                 query=query,
                 k=k,
@@ -509,30 +522,30 @@ def smart_search_vectorstore(
                 sqlite_conn=sqlite_conn
             )
             detailed_results.extend(category_results)
-            #logger.info(f"[상세 검색 {rank}순위] {len(category_results)}개 추가 문서 검색 완료")
+            print(f"[스마트 검색] '{category}' 집중 검색 → {len(category_results)}개 추가")
+            
         except Exception as e:
-            #logger.info(f"[경고] 상세 검색 {rank}순위 실패 ({category}): {e}")
+            print(f"[경고] 상세 검색 실패 ({category}): {e}")
             continue
     
-    # 4. 결과 병합
+    # 4. 결과 병합 및 중복 제거
+    #    (상세 검색 결과 우선 + 기본 검색 결과)
     seen = set()
     final_results = []
 
-    #Detailed 검색 결과를 먼저 추가
-    for doc in detailed_results:
-        doc_signature = (doc.page_content, str(sorted(doc.metadata.items())))
-        if doc_signature not in seen:
-            seen.add(doc_signature)
-            final_results.append(doc)
-    
-    for doc in basic_results:
+    # 우선순위: 상세 검색 결과 -> 기본 검색 결과
+    all_candidates = detailed_results + basic_results
+
+    for doc in all_candidates:
+        # 문서 내용과 메타데이터 문자열을 조합하여 고유 키 생성
         doc_signature = (doc.page_content, str(sorted(doc.metadata.items())))
+        
         if doc_signature not in seen:
             seen.add(doc_signature)
             final_results.append(doc)
     
+    # 최종적으로 k개만 반환
     final_results = final_results[:k]
-    #logger.info(f"[최종 결과] 기본 {len(basic_results)}개 + 상세 {len(detailed_results)}개 → 중복 제거 후 {len(final_results)}개 반환")
     
     return final_results