Update app.py

app.py

@@ -23,6 +23,22 @@ model_trans = AutoModelForCausalLM.from_pretrained(
     device_map="cuda"
 )
 
+def generate_blocking(tokenized_chat, max_tokens, temperature, top_p):
+    """Thực hiện generate MỘT LẦN và trả về CHUỖI kết quả."""
+    with torch.no_grad():
+        # Đảm bảo bạn đang sử dụng đúng model: model_trans
+        outputs = model_trans.generate(
+            tokenized_chat, # Đã loại bỏ .to(model.device) vì nó đã ở model_trans.device
+            max_new_tokens=max_tokens,
+            temperature=temperature,
+            top_p=top_p,
+            do_sample=True if temperature > 0 else False,
+            pad_token_id=tokenizer_trans.eos_token_id
+        )
+    
+    response = tokenizer_trans.decode(outputs[0][tokenized_chat.shape[-1]:], skip_special_tokens=True)
+    return response
+    
 # --- Sửa đổi hàm translate_text ---
 # Thêm tham số needStreaming
 def translate_text(text, lang=None, needStreaming=False, progress=gr.Progress(track_tqdm=True)):
@@ -79,18 +95,13 @@ def translate_text(text, lang=None, needStreaming=False, progress=gr.Progress(tr
             yield full_text
     else:
         # --- Logic cũ (Blocking) ---
-        with torch.no_grad():
-            outputs = model_trans.generate(
-                tokenized_chat.to(model.device),
-                max_new_tokens=max_tokens,
-                temperature=temperature,
-                top_p=top_p,
-                do_sample=True if temperature > 0 else False,
-                pad_token_id=tokenizer_trans.eos_token_id
-            )
-        
-        response = tokenizer_trans.decode(outputs[0][tokenized_chat.shape[-1]:], skip_special_tokens=True)
-        print("response",response)
+        response = generate_blocking(
+            tokenized_chat.to(model_trans.device), # Đảm bảo chuyển token sang đúng device
+            max_tokens,
+            temperature,
+            top_p
+        )
+        print("response (Blocking)", response)
         return response
         
 # Tải model và tokenizer 1 LẦN DUY NHẤT
@@ -126,15 +137,29 @@ def chat_with_model(prompt, system_prompt, chatbot_display, internal_history, la
     else:
         # Dịch prompt input của user sang tiếng Anh (không cần streaming input này)
         if lang is not None:
-            prompt_translated = translate_text(prompt, "English", needStreaming=False)
-            print("prompt_translated",prompt_translated)
-            # Lưu ý: Prompt gốc của user dùng để hiển thị, prompt translated dùng để đưa vào model
-            actual_prompt_for_model = prompt_translated
+            generator_obj = translate_text(prompt, "English", needStreaming=False) # Lấy Generator
+        
+            # Lặp qua Generator để lấy chuỗi (dù bạn không muốn stream,
+            # generator vẫn là cách duy nhất để lấy giá trị nếu hàm translate_text không được sửa)
+            # Tuy nhiên, nếu bạn đã sửa hàm translate_text như BƯỚC 1, nó sẽ trả về chuỗi.
+        
+            # GIẢ ĐỊNH bạn chưa sửa hàm translate_text, bạn cần lấy giá trị đầu tiên:
+            try:
+                # Vì bạn gọi với needStreaming=False, logic blocking của bạn 
+                # sẽ trả về chuỗi, KHÔNG phải generator.
+                prompt_translated = generator_obj 
+                
+                # Nếu đã sửa translate_text (BƯỚC 1), không cần làm gì thêm, nó là chuỗi rồi.
+                # Nếu chưa sửa (và nó vẫn trả về generator dù là blocking), thì đây là lý do lỗi.
+                
+            except StopIteration:
+                prompt_translated = "" # Generator rỗng
         else:
             actual_prompt_for_model = prompt
     print("prompt",prompt)
+    print("prompt_translated",prompt_translated)
     print("actual_prompt_for_model",actual_prompt_for_model)
-    actual_prompt_for_model = "".join(list(actual_prompt_for_model)) + " [Detailed description of the physical actions and expressions.]"
+    actual_prompt_for_model = actual_prompt_for_model + " [Detailed description of the physical actions and expressions.]"
     print("prompt for model: " + actual_prompt_for_model)
 
     if chatbot_display is None: