updates for working

app.py

@@ -7,65 +7,102 @@ from langchain_huggingface.embeddings import HuggingFaceEmbeddings
 from langchain_huggingface.llms import HuggingFacePipeline
 from langchain.chains import RetrievalQA
 
-# ── 1) Ladda & indexera PDF:er ────────────────────────────────
+# ── 1) Ladda & indexera alla PDF:er i mappen "document/" ─────────────────────
 docs, files = [], []
 for fn in os.listdir("document"):
     if fn.lower().endswith(".pdf"):
-        loader = PyPDFLoader(os.path.join("document", fn))
+        path   = os.path.join("document", fn)
+        loader = PyPDFLoader(path)
         docs.extend(loader.load_and_split())
         files.append(fn)
 
+# ── 2) Skapa embedding + FAISS-vektorstore ──────────────────────────────────
 emb = HuggingFaceEmbeddings(model_name="KBLab/sentence-bert-swedish-cased")
 vs  = FAISS.from_documents(docs, emb)
 
-# ── 2) Initiera LLM & RAG-kedja ──────────────────────────────
-pipe = pipeline("text-generation", model="tiiuae/falcon-rw-1b", device=-1)
-llm  = HuggingFacePipeline(
+# ── 3) Initiera LLM och RetrievalQA-kedja ──────────────────────────────────
+pipe = pipeline(
+    "text-generation",
+    model="tiiuae/falcon-rw-1b",
+    device=-1,
+    max_new_tokens=128  # kortare svar för snabbare inferens
+)
+llm = HuggingFacePipeline(
     pipeline=pipe,
-    model_kwargs={"temperature": 0.3, "max_new_tokens": 512}
+    model_kwargs={"temperature": 0.3}
 )
-qa   = RetrievalQA.from_chain_type(llm=llm, retriever=vs.as_retriever())
+qa = RetrievalQA.from_chain_type(llm=llm, retriever=vs.as_retriever())
 
-# ── 3) Chat-funktion ───────────────────────────────────────────
+# ── 4) Chat-funktion som använder "messages"-formatet ────────────────────────
 def chat_fn(message, temperature, history):
+    """
+    - message: str, användarens fråga
+    - temperature: float, sampling-temperatur
+    - history: list of dicts, tidigare meddelanden i formatet {"role","content"}
+    """
     history = history or []
-    if not message:
-        history.append(("","⚠️ Du måste skriva en fråga."))
+
+    # Om användaren inte skriver något
+    if not message.strip():
+        history.append({"role": "assistant", "content": "⚠️ Du måste skriva en fråga."})
         return history, history
+
+    # Lägg in användarens fråga
+    history.append({"role": "user", "content": message})
+
+    # Kortare frågor om de är för långa
     if len(message) > 1000:
-        history.append((message, f"⚠️ För lång fråga ({len(message)} tecken)."))
+        history.append({
+            "role": "assistant",
+            "content": f"⚠️ Frågan är för lång ({len(message)} tecken)."
+        })
         return history, history
 
+    # Använd vald temperatur
     llm.model_kwargs["temperature"] = temperature
+
+    # Kör RAG + få svar
     try:
-        answer = qa.invoke({"query": message})["result"]
+        result = qa.invoke({"query": message})
+        svar   = result["result"]
     except Exception as e:
-        answer = f"❌ Ett fel uppstod: {e}"
-    history.append((message, answer))
+        svar = f"❌ Ett fel uppstod vid bearbetning: {e}"
+
+    # Lägg till svaret
+    history.append({"role": "assistant", "content": svar})
     return history, history
 
-# ── 4) Bygg Gradio-UI ──────────────────────────────────────────
+# ── 5) Bygg Gradio‐UI ─────────────────────────────────────────────────────────
 with gr.Blocks() as demo:
     gr.Markdown("## 🌟 Dokumentassistent (Svenska)")
-
     gr.Markdown(
         "**✅ Laddade PDF-filer:**\n\n" +
         "\n".join(f"- {f}" for f in files)
     )
 
     with gr.Row():
-        txt   = gr.Textbox(label="Din fråga:", placeholder="Ex: Vad handlar dokumentet om?")
-        temp  = gr.Slider(0.0, 1.0, value=0.3, step=0.05, label="Temperatur")
+        txt   = gr.Textbox(
+            lines=2,
+            label="Din fråga:",
+            placeholder="Exempel: Vad säger dokumentet om avsnittet 'Resultat'?"
+        )
+        temp  = gr.Slider(
+            0.0, 1.0, value=0.3, step=0.05,
+            label="Temperatur"
+        )
         send  = gr.Button("Skicka")
 
-    # Här lagras och visas historiken
+    # Intern state och chatbot-komponent som visar listor av dicts
     chat_state = gr.State([])
     chatbot    = gr.Chatbot(value=[], type="messages")
 
+    # Bind knappen så att gradio genererar /api/predict-endpoint
     send.click(
         fn=chat_fn,
         inputs=[txt, temp, chat_state],
         outputs=[chatbot, chat_state]
     )
 
-demo.launch()
+# Starta appen
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -1,5 +1,4 @@
 huggingface_hub==0.25.2
-gradio
 langchain[all]>=0.1.14
 langchain-community>=0.0.19
 langchain-huggingface>=0.0.6
@@ -8,6 +7,7 @@ sentence-transformers
 faiss-cpu
 pdfminer.six
 pypdf
-google-genai==1.5.0
+#google-genai==1.5.0
 pydantic==2.10.6
 python-dotenv
+gradio==5.6.0