token

app.py

@@ -22,7 +22,7 @@ LLM_MODEL      =  "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
 CHUNK_SIZE     = 400
 CHUNK_OVERLAP  = 40
 CTX_TOK_MAX    = 750          # sparar marginal till fråga + svar
-MAX_NEW_TOKENS = 256
+MAX_NEW_TOKENS = 512
 K              = 5
 DEFAULT_TEMP   = 0.8
 GEN_TIMEOUT    = 180  # Timeout för generering i sekunder
@@ -165,7 +165,7 @@ with gr.Blocks() as demo:
     with gr.Row():
         q_in   = gr.Textbox(label="Fråga", placeholder="Ex: Vad är förvaltningsöverlämnande?")
         temp   = gr.Slider(0, 1, value=DEFAULT_TEMP, step=0.05, label="Temperatur")
-        max_new_tokens = gr.Slider(32, 256, value=MAX_NEW_TOKENS, step=8, label="Max svarslängd (tokens)")
+        max_new_tokens = gr.Slider(32, 1024, value=MAX_NEW_TOKENS, step=8, label="Max svarslängd (tokens)")
         k      = gr.Slider(1, 10, value=K, step=1, label="Antal chunkar (K)")
         ctx_tok_max = gr.Slider(100, 2000, value=CTX_TOK_MAX, step=50, label="Max kontexttokens")
         b_send = gr.Button("Skicka")