Instructions to use neph1/bellman-7b-mistral-instruct-v0.2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use neph1/bellman-7b-mistral-instruct-v0.2 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="neph1/bellman-7b-mistral-instruct-v0.2")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("neph1/bellman-7b-mistral-instruct-v0.2")
model = AutoModelForCausalLM.from_pretrained("neph1/bellman-7b-mistral-instruct-v0.2")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

llama-cpp-python

How to use neph1/bellman-7b-mistral-instruct-v0.2 with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="neph1/bellman-7b-mistral-instruct-v0.2",
	filename="gguf-2404/bellman-7b-mistral-instruct-v0.2-q8.gguf",
)

llm.create_chat_completion(
	messages = [
		{
			"role": "user",
			"content": "What is the capital of France?"
		}
	]
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use neph1/bellman-7b-mistral-instruct-v0.2 with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
# Run inference directly in the terminal:
llama-cli -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
# Run inference directly in the terminal:
llama-cli -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
# Run inference directly in the terminal:
./llama-cli -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

Use Docker

docker model run hf.co/neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

LM Studio
Jan

vLLM

How to use neph1/bellman-7b-mistral-instruct-v0.2 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "neph1/bellman-7b-mistral-instruct-v0.2"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "neph1/bellman-7b-mistral-instruct-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

SGLang

How to use neph1/bellman-7b-mistral-instruct-v0.2 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "neph1/bellman-7b-mistral-instruct-v0.2" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "neph1/bellman-7b-mistral-instruct-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "neph1/bellman-7b-mistral-instruct-v0.2" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "neph1/bellman-7b-mistral-instruct-v0.2",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use neph1/bellman-7b-mistral-instruct-v0.2 with Ollama:
```
ollama run hf.co/neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
```

Unsloth Studio new

How to use neph1/bellman-7b-mistral-instruct-v0.2 with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for neph1/bellman-7b-mistral-instruct-v0.2 to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for neph1/bellman-7b-mistral-instruct-v0.2 to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for neph1/bellman-7b-mistral-instruct-v0.2 to start chatting

Docker Model Runner
How to use neph1/bellman-7b-mistral-instruct-v0.2 with Docker Model Runner:
```
docker model run hf.co/neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M
```

Lemonade

How to use neph1/bellman-7b-mistral-instruct-v0.2 with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull neph1/bellman-7b-mistral-instruct-v0.2:Q3_K_M

Run and chat with the model

lemonade run user.bellman-7b-mistral-instruct-v0.2-Q3_K_M

List all available models

lemonade list

Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

A newer version of this model is available: neph1/bellman-mistral-7b-instruct-v0.3

Update 250114: There is now a new bellman with mistral-7b-instruct-v3: https://huggingface.co/neph1/bellman-mistral-7b-instruct-v0.3

Updated 240413: Dataset: 14002 rows. Rank: 64/128. Increased diversity of the instruct dataset. 4k context length training A light DPO pass to 'align' the model and make it less prone to saying untrue things. Ref: https://huggingface.co/datasets/neph1/truthy-dpo-v0.1-swe

Qlora trained for ~2 epochs on 14k rows of q&a, python examples and general 'instruct' type questions.

The goal is to improve knowledge in Swedish topics, while improving the quality of the language.

The name comes from the Swedish bard and poet Carl Mikael Bellman who lived in the 1700s. As with any bard, what this model says should be taken with a grain of salt. Even though it has the best of intentions.

Configuration:

Rank: 64

Alpha: 128

Dropout: 0.0

Learning rate (at start): 3e-5

Context length: 4096

Training length: ca 2 epochs

Important. Use correct prompt format for best results: [INST]Hur bakar jag sockerkaka?[/INST]

Some (cherry-picked, but not overly so) examples using the latest version (some were from before the DPO pass):

System prompt: "Du är en ai-assistent som talar flytande Svenska. Du är hjälpsam och svarar alltid tydligt på användarens frågor." (Having a longer prompt with correct Swedish will likely further improve the output)

Q8_0, temperature: 0.5

{{[INPUT]}} Kan du berätta hur en router fungerar?

{{[OUTPUT]}} En router är ett nätverksenhets som använder routingprotokoll för att bestämma var en datapaket skall skickas, baserat på dess destinationadress. Detta gör det möjligt för data att flytta mellan olika nätverk och datorer. Routern fungerar som en 'guide' som ledar data från sin ursprungliga plats till dess mål. När data skickas från en enhet till en annan, så skickas den i form av paket. Routern kontrollerar var paketen ska gå och skickar dem vidare genom rutten.

{{[INPUT]}} Hur vet jag om min router är komprometterad?

{{[OUTPUT]}} Ett sätt att undersöka om din router är komprometterad är att utföra en portscan eller en skannning av öppna portar på din egen IP-adress. Om du finner öppna portar som bör inte vara öppna, kan det indikera att din router har blivit komprometrerad. Dessutom kan du kontrollera om någon har fått åtkomst till ditt nätverk genom att granska listan över dina aktiva anslutningar. Om du ser några anslutningar som du inte känner till, kan det betyda att din router har blivit komprometrerad. Slutligen kan du även granska loggarna från din router för eventuella ovanliga aktiviteter.$$

{{[INPUT]}} Fyll i ett lämpligt ord på den tomma platsen: "Han ____ tills han kom till flygplatsen"

{{[OUTPUT]}} Han körde tills han kom till flygplatsen.

Förslaget är att fylla i verbet 'kör' eller 'drove' som passar bäst i den givna meningen. Verbet 'gick' är inte lämpligt eftersom det vanligtvis används för att beskriva att någon rör sig på fot eller cykel. Verbet 'kommer' är inte lämpligt eftersom det beskriver att någon redan befinner sig på önskat mål. Därför är verbet 'kör' eller 'drove' de mest lämpliga alternativen.

{{[INPUT]}} Ge mig tips på vilket gymnasieprogram jag ska välja

{{[OUTPUT]}} Att bestämma ett gymnasieprogram beror på din personliga intresse, din framtida karriärmål och din akademiska förmåga. Här är några tips på hur du kan välja rätt program:

Reflektera över dina intressen och din akademiska framgång. Vad är du bäst i? Vad tycker du om att läsa? Vilken typ av frågor tycker du om att lösa?
Forska kring olika gymnasieprogram. Det finns ofta flera olika program att välja mellan, så ta tid att utforska dem och förstå varje programs inriktning, krav och möjligheter.
Undersök arbetsmarknaden och den professionella utbildningen som passar din karriärmål. Det kan hjälpa dig att förstå hur det specifika gymnasieprogrammet kan hjälpa dig att uppnå din mål.
Tala med lärare, elever och föräldrar för att få insikt i deras erfarenhet från olika gymnasieprogram. De kan dela med sig av sin kunskap och ger dig en bättre idé om vad programmet innebär.
Tänk på ditt liv efter gymnasiet. Vad tycker du om att bohemisera eller gå till högre studier? Vilket program passar bäst för dina planer?
Tänk på dina personliga behov. Vad behöver du för att bli lycklig och framgångsrik? Vilket program passar bäst för dina behov?
Välj programmet som passar bäst för dina intressen, din akademiska förmåga och din framtida karriärmål. Du är ansvarig för dina egna val, så välj det som får dig att känna dig själv!
Kom ihåg att det alltid finns möjligheter att ändra program eller riktning om du inte tycker att det är rättt för dig. Gymnasiet är bara en del av din resa, och det är alltid senare att ändra kurs. Känslan av förvirring är vanligt, men du ska aldrig vara omsorgsfull när det gäller din framtid. Hitta styrkan i din egen kraft och välj det som passar bäst för dig!

Q3_K_M, temperature: 0.3

{{[INPUT]}} Hej. Jag tänker mycket på romarriket.

{{[OUTPUT]}} Hej! Det är intressant att du tänker på romarriket. Romarna var en mäktig civilisation med en rik historia, kultur och teknologi. De gjorde stora bidrag till världen och har fortfarande ett stort inflytande idag. Kan jag hjälpa dig med några frågor eller mer information om detta ämne? Romarna hade en mäktig ekonomi, en välorganiserad militär och en komplex statsskick. Deras språk, latin, blev den grundläggande modellen för många europeiska språk. Romarna var också kända för sin konst, arkitektur och filosofi.

{{[INPUT]}} Vem ledde romarriket?

{{[OUTPUT]}} Under senare delen av sin historia, från 27 till 476 e.Kr., leddes romarriket först av kejsare och sedan av stormästare. De hade en komplex politisk struktur där de delade makten mellan olika grenar och familjer. Det var en mäktig och mångsidig civilisation som dominerade större delen av Medelhavsområdet och stora delar av Europa. Kan jag hjälpa dig med mer information om detta?

{{[INPUT]}} Vem var den siste kejsaren?

{[OUTPUT]}} Den siste romerska kejsaren var Romulus Augustus, även känd som Flavius Petronius Maximus. Han tvingades abdikera år 476 e.Kr. efter att han blivit tvungen att lämna över makten till Odoaker, en visigotisk general. Efter detta började västromarrikets undergång, och detta är oftast betraktat som slutet på antiken och början på medeltiden. Kan jag hjälpa dig med mer information eller några specifika frågor om detta ämne?

(Korrekt, förutom att det inte var samma person som Flavius Petronius Maximus, som levde tidigare)

{{[INPUT]}} Lös ekvationen: 2x + 5 = 10

{{[OUTPUT]}} För att lösa den givna ekvationen, kan vi följa dessa steg: 1. Separera termerna på x-sidan från de på y-sidan av likheten. 2. Ta bort konstantter på båda sidor av likheten. 3. Faktorkänsla på båda sidor av likheten. 4. Balansera båda sidorna av likheten.

För den givna ekvationen 2x + 5 = 10, kommer vi fram till:

2x + 5 = 10 Subtraherar 5 från båda sidor av likheten ger oss:

2x = 5 Dela båda sidor av likheten med 2 ger oss:

x = 2,5

Så, solvet för ekvationen 2x + 5 = 10 är x = 2,5. Detta innebär att x-värdet som uppfyller ekvationen är 2,5.

Jag hoppas att detta var hjälpsamt! Om du har några frågor eller behöver mer hjälp, gör bara en begäran. Jag är alltid glad över att kunna hjälpa till!