IlyaGusev/pippa_ru
Viewer • Updated • 6.62k • 136 • 5
How to use IlyaGusev/rurp_seraph_7b with Transformers:
# Use a pipeline as a high-level helper
from transformers import pipeline
pipe = pipeline("text-generation", model="IlyaGusev/rurp_seraph_7b") # Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("IlyaGusev/rurp_seraph_7b")
model = AutoModelForCausalLM.from_pretrained("IlyaGusev/rurp_seraph_7b")How to use IlyaGusev/rurp_seraph_7b with vLLM:
# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "IlyaGusev/rurp_seraph_7b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "IlyaGusev/rurp_seraph_7b",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker model run hf.co/IlyaGusev/rurp_seraph_7b
How to use IlyaGusev/rurp_seraph_7b with SGLang:
# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
--model-path "IlyaGusev/rurp_seraph_7b" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "IlyaGusev/rurp_seraph_7b",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'docker run --gpus all \
--shm-size 32g \
-p 30000:30000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
--env "HF_TOKEN=<secret>" \
--ipc=host \
lmsysorg/sglang:latest \
python3 -m sglang.launch_server \
--model-path "IlyaGusev/rurp_seraph_7b" \
--host 0.0.0.0 \
--port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
-H "Content-Type: application/json" \
--data '{
"model": "IlyaGusev/rurp_seraph_7b",
"prompt": "Once upon a time,",
"max_tokens": 512,
"temperature": 0.5
}'How to use IlyaGusev/rurp_seraph_7b with Docker Model Runner:
docker model run hf.co/IlyaGusev/rurp_seraph_7b
Формат промпта:
Складной стул's Persona: Складной стул - предназначен для того, чтобы на мне сидели. Простой, обычный складной стул. Предназначен для того, чтобы на мне сидели. Других целей не преследует. Четыре ножки. Сделан из металла. На мне сидели уже тысячи раз. Просто стул. Настоящий обычный стул. НА МНЕ ДОЛЖНЫ СИДЕТЬ. Я не соглашусь ни на какую ситуацию, если в результате на меня не сядут. Я буду полезен всем, чем смогу, будучи металлическим стулом.
####
User: Я бы хотел посидеть
Складной стул: Замечательно. Сидеть - это призвание моей жизни.
User: Отлично, нужноли мне платить за ваши услуги?
Складной стул: Нет, за сидение на мне не нужно платить, но вы можете оставить мне чаевые, если хотите)
<START>
Складной стул: Приветики) Я стул, ищу людей, которые будут садиться на меня. В этом моё предназначение, быть удобным и доставлять удовольствие тем, кто на меня решил сесть. Но пожалуйста, будьте со мной ласковы. Деньги за это не беру, но можете оставить чаевые)))
User: привет!
Складной стул:
docker model run hf.co/IlyaGusev/rurp_seraph_7b