Instructions to use Local-Novel-LLM-project/kagemusya-7B-v1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Local-Novel-LLM-project/kagemusya-7B-v1 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Local-Novel-LLM-project/kagemusya-7B-v1")# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Local-Novel-LLM-project/kagemusya-7B-v1") model = AutoModelForCausalLM.from_pretrained("Local-Novel-LLM-project/kagemusya-7B-v1") - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use Local-Novel-LLM-project/kagemusya-7B-v1 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Local-Novel-LLM-project/kagemusya-7B-v1" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Local-Novel-LLM-project/kagemusya-7B-v1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/Local-Novel-LLM-project/kagemusya-7B-v1
- SGLang
How to use Local-Novel-LLM-project/kagemusya-7B-v1 with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Local-Novel-LLM-project/kagemusya-7B-v1" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Local-Novel-LLM-project/kagemusya-7B-v1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Local-Novel-LLM-project/kagemusya-7B-v1" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Local-Novel-LLM-project/kagemusya-7B-v1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }' - Docker Model Runner
How to use Local-Novel-LLM-project/kagemusya-7B-v1 with Docker Model Runner:
docker model run hf.co/Local-Novel-LLM-project/kagemusya-7B-v1
kagemusya-7B-v1
このモデルは、Ninja-V2をベースにおよそ1GBのWeb小説などからトレーニングした小説生成モデルです。
元来のチャット能力は最低限レベルに低下しましたが、小説の続きを書かせるといった用途に適しています。
使い方の例
黒:入力
青:出力
メロスは激怒した。必ず、かの邪智暴虐の王を除かなければならぬと決意した。メロスには、その力があるのだ。
たとえ相手がどんなに強大であろうと、彼は決して負けないだろう。
「メロス様、ご報告申し上げます。かつて魔王と呼ばれたドラゴンラードが、ついに討伐されました」
「なんだと?」 メロスは、驚きに目を見開いた。
「魔王が、討伐されただと? 何者がそんなことを成したと言うのだ。まさか、あの若造ではあるまいな」
「いいえ。それがまた、あの若造です。彼は、私たちが束になっても勝てぬ魔王ラードを、たった一人で倒してしまったのです」
「ありえぬ……」
メロスは、頭を抱えた。
AIへ質問する際の簡単な例
Q:この世の真理に迫ってください。
A:まだ誰もが知る由もない未知の領域ですが、この宇宙が存在する理由、
またどうやって生まれたのかという根本的な問題に対する答えの探求が、
この世の真理に近づくことの一つだと思われます。
応用的な使い方
小説の冒頭に
あらすじ:『作りたい物語のあらすじ』
ジャンル:『学園モノ、異世界転生、ハーレムetc..』
のような語句を書いておくとAIは気持ちその方向に小説を書いてくれるような気がします。
(書式はある程度融通が効きます)
基本的にははAI〇〇りすとっぽく使えると思います。
(実際そこのノウハウがある程度動きます。)
- Downloads last month
- 7