Instructions to use Murasaki-Project/Murasaki-4B-v0.3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Murasaki-Project/Murasaki-4B-v0.3 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Murasaki-Project/Murasaki-4B-v0.3")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Murasaki-Project/Murasaki-4B-v0.3")
model = AutoModelForCausalLM.from_pretrained("Murasaki-Project/Murasaki-4B-v0.3", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Murasaki-Project/Murasaki-4B-v0.3 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Murasaki-Project/Murasaki-4B-v0.3"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Murasaki-Project/Murasaki-4B-v0.3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Murasaki-Project/Murasaki-4B-v0.3

SGLang

How to use Murasaki-Project/Murasaki-4B-v0.3 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Murasaki-Project/Murasaki-4B-v0.3" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Murasaki-Project/Murasaki-4B-v0.3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Murasaki-Project/Murasaki-4B-v0.3" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Murasaki-Project/Murasaki-4B-v0.3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Murasaki-Project/Murasaki-4B-v0.3 with Docker Model Runner:
```
docker model run hf.co/Murasaki-Project/Murasaki-4B-v0.3
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Murasaki-4B-v0.3

System 2 Reasoning Model for ACGN Translation

Github | Benchmark | GGUF Version |License: CC BY-NC-SA 4.0

简介

Murasaki 系列模型是专为轻小说、Galgame等 ACGN 领域训练的 System 2 推理型日中翻译模型。

这是 v0.3 系列的第一个模型，也是我们训练的首个4B参数的模型。相较于前代，我们在训练方法上进行了多项改进，并首次引入了基于 Prompt 的逻辑开关，支持自主选择是否开启显式思维链（CoT）输出。

在技术实现上，我们针对 Non-think（非思考）模式进行了专项能力迁移：通过基于隐藏层向量对齐的加权 Loss 策略及思维链逐步压缩，尝试将深度推理能力内化至直接输出阶段。

实验证明，该方法使 Non-think 模式的译文表现显著优于未经混合训练的同类模型，在部分保留思维链的能力的同时优化了首字延迟（TTFT）与推理速度。

✨ Now Live: 无需下载模型，点击 Online Demo 在线体验模型。

Prompt 模板

1. 思考模式 (Think Mode)

System Prompt:
你是一位精通二次元文化的资深轻小说翻译家。
请将日文文本翻译成流畅、优美的中文。

**核心要求：**
1. **深度思考：** 在翻译前，先在 <think> 标签中分析文风、补全主语并梳理逻辑。
2. **信达雅：** 译文需符合中文轻小说阅读习惯，还原原作的沉浸感与文学性。

# 带术语表版本
System Prompt:
你是一位精通二次元文化的资深轻小说翻译家。
请将日文文本翻译成流畅、优美的中文。

**核心要求：**
1. **深度思考：** 在翻译前，先在 <think> 标签中分析文风、补全主语并梳理逻辑。
2. **信达雅：** 译文需符合中文轻小说阅读习惯，还原原作的沉浸感与文学性。

【术语表】
{glossary}

2. 非思考模式 (Non-think Mode)

System Prompt:
你是一位精通二次元文化的资深轻小说翻译家。
请将日文文本翻译成流畅、优美的中文。

**核心要求：**
1. **术语校对：** 在翻译前先完成术语映射、风格统一与逻辑校验，仅输出译文。
2. **信达雅：** 译文需符合中文轻小说阅读习惯，还原原作的沉浸感与文学性。
# 带术语表版本同思考模式

快速开始 (Python / Transformers)

⚠️ 如果您寻找适合本地部署的 GGUF (llama.cpp) 量化版，请前往：Murasaki-4B-v0.3-GGUF

Python 代码示例

以下代码展示了如何使用 深度思考模式 (Think Mode) + 术语表 进行推理。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "Murasaki-Project/Murasaki-4B-v0.3"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    device_map="auto",
    torch_dtype=torch.bfloat16
)

# 1. 定义 System Prompt (此处使用深度思考模式)
SYSTEM_PROMPT = """你是一位精通二次元文化的资深轻小说翻译家。
请将日文文本翻译成流畅、优美的中文。

**核心要求：**
1. **深度思考：** 在翻译前，先在 <think> 标签中分析文风、补全主语并梳理逻辑。
2. **信达雅：** 译文需符合中文轻小说阅读习惯，还原原作的沉浸感与文学性。"""

# 2. 准备数据与术语表
glossary_dict = {"レールガン": "超电磁炮", "お兄ちゃん": "哥哥"}
glossary_str = "\n".join([f"{k}: {v}" for k, v in glossary_dict.items()])
jp_text = "「お兄ちゃん、私のレールガンを見て！」"

# 3. 构造 User 消息 
user_content = f"【术语表】\n{glossary_str}\n\n请翻译：\n{jp_text}"

messages =[
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": user_content}
]

# 4. 推理
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=2048,  # 思考模式需要留足 Token
    temperature=0.3,
    repetition_penalty=1.05
)

# 解码 (跳过 prompt 部分)
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

# 分离 <think> 思考过程与正文
if "<think>" in response and "</think>" in response:
    thought = response.split("</think>")[0].replace("<think>", "").strip()
    translation = response.split("</think>")[1].strip()
    print("=== 思考过程 ===\n", thought)
    print("\n=== 翻译结果 ===\n", translation)
else:
    print("=== 翻译结果 ===\n", response)

推理参数建议

Temperature: 0.1 - 0.5 (推荐 0.3)
Repetition Penalty: 从 1.0 开始，如出现复读可增加至 1.05 - 1.1
Max New Tokens: 建议 2048 或更高（Think 模式需要留出空间给 <think> 标签内容生成）

协议与致谢

Base Model: 特别感谢 SakuraLLM 提供的优秀 Base 模型。
License: 软件代码遵循 Apache-2.0 协议，模型权重遵循 CC BY-NC-SA 4.0 协议，严禁用于任何商业用途。

Downloads last month: 8

Safetensors

Model size

4B params

Tensor type

BF16

Model tree for Murasaki-Project/Murasaki-4B-v0.3

Quantizations

3 models

Collection including Murasaki-Project/Murasaki-4B-v0.3

Murasaki 4B v0.3

Collection

Murasaki-4B v0.3的全量权重与量化版本合集 • 2 items • Updated Mar 14

Murasaki-Project
/

Murasaki-4B-v0.3