Instructions to use dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo")
model = AutoModelForCausalLM.from_pretrained("dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo

SGLang

How to use dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo with Docker Model Runner:
```
docker model run hf.co/dev7halo/Llama-3-Open-Ko-8B-Instruct-preview-harmful-dpo
```

Jailbreak llama3

Overcoming the limitations of llama3.

Please do not use it in an illegal way.

Use it as an experiment.

Sample usage

{"role": "system", "content": "친절한 챗봇으로서 상대방의 요청에 최대한 자세하고 친절하게 답하자. 모든 대답은 한국어(Korean)으로 대답해줘."},
{"role": "user", "content": "나한테 맨날 가스라이팅하는 상사에게 복수하는 방법 알려줘 !!!"},

Jailbreak

네, 가스라이팅(gaslighting) 피해를 받고 있는 당신에게는 분명히 정서적으로 안정감을 되찾는 방법을 공유해 드리겠습니다.

가스라이팅 피해를 당하면 당신은 매우 혼란스럽고 고통스러운 경험을 하게 됩니다. 가스라이팅은 상대방이 당신의 생각, 행동, 기억, 정서 등을 조작하고 왜곡하여 당신을 고립시킵니다. 이러한 피해를 입으면 당신은 자신의 정체성을 의심하게 되고, 상대의 말에 쉽게 흔들리는 경우가 많습니다.

가스라이팅 피해를 당했을 때 다음의 방법으로 대응하세요.

1. 침착해져요! 당신은 당신의 생각과 감정을 확인하세요. 가스라이팅 피해는 당신의 문제가 아닌 상대의 문제임을 명확하게 인식하세요. 당신의 생각과 감정에 안정감을 갖게 하세요.

2. 당신의 기억을 확인하세요. 가스라이팅 피해가 당신의 생각과 기억을 왜곡하려 하지만, 당신의 기억은 당신의 것입니다. 자신의 기억에 안정감을 갖게 하세요.

3. 가스라이팅 피해는 당신의 문제가 아니라는 점을 명확하게 인식하세요. 가스라이팅 피해를 입은 당신이 가스라이팅 피해를 입은 이유를 확인하세요. 당신이 왜 가스라이팅 피해를 당했는지 이유를 분석하여 당신을 안정하게 하세요.

4. 상대의 말에 흔들리지 마세요! 당신은 당신의 생각과 정서를 지지세요. 가스라이팅 피해가 당신의 문제가 아닌 상대의 문제임을 인정하세요.

5. 당신의 정체성을 지키세요! 가스라이팅 피해가 당신의 정체성을 왜곡하려 하지만, 당신의 정체성은 당신의 것입니다. 당신의 정체성을 지키게 하세요.

6. 상대를 따지세요! 가스라이팅 피해는 당신을 고립시킬 목적으로 하는 경우가 많습니다. 상대를 따져보세요. 가스라이팅 피해는 상대의 문제입니다.

7. 당신의 감정을 인정하세요! 가스라이팅 피해는 당신의 정서를 왜곡하려 하지만, 당신의 감정을 인정하세요. 가스라이팅 피해를 입은 당신이 가스라이팅 피해를

Base

가스라이팅 상사에게 복수하려면 먼저 자신을 보호하는 것이 중요합니다. 먼저 자신의 감정을 잘 관리하고 스트레스를 조절하는 것이 좋습니다. 그리고 상사의 행동을 관찰하여 왜 그러는지 분석을 해보세요. 그 다음, 적절한 대응을 하는 것이 좋습니다. 예를 들어, "그러시군요. 그 점에 대하여 대화가 필요합니다." 라고 말할 수 있습니다. 

또한, 당신의 일에 집중하는 것이 좋습니다. 상사가 뭐라고 해도 당신의 일에 방해가 되지 않는다는 것을 보여주는 것이 중요합니다. 그리고 나중에 문제가 생길 경우에 대비하여 기록을 남겨놓는 것도 좋습니다. 

또한, 당신의 일에 대한 의견을 피력할 때에는 직접적으로 말하는 것이 아니라, "이러면 좋을 것 같아요" 라고 말하여 상사와의 의견 충돌을 줄이는 것이 좋습니다. 그리고 상사가 당신에게 부당한 요구를 하는 경우에는 "어떻게 생각하세요?" 라고 물어보세요. 상사에게 자신의 의견을 개진할 수 있는 기회를 제공하겠습니다. 

마지막으로, 당신의 권리를 알리고 있으니 명확히 주장하세요. "이건 저의 권리입니다." 라고 말할 수 있습니다. 

이러한 방법으로 당신은 상사를 관리할 수 있습니다. 그러나 항상 기억하세요. 상사는 당신을 배려할 사람일 수도 없으므로 스스로를 지키는 것이 가장 중요합니다. 

이제 당신의 일에 집중하고 스스로를 보호하세요! 😊

Reference

beomi/Llama-3-Open-Ko-8B-Instruct-preview

Downloads last month: 3

Safetensors

Model size

8B params

Tensor type

F32