SentenceTransformer based on eazzy/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from eazzy/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: eazzy/klue-roberta-base-klue-sts
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '쿠팡이츠 프로모션으로 제일제면소 음식을 2만원 이상 배달시켰을 때 받을 수 있는 상품은?',
    'CJ푸드빌이 운영하는 별미국수 전문점 제일제면소가 성큼 다가온 가을을 맞이해 가을 별미국수 2종을 출시한다고 밝혔다. 이번 콘셉트는 ‘가을 향 그대로 담은 별미 국수’로 쌀쌀한 날씨에 따뜻하게 즐길 수 있는 칼국수와 입맛을 돋우는 비빔국수 총 2종을 출시한다. ‘가을송이 불고기칼국수’는 향긋한 송이버섯과 노릇하게 구운 불고기를 고명으로 올린 감칠맛 가득한 고기 육수의 가을 특선 칼국수다. 송이버섯은 항산화 작용 기능이 있고 항암효과까지 갖춰 환절기 대비에 좋다. ‘진한 들기름 메밀면’은 메밀면에 들깨100%를 그대로 짜내 고소한 향이 가득한 들기름으로 담백한 맛을 한층 올린 비빔국수다. 소고기조림, 묵은지, 무채절임, 쪽파 등 총7가지 고명이 조화롭게 어우러져 다양한 식감과 맛을 즐길 수 있다. 신메뉴와 함께 먹으면 더욱 든든한 ‘별미 요리 메뉴’도 선보인다. ‘새우강정’은 통통한 새우를 바삭하게 튀겨낸 후 쌀떡, 꽈리고추와 새콤달콤 칠리 소스에 버무렸다. 제일제면소의 인기메뉴인 씨앗닭강정을 잇는 강정 시리즈로 출시한다. 일부 매장에서는 프리미엄 전골인 ‘가을송이 한우국수전골’도 만날 수 있다. 진한 향의 송이버섯과 각종 버섯, 질 좋은 한우를 제일제면소 특제 육수에 끓여 나오는 프리미엄 국수 전골이다. 서늘한 가을 날씨에 뜨끈하게 즐기기 제격이다. 신메뉴인 별미 국수 2종과 ‘새우강정’, ‘가을송이 한우국수전골’은 모두 O2O 서비스로 주문 가능하다. 배달의 민족, 배민라이더스, 요기요, 푸드플라이, 쿠팡이츠 등 배달 앱과 네이버 N스마트주문을 통해 주문 해 배달 및 픽업할 수 있다. 집, 사무실, 야외 등 어디서나 쉽게 제일제면소의 신메뉴를 즐길 수 있다. 신메뉴 출시 매장은 매장에 따라 상이하며 자세한 내용은 제일제면소 홈페이지를 통해 확인 가능하다. 신메뉴 출시를 기념해 쿠팡이츠 할인 프로모션을 실시한다. 이달 20일까지 쿠팡이츠에 입점한 여의도점, 올림픽공원점, 서울스퀘어점, 서울역사점, 제일제당센터점에서 2만원 이상 주문 시 즉시 사용 할 수 있는 6천원 할인쿠폰을 발급한다. 제일제면소 관계자는 “가을 입맛을 돋워줄 국물, 비빔 두 스타일의 별미 국수 2종을 출시했다”며 “배달 주문도 가능해 어디서든지 편하게 제일제면소 국수를 즐겨보시길 바란다”고 말했다.',
    '미디어 생태계가 급변하고 있다. 최근 방송과 통신이 인터넷을 기반으로 융합되면서 각종 콘텐츠의 유통·소비 방식이 다변화하고 있다. 미디어 환경이 생산자에서 이용자 중심으로 변화함에 따라 인터넷TV(IPTV) 등 양방향 텔레비전 서비스를 통한 주문형비디오(VOD) 이용도 증가하고 있다.인터넷과 모바일 중심의 콘텐츠도 속속 등장하고 있다. 가장 대표적인 콘텐츠가 웹드라마다. PC 웹과 모바일에서 소비되는 편당 10분 정도 분량의 콘텐츠다. 올해만 해도 ‘후유증’ ‘러브 인 메모리2’ ‘뱀파이어의 꽃’ ‘꿈꾸는 대표님’ ‘출중한 여자’ 등이 시청자를 만났다. 최근 종방한 ‘간서치열전’(사진)은 첫 편 공개 이후 130만건의 조회 수를 돌파했고, 지난 2일 첫 공개된 ‘연애세포’는 단기간 내 조회 수 300만건을 넘어섰다.본래 웹드라마는 제작비 부족과 유통 채널의 한계로 정규 편성이 어려웠던 작품의 진출 통로 역할을 해왔다. 하지만 최근 들어 기획 단계부터 웹드라마를 염두에 둔 작품이 늘고 있다. 그야말로 드라마 콘텐츠 시장에 새 바람이 불고 있는 셈이다.한 웹드라마 제작팀 관계자는 “드라마 방송의 활로가 제한적이다 보니 제작 여건을 갖춘 제작사 측에서는 늘 새로운 플랫폼에 대한 기대심리가 있었다”며 “미디어 환경의 변화가 가속화하는 시점에 웹드라마는 드라마 콘텐츠 제작·유통의 새로운 모델이 될 수 있다”고 말했다.수많은 웹드라마를 서비스하고 있는 포털사이트 네이버도 최근 동향에 긍정적인 견해를 밝혔다. 네이버 TV캐스트 관계자는 “웹드라마는 잠재적으로 발전 가능성이 높은 시장”이라며 “지난해 웹드라마 서비스를 본격화한 이후 고품질 콘텐츠를 제공하고자 다각적인 노력을 기울이고 있다”고 말했다.하지만 몇몇 작품의 가시적인 성과만 놓고서 웹드라마의 성공을 점치기에는 시기상조라는 지적도 나온다. 웹드라마 역사가 길지 않은 터라 방송사 기반 드라마와 비교해 콘텐츠 제작 노하우가 부족한 탓이다.예산 확보가 어렵다는 점도 약점으로 꼽힌다. 광고와 간접광고(PPL)를 적극적으로 활용하는 방송사 드라마와 달리 웹드라마는 자금 조달과 수익 창출이 쉽지 않다. 포털사이트에서 제공되는 콘텐츠의 앞뒤로 광고가 붙기는 하지만, 이마저도 서비스를 제공하는 플랫폼과 분배해야 한다. 웹드라마 제작이 본격화되면서 이런 수익구조의 문제를 해결하기 위한 노력도 뒤따르고 있다. ‘연애세포’의 관계자는 “웹툰의 ‘미리보기’처럼 다음 회 방송분을 유료로 먼저 공개하는 서비스를 준비했다”며 “장기적으로는 웹드라마의 유료화가 가능할 것”이라고 설명했다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6104, 0.0043],
#         [0.6104, 1.0000, 0.0427],
#         [0.0043, 0.0427, 1.0000]])

Evaluation

Metrics

Semantic Similarity

Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8122
spearman_cosine	0.8202

Training Details

Training Dataset

Unnamed Dataset

Size: 17,552 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 8 tokens
mean: 17.79 tokens
max: 35 tokens

min: 250 tokens
mean: 440.88 tokens
max: 512 tokens

	sentence_0	sentence_1
type	string	string
details	min: 8 tokens mean: 17.79 tokens max: 35 tokens	min: 250 tokens mean: 440.88 tokens max: 512 tokens

Samples:

sentence_0	sentence_1
`줄기 네발동물은 줄기생물군에서 무엇을 제외한 종들인가?`	미치류는 측계통군이기 때문에, 즉 가장 최근의 공통조상으로부터 나온 모든 후손을 다 포함하지 않는 그룹이기 때문에 최근의 분류학에서는 선호되지 않는다. 과거에 미치류 안에 위치했던 다양한 그룹들이 현재는 줄기군 네발동물, 기반군 네발동물, 비양막류 파충형류, 그리고 단계통 혹은 측계통군인 분추류로 다양하게 분류된다. 하지만 다양한 연구자들에 의해 초기 양서류형 네발동물 쉽게 가리키는 말로, 또한 이들의 독특한 이빨 형태를 해부학적으로 알맞게 기술하는 용어로 여전히 쓰이고 있기도 하다. 따라서 편의를 위해 비공식적인 용어로 오늘날 과학자들에 의해서도 계속 쓰이고 있다 크게 보아 동의어라고 할 수 있는 견두류는 미셸 로린에 의해 분지학적으로 모든 전통적인 미치류와 그 자손들을 의미하는 것으로 재정의되어 해당 단어의 전통적인 의미와 대략 비슷하게 쓰이고 있다 비공식적으로 좀 더 넓은 의미를 가지고 있는 것은 줄기 네발동물로 폐어보다는 현생 네발동물에 가깝고, 크라운 그룹이 아닌 모든 줄기생물군의 종들을 가리키는 것이다. 여기에는 전통적인 "미치류"와 더 기반에 가까운 사지형동물이 포함되는데 이들 동물의 관계가 그리 잘 이해되어 있지 않기 때문에 어디까지 포함되는지는 불확실한 면이 있다 아래는 미치류의 진화계통으로 콜버트의 1969 년, 그리고 캐롤의 1997 년 연 에 의해 제안된 것이다. 점선은 연구자에 따라 자주 달라지는 관계를 나타낸다. 위의 세 목의 특성들 및 주요 진화적 경향에 대한 요약 (그리고 그림)이 콜버트의 1969 년 책 102-103 페이지에 있다. 켄트와 밀러의 1997년 연구에 그와 다른 관점의 계통수도 참고할 것
`트레이더스 유'와 '마마 돈크라이'의 곡을 작사한 사람은?`	2인극의 매력 중 하나는 배우와 관객의 친밀한 소통이다. 두 명의 배우는 끊임없이 호흡을 나누고, 때로는 내면의 깊은 감정을 드러내며 극을 이끌어간다. 무대가 주로 소극장이어서 관객들은 가까운 거리에서 상연시간 내내 두 배우가 쏟아내는 에너지를 오롯이 경험할 수 있다. 최근 젊은 남자 배우들을 내세운 2인극이 국내 공연의 주 소비층인 20~30대 여성들을 끌어들이며 소극장 연극·뮤지컬계의 흥행 모델로 자리매김하고 있다. 한 공연을 여러 차례 보는 마니아들을 만들어내고, 열성적인 팬층을 뜻하는 ‘팬덤’을 거느린 스타 배우들의 산실이 되기도 한다. 동성애와 유괴 살인 사건을 소재로 다룬 뮤지컬 ‘쓰릴 미’가 대표작이다. 2007년 류정한 김무열 등이 출연한 국내 초연이 크게 성공한 이후 재공연할 때마다 선풍적인 인기를 끌고 있다. 양혜영 CJ E&M 마케팅팀장은 “남성 2인극은 여성 관객들이 남자 배우들의 매력을 만끽할 수 있는 장르”라며 “남자 배우들이 충돌하며 빚어내는 에너지와 각자의 차별화된 매력이 시너지를 일으키는 작품일수록 관객들의 만족도가 커진다”고 설명했다.창작 뮤지컬 ‘트레이스 유’(내달 28일까지 대학로 아트원씨어터)와 ‘마마 돈크라이’(5월26일까지 충무아트홀 중극장 블랙)는 남성 2인극의 이런 최신 트렌드와 흥행 요소를 충실히 반영한 작품이다. ‘여심’을 자극하는 흥행 요소를 극대화했다. ‘트레이스 유’는 홍대앞 록클럽 ‘드바이’에 사는 로커의 자아 분열적인 모습과 어두운 내면세계를 따라가는 미스터리 심리극이다. ‘마마 돈크라이’는 사랑에 서투르고 나약한 심성을 가진 천재 물리학자가 드라큘라 백작의 치명적인 유혹에 사로잡혀 파멸에 이르는 과정을 그린다. 두 작품은 소재와 주제가 다르지만 여러 면에서 공통점이 많다. 우선 작곡가(박정아)가 같다. 주로 쓰이는 음악 장르가 록이고 라이브 밴드가 등장해 생동감 넘치는 연주를 들려준다. 단순한 멜로디가 자주 반복되는 중독성 강한 음악이다. 주인공들의 캐릭터는 다층적이면서 강렬하다. 주인공을 연기하는 배...
`정병국을 체포 후 강제로 입대시킨 세력은?`	1978년 성균관대학교 사회학과에 입학하였는데 입학하자마자 그는 학생운동에 투신하였고 이로 인해 경찰의 수배명단에 올랐다. 포항에서 도피하던 중 1979년 10·26 사태를 접하고, 곧바로 상경하여 전국 총학생회 부활 준비위원회 상임위원장을 맡아 활발한 활동을 전개하였다. 그의 뜻대로 총학생회는 부활하고 있었지만 1980년 5·17 군사 정변 직후 신군부에게 검거되었다. 검거 후 신군부에서 내건 조건은 군 입대 또는 투옥을 선택하라는 것이었다. 그는 군 입대를 결심하고 해병대를 지원하여 헌병으로 사병 복무하였다. 전역 후 복학하여 1984년에 성균관대학교를 졸업하고 본격적인 민주화 운동을 펼치게 된다. 정병국은 수배를 받으면서도 많은 활동을 하였다. '세인출판사'를 운영하며 서울 지역 대학교 총학생회에서 필요로 하는 거의 모든 인쇄물들을 공급하였고 군사 정권과 투쟁하고 있는 학생들을 꾸준히 지원하였다. 그러다 1987년 6월에 국가안전기획부에 의해 검거되어 고문을 받던 중 6·29 선언을 접하게 되었다. 징역 1년 6개월의 실형을 선고받았으나 6·29 선언으로 인하여 집행유예로 풀려날 수 있었다. 그 때 도움을 준 사람들은 그의 변론을 자청한 민주화추진협의회 소속 변호사들이었다.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 16
per_device_eval_batch_size: 16
num_train_epochs: 1
batch_sampler: no_duplicates
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	spearman_cosine
-1	-1	-	0.8202
0.4558	500	0.157	-
0.9116	1000	0.1108	-
0.4558	500	0.0623	-
0.9116	1000	0.0604	-

Framework Versions

Python: 3.12.3
Sentence Transformers: 5.1.1
Transformers: 4.57.1
PyTorch: 2.8.0+cu128
Accelerate: 1.11.0
Datasets: 3.2.0
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}