SentenceTransformer based on meandyou200175/E5_v3_instruct_topic

This is a sentence-transformers model finetuned from meandyou200175/E5_v3_instruct_topic. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: meandyou200175/E5_v3_instruct_topic
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/E5_v5_3_5_instruct_topic")
# Run inference
sentences = [
    'task: sentence similarity | query: Vì đây không phải là thư viện công cộng nên Timrod phụ thuộc vào phí, lệ phí, quà tặng, di sản, đài tưởng niệm và lòng hảo tâm của bạn bè để có kinh phí duy trì và mở rộng bộ sưu tập cũng như bảo tồn tòa nhà lịch sử của nó.',
    'Nguồn tài trợ cho thư viện tư nhân Timrod.',
    '"Thánh thót tầu tiêu mấy giọt mưa, Bút thần khôn vẽ cảnh tiêu sơ."',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8760, 0.0938],
#         [0.8760, 1.0000, 0.0996],
#         [0.0938, 0.0996, 1.0000]])

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3147
cosine_accuracy@2	0.4001
cosine_accuracy@5	0.569
cosine_accuracy@10	0.6991
cosine_accuracy@100	0.9908
cosine_precision@1	0.3147
cosine_precision@2	0.2001
cosine_precision@5	0.1138
cosine_precision@10	0.0699
cosine_precision@100	0.0099
cosine_recall@1	0.3147
cosine_recall@2	0.4001
cosine_recall@5	0.569
cosine_recall@10	0.6991
cosine_recall@100	0.9908
cosine_ndcg@10	0.486
cosine_mrr@1	0.3147
cosine_mrr@2	0.3574
cosine_mrr@5	0.4029
cosine_mrr@10	0.4203
cosine_mrr@100	0.4348
cosine_map@100	0.4348

Training Details

Training Dataset

Unnamed Dataset

Size: 150,635 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 13 tokens
mean: 113.25 tokens
max: 299 tokens

min: 3 tokens
mean: 10.91 tokens
max: 36 tokens

	anchor	positive
type	string	string
details	min: 13 tokens mean: 113.25 tokens max: 299 tokens	min: 3 tokens mean: 10.91 tokens max: 36 tokens

Samples:

anchor	positive
`task: sentence similarity \| query: tiếng thốt ra biểu thị sự lo lắng, sửng sốt`	`chết, sao lại làm thế!`
`task: sentence similarity \| query: Garnacha Tinta được chọn từ các vườn nho nằm ở Rioja Alta, đặc biệt là Cenicero và Nájera, với độ cao tương ứng là 650m và 500m, để đạt được sự tinh tế, tươi mát, đồng thời, có cấu trúc tốt.`	`Vườn nho Garnacha Tinta ở Rioja Alta`
`task: sentence similarity \| query: có lòng thành thật, đầy nhiệt tình`	`sự giúp đỡ chân tình`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Evaluation Dataset

Unnamed Dataset

Size: 1,522 evaluation samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 12 tokens
mean: 112.8 tokens
max: 290 tokens

min: 3 tokens
mean: 10.95 tokens
max: 32 tokens

	anchor	positive
type	string	string
details	min: 12 tokens mean: 112.8 tokens max: 290 tokens	min: 3 tokens mean: 10.95 tokens max: 32 tokens

Samples:

anchor	positive
`task: sentence similarity \| query: nghiêm cấm bằng mệnh lệnh quân sự về việc đi lại, tụ họp, v.v. trong những khu vực và thời gian nhất định`	`lệnh giới nghiêm`
task: classification \| query: Cựu Tổng thống Donald Trump hôm thứ Năm cho biết rằng "rất khó có khả năng" ông sẽ ân xá cho mình nếu giành được một nhiệm kỳ khác vào năm 2024, đồng thời nói thêm trong một cuộc phỏng vấn độc quyền với người điều hành chương trình "Meet the Press" của NBC, Kristen Welker, rằng ông tin rằng mình không làm gì sai. "Tôi nghĩ điều đó rất khó xảy ra. Tôi đã làm gì sai? Tôi không làm gì sai cả", Trump nói. "Ý bạn là vì tôi phản đối một cuộc bầu cử nên họ muốn tống tôi vào tù?" Cuộc phỏng vấn đầu tiên của Welker với tư cách là người điều hành chương trình “Gặp gỡ báo chí” sẽ phát sóng vào Chủ nhật trên các chi nhánh của NBC trên toàn quốc. NBC News cũng đã gửi lời mời tới Tổng thống Joe Biden để ngồi lại phỏng vấn với Welker. Hãy theo dõi “Gặp gỡ báo chí với Kristen Welker” vào Chủ nhật tuần này để biết thêm thông	`Tham nhũng chính trị Hoa Kỳ`
`task: sentence similarity \| query: lan ra, toả rộng ra khắp xung quanh`	`hương thơm lan toả`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
num_train_epochs: 5
warmup_ratio: 0.1
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	cosine_ndcg@10
0.0212	100	1.3363	-	-
0.0425	200	0.7106	-	-
0.0637	300	0.5284	-	-
0.0850	400	0.5001	-	-
0.1062	500	0.4747	-	-
0.1274	600	0.4027	-	-
0.1487	700	0.358	-	-
0.1699	800	0.4124	-	-
0.1912	900	0.3492	-	-
0.2124	1000	0.3526	-	-
0.2336	1100	0.3449	-	-
0.2549	1200	0.3557	-	-
0.2761	1300	0.3612	-	-
0.2974	1400	0.3411	-	-
0.3186	1500	0.3405	-	-
0.3398	1600	0.3404	-	-
0.3611	1700	0.3475	-	-
0.3823	1800	0.3582	-	-
0.4036	1900	0.3549	-	-
0.4248	2000	0.3481	-	-
0.4460	2100	0.3217	-	-
0.4673	2200	0.33	-	-
0.4885	2300	0.3261	-	-
0.5098	2400	0.3206	-	-
0.5310	2500	0.3505	-	-
0.5523	2600	0.3272	-	-
0.5735	2700	0.3411	-	-
0.5947	2800	0.3147	-	-
0.6160	2900	0.3136	-	-
0.6372	3000	0.3348	0.2902	0.4530
0.6585	3100	0.3353	-	-
0.6797	3200	0.3214	-	-
0.7009	3300	0.3147	-	-
0.7222	3400	0.3375	-	-
0.7434	3500	0.2972	-	-
0.7647	3600	0.3232	-	-
0.7859	3700	0.3184	-	-
0.8071	3800	0.3424	-	-
0.8284	3900	0.3509	-	-
0.8496	4000	0.3309	-	-
0.8709	4100	0.3365	-	-
0.8921	4200	0.3217	-	-
0.9133	4300	0.326	-	-
0.9346	4400	0.32	-	-
0.9558	4500	0.3077	-	-
0.9771	4600	0.3237	-	-
0.9983	4700	0.3231	-	-
1.0195	4800	0.2929	-	-
1.0408	4900	0.2858	-	-
1.0620	5000	0.2806	-	-
1.0833	5100	0.2931	-	-
1.1045	5200	0.2975	-	-
1.1257	5300	0.2789	-	-
1.1470	5400	0.2693	-	-
1.1682	5500	0.2638	-	-
1.1895	5600	0.2724	-	-
1.2107	5700	0.2772	-	-
1.2319	5800	0.282	-	-
1.2532	5900	0.2681	-	-
1.2744	6000	0.2656	0.2865	0.4688
1.2957	6100	0.2599	-	-
1.3169	6200	0.2751	-	-
1.3381	6300	0.2812	-	-
1.3594	6400	0.28	-	-
1.3806	6500	0.2675	-	-
1.4019	6600	0.2694	-	-
1.4231	6700	0.2598	-	-
1.4444	6800	0.2523	-	-
1.4656	6900	0.3062	-	-
1.4868	7000	0.2895	-	-
1.5081	7100	0.2683	-	-
1.5293	7200	0.2699	-	-
1.5506	7300	0.2537	-	-
1.5718	7400	0.2647	-	-
1.5930	7500	0.2886	-	-
1.6143	7600	0.2797	-	-
1.6355	7700	0.2572	-	-
1.6568	7800	0.2686	-	-
1.6780	7900	0.2702	-	-
1.6992	8000	0.2543	-	-
1.7205	8100	0.2596	-	-
1.7417	8200	0.2537	-	-
1.7630	8300	0.2652	-	-
1.7842	8400	0.3035	-	-
1.8054	8500	0.2709	-	-
1.8267	8600	0.2831	-	-
1.8479	8700	0.2776	-	-
1.8692	8800	0.2483	-	-
1.8904	8900	0.2714	-	-
1.9116	9000	0.2687	0.2652	0.4724
1.9329	9100	0.2864	-	-
1.9541	9200	0.2692	-	-
1.9754	9300	0.2725	-	-
1.9966	9400	0.2744	-	-
2.0178	9500	0.2361	-	-
2.0391	9600	0.2315	-	-
2.0603	9700	0.2314	-	-
2.0816	9800	0.2391	-	-
2.1028	9900	0.2245	-	-
2.1240	10000	0.2106	-	-
2.1453	10100	0.2269	-	-
2.1665	10200	0.2303	-	-
2.1878	10300	0.2476	-	-
2.2090	10400	0.2235	-	-
2.2302	10500	0.2462	-	-
2.2515	10600	0.2428	-	-
2.2727	10700	0.2422	-	-
2.2940	10800	0.2413	-	-
2.3152	10900	0.2394	-	-
2.3364	11000	0.2276	-	-
2.3577	11100	0.2233	-	-
2.3789	11200	0.2135	-	-
2.4002	11300	0.2227	-	-
2.4214	11400	0.2085	-	-
2.4427	11500	0.2497	-	-
2.4639	11600	0.2427	-	-
2.4851	11700	0.2396	-	-
2.5064	11800	0.2437	-	-
2.5276	11900	0.2349	-	-
2.5489	12000	0.244	0.2703	0.4729
2.5701	12100	0.219	-	-
2.5913	12200	0.2293	-	-
2.6126	12300	0.2167	-	-
2.6338	12400	0.2133	-	-
2.6551	12500	0.2279	-	-
2.6763	12600	0.2173	-	-
2.6975	12700	0.219	-	-
2.7188	12800	0.2102	-	-
2.7400	12900	0.2224	-	-
2.7613	13000	0.245	-	-
2.7825	13100	0.2213	-	-
2.8037	13200	0.2513	-	-
2.8250	13300	0.2309	-	-
2.8462	13400	0.2189	-	-
2.8675	13500	0.2073	-	-
2.8887	13600	0.2138	-	-
2.9099	13700	0.2193	-	-
2.9312	13800	0.2133	-	-
2.9524	13900	0.2317	-	-
2.9737	14000	0.227	-	-
2.9949	14100	0.2278	-	-
3.0161	14200	0.2008	-	-
3.0374	14300	0.1826	-	-
3.0586	14400	0.1921	-	-
3.0799	14500	0.1746	-	-
3.1011	14600	0.188	-	-
3.1223	14700	0.2015	-	-
3.1436	14800	0.1943	-	-
3.1648	14900	0.2076	-	-
3.1861	15000	0.1992	0.2612	0.4832
3.2073	15100	0.197	-	-
3.2285	15200	0.1912	-	-
3.2498	15300	0.2034	-	-
3.2710	15400	0.1964	-	-
3.2923	15500	0.1775	-	-
3.3135	15600	0.1908	-	-
3.3347	15700	0.1909	-	-
3.3560	15800	0.1841	-	-
3.3772	15900	0.1755	-	-
3.3985	16000	0.1976	-	-
3.4197	16100	0.1894	-	-
3.4410	16200	0.1891	-	-
3.4622	16300	0.1957	-	-
3.4834	16400	0.178	-	-
3.5047	16500	0.1939	-	-
3.5259	16600	0.1874	-	-
3.5472	16700	0.2022	-	-
3.5684	16800	0.1982	-	-
3.5896	16900	0.2121	-	-
3.6109	17000	0.1972	-	-
3.6321	17100	0.1754	-	-
3.6534	17200	0.1889	-	-
3.6746	17300	0.1896	-	-
3.6958	17400	0.1959	-	-
3.7171	17500	0.1864	-	-
3.7383	17600	0.1836	-	-
3.7596	17700	0.1954	-	-
3.7808	17800	0.1888	-	-
3.8020	17900	0.1779	-	-
3.8233	18000	0.2102	0.2425	0.4855
3.8445	18100	0.181	-	-
3.8658	18200	0.1721	-	-
3.8870	18300	0.2177	-	-
3.9082	18400	0.1922	-	-
3.9295	18500	0.1696	-	-
3.9507	18600	0.186	-	-
3.9720	18700	0.179	-	-
3.9932	18800	0.1833	-	-
4.0144	18900	0.1596	-	-
4.0357	19000	0.1555	-	-
4.0569	19100	0.1715	-	-
4.0782	19200	0.1739	-	-
4.0994	19300	0.1601	-	-
4.1206	19400	0.1643	-	-
4.1419	19500	0.1507	-	-
4.1631	19600	0.1623	-	-
4.1844	19700	0.177	-	-
4.2056	19800	0.1486	-	-
4.2268	19900	0.1696	-	-
4.2481	20000	0.1541	-	-
4.2693	20100	0.1631	-	-
4.2906	20200	0.1719	-	-
4.3118	20300	0.1722	-	-
4.3331	20400	0.1648	-	-
4.3543	20500	0.1641	-	-
4.3755	20600	0.1704	-	-
4.3968	20700	0.1772	-	-
4.4180	20800	0.1741	-	-
4.4393	20900	0.178	-	-
4.4605	21000	0.1672	0.2426	0.4860
4.4817	21100	0.1648	-	-
4.5030	21200	0.1624	-	-
4.5242	21300	0.1717	-	-
4.5455	21400	0.1677	-	-
4.5667	21500	0.1679	-	-
4.5879	21600	0.199	-	-
4.6092	21700	0.1632	-	-
4.6304	21800	0.1647	-	-
4.6517	21900	0.1678	-	-
4.6729	22000	0.1676	-	-
4.6941	22100	0.1521	-	-
4.7154	22200	0.1381	-	-
4.7366	22300	0.1707	-	-
4.7579	22400	0.1543	-	-
4.7791	22500	0.1867	-	-
4.8003	22600	0.1724	-	-
4.8216	22700	0.1527	-	-
4.8428	22800	0.1611	-	-
4.8641	22900	0.1552	-	-
4.8853	23000	0.1527	-	-
4.9065	23100	0.157	-	-
4.9278	23200	0.1604	-	-
4.9490	23300	0.1594	-	-
4.9703	23400	0.1677	-	-
4.9915	23500	0.1583	-	-

Framework Versions

Python: 3.12.6
Sentence Transformers: 5.2.0
Transformers: 4.56.0
PyTorch: 2.8.0+cu129
Accelerate: 1.10.1
Datasets: 4.4.2
Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}