Hugging Face's logo

HASHIRREHMAN
/
DIVORCE_V1

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:2564
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("HASHIRREHMAN/DIVORCE_V1")
# Run inference
sentences = [
    'حضرت ابن عمر  بیان کرتے ہیں  غزوہ احد کے موقع پر چودہ سال کی عمر میں مجھے رسول اللہ ﷺ کی خدمت میں پیش کیا گیا تو آپ نے مجھے واپس کر دیا  پھر غزوہ خندق کے موقع پر پندرہ سال کی عمر میں مجھے پیش کیا گیا تو آپ نے مجھے جہاد کرنے کی اجازت مرحمت فرما دی  عمر بن عبدالعزیز  نے فرمایا  یہی عمر پندرہ سال لڑنے والے جوانوں اور لڑکوں نابالغ میں فرق کرنے والی ہے  متفق علیہ ',
    'پندرہ سال کی عمر میں لڑکوں کو کس چیز کی اجازت ہے',
    'بیوہ عورت کی عدت کی مدت کتنی ہوتی ہے',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 2,564 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 18 tokens
    • mean: 125.24 tokens
    • max: 512 tokens
    • min: 8 tokens
    • mean: 17.26 tokens
    • max: 35 tokens
  • Samples:
    sentence_0 sentence_1
    حضرت ابوہریرہ بیان کرتے ہیں رسول اللہ ﷺ نے فرمایا اگر میں کسی کو حکم دیتا کہ وہ کسی شخص کو بطور تعظیم سجدہ کرے تو میں عورت کو حکم دیتا کہ وہ اپنے شوہر کو سجدہ کرے رواہ الترمذی کیا خواتین کو شوہروں کی عزت و تعظیم کے لئے سجدہ کرنا چاہیے
    حضرت ابن عمر بیان کرتے ہیں غزوہ احد کے موقع پر چودہ سال کی عمر میں مجھے رسول اللہ ﷺ کی خدمت میں پیش کیا گیا تو آپ نے مجھے واپس کر دیا پھر غزوہ خندق کے موقع پر پندرہ سال کی عمر میں مجھے پیش کیا گیا تو آپ نے مجھے جہاد کرنے کی اجازت مرحمت فرما دی عمر بن عبدالعزیز نے فرمایا یہی عمر پندرہ سال لڑنے والے جوانوں اور لڑکوں نابالغ میں فرق کرنے والی ہے متفق علیہ پندرہ سال کی عمر میں لڑکوں کو کس چیز کی اجازت ہے
    حضرت ابوذر بیان کرتے ہیں رسول اللہ ﷺ نے فرمایا غلام تمہارے بھائی ہیں اللہ نے انہیں تمہارے زیر تصرف کر دیا ہے اللہ جس کے بھائی کو اس کے زیر تصرف کر دے تو وہ اسے ویسا ہی کھلائے جیسا خود کھائے اور ویسا ہی پہنائے جیسا خود پہنے اور اس سے کوئی ایسا کام نہ لے جو اس کی طاقت سے زیادہ ہو اور اگر وہ اس کے ذمے کوئی ایسا کام لگا دے جو اس کی طاقت سے بڑھ کر ہو تو پھر وہ اس میں اس کی اعانت کرے متفق علیہ غلاموں کے ساتھ کیسا سلوک کرنا چاہیے
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 6
  • per_device_eval_batch_size: 6
  • num_train_epochs: 10
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 6
  • per_device_eval_batch_size: 6
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 10
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
1.1682 500 0.7401
2.3364 1000 0.1607
3.5047 1500 0.0879
4.6729 2000 0.0388
5.8411 2500 0.0233
7.0093 3000 0.0115
8.1776 3500 0.0064
9.3458 4000 0.0061

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.0.1
  • Transformers: 4.42.0
  • PyTorch: 2.3.0+cu121
  • Accelerate: 0.31.0
  • Datasets: 2.20.0
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
2
Safetensors
Model size
0.3B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for HASHIRREHMAN/DIVORCE_V1

Base model

intfloat/multilingual-e5-base
Finetuned
(109)
this model

Papers for HASHIRREHMAN/DIVORCE_V1