GbrlOl/finetune-embedding-all-MiniLM-L6-v2-geotechnical-test-v2

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/finetune-embedding-all-MiniLM-L6-v2-geotechnical-test-v2")
# Run inference
sentences = [
    '¿Cuál fue la vida útil estimada del Proyecto Reapertura Mina Guanaco en 2009?',
    'B ORRA DOR \n \n \n \niv \n \nEn Mayo de 2008, Guanaco Compañía Minera sometió al Sistema de Evaluación de  Impacto \nAmbiental el Proyecto Reapertura Mina Guanaco, el que fue evaluado por  la COREMA Región de \nAntofagasta y calificado ambientalmente en forma favorable según consta en la Resolución Exenta \n0251/2009 de fecha 15 de Julio de 2009. \n \nDicho Proyecto tuvo como objetivo la continuación de la explotación de depósitos  minerales de oro \nsituados en formaciones adyacentes a la Mina Guanaco mediante el desarrollo de minas a cielo \nabierto y subterráneas para, posteriormente, procesar  los minerales y obtener metal doré.  La vida \nútil estimada del Proyecto Reapertura Mina Guanaco en 2009 ascendía a 10 incluyendo 1 año de \nconstrucción, con base en un ritmo de procesamiento del  mineral de entre 750 a 2.000 tpd de \nmineral fresco de las minas tanto subterráneas como a rajo abierto. \n \nSe estimó que durante la vida útil del Proyecto, se removerían desde los rajos entre 2 y 3 millones \nde toneladas de material y otros 10 a 12 millones de toneladas de material provendrían de las \nminas subterráneas. Con ello el material total a remover  sería del orden de las 12 a 15 millones \ntoneladas y el material estéril  correspondería a 7 a 9 millones de toneladas.  Dependiendo de la \ntasa de procesamiento del mineral la producción anual sería de aproximadamente de 100 a 150 mil \nonzas de plata y 100 mil onzas de oro contenidas en metal doré. \n \nEl proyecto de Reapertura estableció la utilización de sus antiguas instalaciones, complementadas \ncon los nuevos procesos implementados.',
    'Proyecto que finalmente no se materializó por parte \nde Amax Guanaco. \n \nEn 1998 Compañía Minera Amax Guanaco es adquirida por Kinross Gold Corporation formando \nuna sociedad llamada Minera Kinam Guanaco. Las faenas de extracción fueron paralizadas ese \nmismo año manteniéndose sólo la irrigación de las pilas para extraer el mineral remanente, \nproceso que se detuvo en Julio de 2001. Entre esa fec ha y el año 2003 se continuó lavando las \npilas para extraer el cianuro remanente y durante los años ven ideros se mantuvo la recirculación  \nde las soluciones (sin cianuro) para evaporar el agua retenida en las pilas.  \n \nEn la actualidad Guanaco Compañía Minera SpA es la actual dueña de la faena.  Guanaco es una \nfaena de la mediana minería ( de acuerdo a la modificación de la ley 20.551), la cual se encuentra \ndedicada a la explotación y procesamiento de minerales de oro y plata, a una tasa máxima de \nprocesamiento de 2000 tpd, de acuerdo a la Res.Nº992/2010 y Res N° 506/2013.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 1,412 training samples
• Columns: query, sentence, and label
• Approximate statistics based on the first 1000 samples:

  	query	sentence	label
  type	string	string	int
  details	min: 9 tokens mean: 25.89 tokens max: 69 tokens	min: 54 tokens mean: 237.63 tokens max: 256 tokens	0: ~54.60% 1: ~45.40%

• Samples:

  query	sentence	label
  ¿Se utilizaron antecedentes geológicos?	B ORRA DOR iii La Mina Guanaco, está ubicada en la Comuna de Taltal, Provincia de Antofagasta, a 220 km al sureste de la ciudad de la ciudad homónima, a una altitud cercana a los 2.700 msnm. Cuenta con seis minas donde el tipo de explotación es a rajo abierto y subterránea. Las minas que componen las minas a rajo abierto son cuatro y corresponden a: “Defensa, Dumbo, Perseverancia y Quillota”. Las minas subterráneas son dos y corresponden a “Cachinalito y Salvadora”. El distrito minero El Guanaco es conocido desde fine s del siglo pasado, cuando habitantes del poblado de la Aguada de Ca chinal, que surtían agua a las minas de Cachinal de la Sierra, descubrieron evidencias de mineralización aurífera en vetas de baritina. El mineral producido a partir de 1886 fue tratado por amalgamación en Taltal. Hasta el año 1890, se habrían producido más de 6.000 kg de oro, transportando la producción en ferrocarril que unía El Guanaco con Taltal. La mayor parte de la acti...	0
  La compactación de los relaves filtrados es por Proctor Normal o Estándar, o Proctor Modificado?	Configuración intermedia del Botadero Sur y secciones para el análisis ...................................... 12 Figura 8-3. Verificación de la distancia de exclusión, para un sismo máximo sismo creíble ICOLD (Depósito de Relaves Filtrados y borde de la Plataforma-4432) ............................................................... 14 Figura 8-4. Verificación de la distancia de exclusión, para un máximo sismo creíble del ICOLD (Acopio de Mineral y Plataforma-4473) ........................................................................................................ 15 Figura 8-5. Esquema de distancia de afectación en caso hipotético de falla del depósit o de relaves ............ 16 Figura 8-6. Esquema de distancia de afectación en caso hipotético de falla del depósito de relaves y botadero Sur .............................................................................................................................. 17 Apéndice Apéndice A: Análisis de Estabilidad Config...	0
  ¿Cuál es el método de compactación del muro de embalse: proctor modificado, proctor normal o densidad relativa?	43 6.1. Identificación de las Medidas de Cierre de las Instalaciones La identificación de medidas específicas que se realizarán se detalla en las tablas N° 34 y N° 35 del presente Informe. Tabla 34. Identificación actividades de cierre del plan de cierre minero y RCA RCA Instalación Compromisos 251/2009 Equipos de Proceso e Instalaciones Auxiliares Se retirarán todos los equipos de proceso, como el chancador, correas transportadoras, tuberías de proceso, líneas eléctricas, estanques de proceso, etc., en el caso de que estos no se requieran para actividades o proyectos posteriores. Se retirarán las estructuras y elementos arquitectónicos de los edificios e instalaciones auxiliares si éstos crearan situaciones de riesgo para las personas. El área del Proyecto se dejará libre de chatarras y desechos que puedan constituir riesgos para las personas. Los terrenos alterados con rellenos o cortes para el emplazamiento de edificios, piscinas de proceso e instalacio...	0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
2.7222	100	4.5637
5.4167	200	1.6848
8.1111	300	0.4771
10.8333	400	0.1894
13.5278	500	0.0413
16.2222	600	0.019
18.9444	700	0.0085
21.6389	800	0.0088
24.3333	900	0.0097
27.0278	1000	0.0
29.75	1100	0.0001
32.4444	1200	0.0
35.1389	1300	0.0
37.8611	1400	0.0
40.5556	1500	0.0
43.25	1600	0.0
45.9722	1700	0.0
48.6667	1800	0.0
51.3611	1900	0.0
54.0556	2000	0.0
56.7778	2100	0.0
59.4722	2200	0.0
62.1667	2300	0.0
64.8889	2400	0.0
67.5833	2500	0.0
70.2778	2600	0.0
73.0	2700	0.0
75.6944	2800	0.0
78.3889	2900	0.0
81.0833	3000	0.0
83.8056	3100	0.0
86.5	3200	0.0
89.1944	3300	0.0
91.9167	3400	0.0
94.6111	3500	0.0
97.3056	3600	0.0

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}