KR-SBERT-Medium-extended-klueNLItriplet_PARpair_QApair-klueSTS

Model Details

Model Description

• Model Type: Sentence Transformer

• Maximum Sequence Length: 512 tokens

• Output Dimensionality: 768 tokens

• Similarity Function: Cosine Similarity

• Training Dataset:

  • klue/klue

• Language: ko

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("snunlp/KR-SBERT-Medium-extended-klueNLItriplet_PARpair_QApair-klueSTS")
# Run inference
sentences = [
    'SR은 동대구·김천구미·신경주역에서 승하차하는 모든 국민에게 운임 10%를 할인해 준다.',
    'SR은 동대구역, 김천구미역, 신주역을 오가는 모든 승객을 대상으로 요금을 10% 할인해 드립니다.',
    '수강신청 하는 날짜가 어느 날짜인지 아시는지요?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-dev
• Evaluated with EmbeddingSimilarityEvaluator

Training Details

Training Dataset

klue/klue

• Dataset: klue/klue at 349481e
• Size: 11,668 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 7 tokensmean: 18.12 tokensmax: 56 tokens	min: 6 tokensmean: 17.58 tokensmax: 60 tokens	min: 0.0mean: 0.44max: 1.0

• Samples:

  sentence1	sentence2	label
  숙소 위치는 찾기 쉽고 일반적인 한국의 반지하 숙소입니다.	숙박시설의 위치는 쉽게 찾을 수 있고 한국의 대표적인 반지하 숙박시설입니다.	0.7428571428571428
  위반행위 조사 등을 거부·방해·기피한 자는 500만원 이하 과태료 부과 대상이다.	시민들 스스로 자발적인 예방 노력을 한 것은 아산 뿐만이 아니었다.	0.0
  회사가 보낸 메일은 이 지메일이 아니라 다른 지메일 계정으로 전달해줘.	사람들이 주로 네이버 메일을 쓰는 이유를 알려줘	0.06666666666666667

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

klue/klue

• Dataset: klue/klue at 349481e
• Size: 519 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string