hwp0725/roberta-korean-hanja-stdict

RoBERTa Korean Hanja Extended (표준국어대사전)

이 모델은 MLM 학습 전 베이스 모델입니다. MLM 파인튜닝이 완료된 버전은 hwp0725/roberta-korean-hanja-stdict-mlm을 사용하세요.

KoichiYasuoka/roberta-large-korean-hanja 모델의 vocabulary를 표준국어대사전 한자로 확장한 모델입니다.

모델 정보

항목	값
베이스 모델	KoichiYasuoka/roberta-large-korean-hanja
원본 vocab size	39,255
확장 vocab size	40,235
추가된 한자	980자
한자 출처	표준국어대사전

관련 모델

모델	설명
hwp0725/roberta-korean-hanja-stdict	vocab 확장 베이스 모델 (현재 모델)
hwp0725/roberta-korean-hanja-stdict-mlm	MLM 파인튜닝 완료 모델

사용법

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("hwp0725/roberta-korean-hanja-stdict")
model = AutoModelForMaskedLM.from_pretrained("hwp0725/roberta-korean-hanja-stdict")

# Fill-mask 예시
from transformers import pipeline
fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
result = fill_mask("孔子曰：學而時習之，不亦[MASK]乎")
print(result)

확장된 한자

표준국어대사전에 등재된 한자어 표제어에서 추출한 한자 중, 기존 모델에 없던 980자를 추가했습니다.

주요 추가 한자 예시:

• 확장 한자 A (CJK Extension A): 㐌, 㑊, 㖠 등
• 희귀 한자: 일부 고전/전문 용어에서 사용되는 한자

라이선스

원본 모델과 동일하게 CC BY-SA 4.0 라이선스를 따릅니다.

인용

이 모델을 사용하시면 원본 모델도 함께 인용해 주세요:

@misc{yasuoka2024roberta,
  author = {Koichi Yasuoka},
  title = {roberta-large-korean-hanja},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/KoichiYasuoka/roberta-large-korean-hanja}
}