shjun/sLLM_empathy_chat_couple

공감하는 남친 챗봇만들기

yanolja/EEVE-Korean-10.8B-v1.0 모델을 기반으로 만든 sLLM 챗봇

목적 : 연인 대화 데이터를 학습시켜 공감해주는 남자친구 챗봇 만들기

사용 모델 : yanolja/EEVE-Korean-10.8B-v1.0

모델 구조 : 멀티턴 LLM 모델

사용 데이터 셋

• 출처 : AI 허브 공감형 대화
• 활용 데이터 : 연인 데이터만 사용

데이터 전처리

• 연인 간의 감정 데이터만 사용
  • 기쁨, 당황, 분노, 불안, 상처, 슬픔
• 데이터 프레임 형식으로 변환하여 멀티턴 데이터로 저장
• 파일 형식 : jsonl
• 데이터 수 : 3645개의 대화
• 학습 데이터 형식 : {"id": 0, "conversations": {"role": "speaker", "text": "자기야, 나 결국 돈 아끼기에 실패했어."}, {"role": "listener", "text": "어라, 왜 그래? 큰돈 나갈 일이 있었어?"}

학습 방법

• 코랩 환경을 사용(GPU A100)
• epoch : 2
• 소요 시간 : 01:49:41
• learning rate : 3e-4
• batch_size : 1
• Lora_r : 8
• Lora target modules : query_key_value