🦜카부캠 앵무말(Parrotalk) : 파인튜닝하기

저녁 만들었쏘

최애 냄비~~

33.3333퍼 분배를 자랑하는 원형 차트

---

DeBERTa v3를 SQuAD 2.0 형식의 데이터로 파인튜닝

cuda 설치 확인

nvcc --version

PyTorch 설치

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118

 

 

Hugging Face Transformers 라이브러리를 통해 DeBERTa v3 모델을 로드

pip install transformers

---

데이터 정제

여러 개의 파일 하나의 json으로 합치기

 

 

 

데이터 전처리하기

 

JSON 파일의 구조가 불일치하거나, None 값이 포함된 데이터가 있어 문제 발생
pyarrow와 pandas에서 데이터를 읽는 중 컬럼 구조가 일관되지 않거나 누락된 값이 있음

 

ㅇ낭

ㅇ

---

파인튜닝

 

 

 

전처리 단계에서 데이터셋을 토큰화하고 변환(map)하는 작업이 진행 중

 

gpu야 달려!

숴쓰는둦으중