목록2024/09/18 (1)
CS log
GPT-1
0. Abstractunlabel된 text는 아주 많지만, labeled data for learning specific tasks is scarce이런 unlabeled된 데이터를 버리지 않고generative pre-training of a language model on a diverse corpus of unlabeled text 와 그와 더불어discriminative fin-tuning on each specific task 를 사용해 성과를 냈다.task-aware input transformations 의 pretraining -> fine-tuning 하는 과정에서 model architecture는 최소한으로 변경했다. 특히 general task-agnostic model에서 특정 ..
AI/NLP
2024. 9. 18. 14:01