걍블로그
Diffusion 기반의 Text 생성 실험1차 본문
이전 시간에 구성한 Pre-Trained 모델 만들기
구성 아키텍쳐
초기 모델 구성 : BERT(https://huggingface.co/bert-base-uncased) + Vector Quantization(https://github.com/lucidrains/vector-quantize-pytorch)
학습 1차 : 진행중
- Endoer(BERT의 절반)는 학습을 하지 않고 고정함
- Quantization + Decoder(BERT의 나머지 절반) + lm_head(Text로 변환하기 위한 layer, ouput_dim이 Vocab과 동일해지도록 수정) 부분을 학습에 진행함
기대하는 출력 : 입력 문장과 동일한 문장이 출력으로 나오도록 기대중
작업중이 코드
https://github.com/jeongjaeyong/difusion_text
'인공지능 > 실험 해보기' 카테고리의 다른 글
| Diffusion 기반의 Text 생성 실험2차 수정 (0) | 2023.06.11 |
|---|---|
| Diffusion 기반의 Text 생성 실험1차 수정 (0) | 2023.06.09 |
| Text 생성을 위한 Diffusion 모델 구조에 대한 고민 (0) | 2023.06.02 |
| LLAMA 모델을 활용한 문법 교정 모델 만들기 실험 1차 시도 (0) | 2023.06.01 |
| 하고 싶은 실험 정하기 (1) | 2023.05.30 |
'인공지능/실험 해보기' Related Articles
more
