03_Deep Leaning/Generation

Generation_벡터 양자화 변분 오토 인코더(VQVAE & VQVAE-2)

jiniby 2025. 1. 16. 17:34

1️⃣ 벡터 양자화 변분 오토 인코더 (Vector Quantized Variational Autoencoder, VQVAE, 2017)

●실제 이미지나 텍스트는 유한한 특성으로 표현할 수 있음!

●유한한 잠재 표현을 활용하는 변분 오토 인코더
●실제 이미지나 텍스트는 유한한 특성으로 표현할 수 있음!

 

2️⃣ 이산(Discrete) 잠재 변수

 

●범주: K개의 D차원 임베딩(Embedding) 벡터 (e1 , …, eK )

● 범주: K개의 D차원 임베딩(Embedding) 벡터 (e1 , …, eK ) = Codeword in Codebook

 

3️⃣ VQVAE의 Evidence of Lower BOund (ELBO)

 

 

4️⃣  VQVAE의 학습

 

● K개의 임베딩 벡터도 학습!

○데이터 특성을 표현하는 단어를 학습하고 수정할 수 있게 함

 

5️⃣ VQVAE의 생성 과정

✅ PixelCNN (2016)

 

 

6️⃣ VQVAE-2

 

✅ VQVAE-2 - 계층 구조

 

 

✅ VQVAE-2 - 생성

 

 

 

VQVAE & VQVAE-2

- > 유한한 표현형으로 데이터를 표현할 수 있다는 관측을 활용

- > 벡터 양자화 기법을 활용한 고성능 VAE

- > 다른 모델에서 자주 활용됨