jiniby 님의 블로그

1️⃣ 이미지 대 이미지☑️ 이미지 대 이미지 변환●이미지를 입력으로 받아 원하는 이미지를 출력하는 것○최근에는 조건부 생성 모델을 이용하여 원하는 이미지를 생성하는 방법들이 주를 이룸RBDN은 Generalized Deep Image to Image Regression을 위한 아키텍처로, 다음과 같은 기능을 제공○조건부 GANs 이전에는 각 태스크별 모델과 손실 함수를 각각 정의해야 했음  ☑️ 이미지 대 이미지 변환: 전통적 접근●기존의 방식은 주어진 이미지를 회귀 모델을 통해 변환한 후, 타겟 이미지와 손실을 계산하여 개선하는 방식●픽셀 요소별 L1 손실 혹은 L2 손실을 주로 활용 ☑️ 이미지 대 이미지 변환: 전통적 접근의 한계 ●변환된 이미지를 생성하는 것이 아니라 회귀 모델로 픽셀값을 예측하..

1️⃣ 조건부 생성 모델 ☑️ 조건부 생성 모델 – 일반 생성 모델의 한계 입력 노이즈의 벡터에 따라서만 만들기 때문에 입력노이즈의 특성을 모두 파악하지 않는 이상 의미를 고정시켜 생성하기 쉽지않음 ☑️ 조건부 생성 모델  ●임의의 잠재 벡터 + 조건 정보를 추가하여 데이터를 생성 ☑️ 조건부 GANs 목적 함수 ●생성 모델에 입력되는 잠재 벡터와, 판별 모델에 입력되는 조건부 벡터가 추가된 형태 ○판별 모델이 입력받은 데이터가 실제 데이터와 유사하더라도 입력된 조건을 만족하지 않으면 0을 출력 ☑️ 다양한 조건부 GANs ●판별자가 조건을 고려하는 다양한 방식  ->  Discriminator(판변자)을 어떻게 잘 학습해야 하는지 GAN 에서도 잘 디자인 해야한다   ☑️  조건부 GANs 생성 결과..

1️⃣ GANs 소개 / 적대적 생성 신경망 (Generative Adversarial Networks, GANs)  ☑️ 적대적 생성 신경망 (Generative Adversarial Networks, GANs) ● Generative (생성) / Adversarial (적대적) / 신경망 (Networks) ●적대적으로 학습하는 신경망들로 구성되며, 생성 모델로써 활용함  ☑️ 생성 모델 관점에서의 VAE vs. GANs ● VAE의 생성 방식: 입력 분포를 근사하는 과정에서 규제 (Regularization)을 주며 데이터를 생성 ● GANs의 생성 방식: 생성된 데이터와 실제 데이터를 판별하고 속이는 과정을 거치며 생성 모델을 개선  2️⃣ GANs 구조와 학습 ☑️ GANs 구조 ●데이터를 ..

1️⃣ 벡터 양자화 변분 오토 인코더 (Vector Quantized Variational Autoencoder, VQVAE, 2017) ●실제 이미지나 텍스트는 유한한 특성으로 표현할 수 있음! ●유한한 잠재 표현을 활용하는 변분 오토 인코더 ●실제 이미지나 텍스트는 유한한 특성으로 표현할 수 있음! 2️⃣ 이산(Discrete) 잠재 변수 ●범주: K개의 D차원 임베딩(Embedding) 벡터 (e1 , …, eK ) ● 범주: K개의 D차원 임베딩(Embedding) 벡터 (e1 , …, eK ) = Codeword in Codebook  3️⃣ VQVAE의 Evidence of Lower BOund (ELBO)    4️⃣  VQVAE의 학습   ● K개의 임베딩 벡터도 학습! ○데이터 특성을 표..

1️⃣ 변분 오토 인코더의 구조 ●오토 인코더와 동일한 구조(Encoder + Decoder)를 가지는 생성 모델 ●잠재 변수 모델: 데이터는 저차원의 잠재 변수로부터 생성됨      2️⃣ VAE의 구조 ● 오토 인코더의 구조를 가짐 (인코더 + 디코더) ● 잠재 벡터의 분포: 표준정규분포가장 큰 기술적 차이가 잠재변수에서 (가우시안분포에서 생성)  ●잠재 변수(z) 가 표준정규분포를 따른다고 가정 (사전 분포 → p(z)) ●조건부 분포 p(x|z) (=확률적 디코더)는 일반적으로 정규분포 또는 베르누이 분포로 모델링  3️⃣ 변분 오토 인코더의 학습 ✅ VAE의 학습 ●잠재 변수(z) 가 표준정규분포를 따른다고 가정 (사전 분포 → p(z)) ○각 특징을 확률 분포로 정의, 이로부터 샘플링을 ..

1️⃣ 오토 인코더 (Autoencoder) ●입력 데이터의 패턴을 학습하여 데이터를 재건하는 모델 ○비선형 차원 축소 기법으로 활용 가능  ✅오토 인코더 구조 ●인코더(Encoder): 데이터를 저차원 잠재 표현으로 요약●디코더(Decoder): 저차원 잠재 표현으로부터 데이터를 재구성(Reconstruction) ✅ 오토 인코더 학습●손실 함수: 잠재 표현으로부터 복구한 데이터와 입력 데이터의 평균제곱오차(MSE) 2️⃣ 디노이징 (Denoising) 오토 인코더  ●입력 데이터에 랜덤 노이즈를 주입하거나 Dropout 레이어를 적용 ●노이즈가 없는 원래 데이터로 재구성✅ 디노이징 오토 인코더의 원리●안개 속에서 멀리 있는 물체를 구별하려면? ●데이터의 특성들을 더욱 정확히 학습함 ●노이즈에 강건한 ..

✅생성모델의 활용사례 GitHub - mv-lab/swin2sr: [ECCV] Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration. Advances in Image Manipulation (AIM) workshop ECCV 2022. Try it out! over 3.3M runs https://replicate.com/mv-lab/swin2srGitHub - TencentARC/GFPGAN: GFPGAN aims at developing Practical Algorithms for Real-world Face Restoration.Webtoon AI Painter Webtoon AI Painter스마트한 채색..

판별 (discriminative model )모델  레이블 또는 분류를 예측하는 데 사용할 수 있는 기계 학습 모델의 한 유형● 판별 모델은 정답 (Ground Truth, GT)이 존재하므로 모델의 출력을 정답과 비교하기 용이● 범주형 데이터를 사용하는 경우 (분류) 와 연속형 데이터를 사용하는 경우 (회귀 분석) 로 나눌 수 있음＊ 유형- 로지스틱 회귀(logistic regression) :  일반적으로 이진 분류 작업에 사용 - 서포트 벡터 머신(SVM, support vector machine) : 더 복잡한 작업에 더 적합 - 의사결정 트리(decision tree) : 분류 및 회귀 작업 모두에 사용 - 선형 판별 분석- 랜덤 포레스트 분류자  머신 러닝에서의 분류 대 회귀 - Geeksf..