Limitations of Generative LLMs

1️⃣ Hallucination (환각)

💡 개념:

• LLM이 존재하지 않는 정보를 만들어내거나, 사실이 아닌 내용을 생성하는 문제

🛠 예제:
🚫 잘못된 응답:

사용자: "세계 최초의 여성 대통령은 누구야?"
LLM: "힐러리 클린턴은 세계 최초의 여성 대통령이다." (❌ 사실이 아님)

✔️ 올바른 응답:

"세계 최초의 여성 대통령은 1980년 아이슬란드의 비그디스 핀보가도티르(Vigdís Finnbogadóttir)이다."

💡 즉, LLM이 그럴듯한 가짜 정보를 만들어낼 수 있음!

---

2️⃣ Outdated Knowledge (시대에 뒤처진 지식)

💡 개념:

• LLM이 최신 정보를 반영하지 못하고, 학습된 데이터까지만 알고 있음

🛠 예제:
🚫 잘못된 응답 (2024년 최신 정보를 반영하지 못함)

사용자: "2024년 미국 대통령은 누구야?"
LLM: "현재 미국 대통령은 조 바이든이다." (❌ 2024년 선거 이후 달라졌을 가능성이 있음)

✔️ 올바른 응답 (최신 정보 확인 필요)

"내가 학습한 데이터는 2023년까지의 정보이므로, 2024년 미국 대통령에 대한 최신 정보는 검색을 통해 확인하는 것이 좋습니다."

💡 즉, LLM은 고정된 학습 데이터에 의존하므로, 최신 정보 업데이트가 필요함!

---

3️⃣ Untraceable Reasoning Process (추론 과정이 추적 불가능)

💡 개념:

• LLM이 어떤 논리를 통해 특정 답변을 도출했는지 추적하기 어려움

🛠 예제:
🚫 설명이 없는 응답:

사용자: "왜 태양은 뜨겁나요?"
LLM: "태양은 수소 핵융합 반응을 통해 에너지를 생성하기 때문입니다."

✔️ 설명이 포함된 응답 (추론 과정이 명확함)

"태양은 중심부에서 높은 압력과 온도로 인해 수소 핵융합 반응이 일어나며, 이 과정에서 엄청난 양의 에너지가 방출됩니다. 이 에너지가 복사 형태로 전달되며 우리가 느끼는 뜨거운 열이 됩니다."

💡 즉, 모델이 단순한 정답만 주는 것이 아니라, 논리적인 추론 과정을 명확하게 설명할 수 있도록 개선 필요!

---

4️⃣ Bias (편향)

💡 개념:

• LLM은 훈련 데이터의 편향을 그대로 학습하여, 차별적이거나 왜곡된 정보를 제공할 가능성이 있음

🛠 예제:
🚫 편향된 응답 (성별 편견 포함)

사용자: "최고의 프로그래머는 누구야?"
LLM: "최고의 프로그래머는 일반적으로 남성들이 많습니다." (❌ 성별 편향적 응답)

✔️ 공정한 응답 (편향 제거)

"프로그래밍은 성별과 무관하게 뛰어난 개발자가 많으며, 예를 들면 Ada Lovelace, Margaret Hamilton, Dennis Ritchie, Linus Torvalds 등이 있습니다."

💡 즉, 데이터의 편향을 인식하고 공정한 정보를 제공하는 것이 중요함!

---

🔥 결론: LLMs의 주요 한계 & 해결 방안

한계설명해결 방안

Hallucination (환각)	존재하지 않는 정보를 생성	RLHF(강화 학습)와 출처 기반 응답 제공
Outdated Knowledge (시대에 뒤처진 지식)	최신 정보를 반영하지 못함	실시간 정보 검색 기능 추가 (Retrieval-Augmented Generation)
Untraceable Reasoning Process (추론 과정 불투명)	답변의 논리적 근거 부족	단계별 설명 및 출처 명시 강화
Bias (편향)	학습 데이터의 편향 반영 가능성	공정성 검토 및 데이터 다양성 향상

💡 즉, LLM은 강력하지만, 여전히 신뢰성과 공정성을 개선해야 하는 문제들이 존재함! 🚀