728x90
☑️ LLMOps
✔️ 10 AI Predictions For 2023: LLMOps!?
● Forbes 선정 10 AI Predictions For 2023
✔️ LLMOps의 개념
● LLMOps (Large Language Model Operations)란?
LLMs 운영 관리(학습/배포)에 활용되는 사례, 기술 및 도구 등을 포괄하는 개념
LLMOps가 주목받고 있는 이유: DevOps에서 LLMOps까지
✔️ LLMOps and MLOps
● MLOps와 유사한 기술로 구성(데이터, 모델 학습 및 서빙), But, 모델의 규모가..!
LLMOps가 주목받고 있는 이유: DevOps에서 LLMOps까지
✔️ LLMOps의 특수성 (1): 모델 사이즈
●모델의 크기가 매우 큼 → High Computational Resources → 최적화 및 병렬 처리와 같은 시스템 요구
✔️ LLMOps의 특수성 (2): 데이터의 특수성 - 데이터 크기 및 형식
● LLMs를 학습하는데 필요한 데이터의 크기 및 데이터의 형태(Prompt Engineering 등)을 고려
● LLM의 창발 (Emergence) 능력을 위한 In-Context Learning(문맥기반 학습) 을 극대화하기 위한 작업: Prompt Engineering
AI 모델이 개별적인 기능을 학습하는 과정에서, 훈련된 적 없는 새로운 능력이 자연스럽게 나타나는 현상
ex. Zero-Shot Learning (제로샷 학습)
● LLM은 특정 작업 특화하도록 구축할 수도 있으나, 여러 작업에 일반화되도록 구축되는 경우가 다수 → 특정 작업에 대한 능력을 향상시키기 위하여 적합한 지시어 및 예제 제공
Eight Prompt Engineering Implementations [Updated] | by Cobus Greyling | Medium
✔️ LLMOps의 특수성 (3): Generative Models
●생성형 모델의 특성으로 인한 출력 결과의 다양성: 성능 평가/인간 평가 세분화
●윤리적 문제, 편항성 및 환각 현상 고려한 Post-processor 고려 필요
✔️ LLMOps의 특수성 (4): Serving
● API 앱 형식의 배포: 대화형 챗봇, 어시스턴트, 작업 특화 파이프라인 등 → 모델의 크기나 전/후처리의 방대함이 원인
✔️ LLMOps의 특수성 정리
[IT TREND] FMOps, LLM 시대의 AI 앱 개발 방법
☑️ Augmented LLMs
✔️ Augmented LLMs?
Best Practices in Retrieval Augmented Generation
챗GPT, 바드, 라마...LLM서비스 다양한 '진화' < AI·로봇 < 스마트경제 < 기사본문 - 중소기업투데이
✔️ Toolformer: Language Models Can Teach Themselves to Use Tools
✔️ TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of API
✔️ CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing
✔️ Better Language Models of Code through Self-Improvemen
● LLM 자체의 능력에 기반한 Self-Improvement로 데이터 증강 → 추가 튜닝
✔️ Teaching Large Language Models to Self-Debug
✔️ LM vs LM: Detecting Factual Errors via Cross Examination
●언어 모델끼리의 상호작용 → 사실적 오류 탐지
✔️ BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
✔️ Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracke
문제를 더 하위작업으로 나눔
✔️ ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
✔️ Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models
✔️ ViperGPT: Visual Inference via Python Execution for Reasoning
✔️ ART: Automatic multi-step reasoning and tool-use for large language models
728x90
'04_NLP(Natural Language Processing)자연어처리 > LLM' 카테고리의 다른 글
| LLM 기반 Prompt Engineering (1) | 2025.02.07 |
|---|---|
| LLM Evaluation (0) | 2025.02.07 |
| LLM 기반 Data-Centric NLP 연구 (3) | 2025.02.06 |
| Large Language Model의 근간 이론들 (2) | 2025.02.06 |
| Large Language Model 이란? (1) | 2025.02.06 |