디파이(dify.ai)에서의 LLM 선택 및 활용 방법

Dify.ai에서 내외부 LLM을 선택하고 활용하는 방법은 다음과 같습니다.

1단계: 모델 공급자 설정 (외부 LLM 연동 및 초기 설정)

Dify.ai에서 LLM을 사용하려면 먼저 시스템 설정에서 모델 공급자를 구성해야 합니다.

1. Dify.ai 접속: Dify.ai 웹사이트에 접속하여 로그인합니다.
2. 시스템 설정 이동: 좌측 메뉴 또는 상단 설정에서 '설정' (Settings) 또는 '시스템 설정' (System Settings)으로 이동합니다.
3. 모델 공급자 선택: '모델 공급자' (Model Providers) 섹션을 찾아서 클릭합니다.
4. LLM 추가 및 구성:
   • OpenAI의 GPT 시리즈, Anthropic의 Claude 시리즈, Google의 Gemini 시리즈 등 주요 글로벌 모델을 포함하여 Dify가 지원하는 다양한 외부 LLM 공급자들을 확인할 수 있습니다.
   • 사용하려는 LLM 공급자를 선택하고 해당 API 키 및 필요한 기타 인증 정보를 입력하여 연동합니다.
   • Dify는 Hugging Face 및 Replicate에서 호스팅되는 오픈 소스 LLM(예: Llama2, Qwen, ChatGLM)도 지원하며, API 키를 입력하여 쉽게 접근할 수 있습니다.
   • 내부/로컬 LLM 통합: 자체적으로 배포한 로컬 LLM(예: OpenLLM 또는 Ollama를 통해 배포된 모델)을 사용하려면, 해당 모델의 엔드포인트를 모델 공급자 설정에서 구성하여 Dify에 연결할 수 있습니다. 이는 "내부" 또는 "자체 호스팅" LLM 활용의 한 형태입니다.

2단계: 애플리케이션 내 LLM 선택 및 구성 (Chatflow/Workflow)

모델 공급자 설정이 완료되면, Dify 내에서 애플리케이션(예: Chatflow, Workflow)을 구축할 때 LLM을 선택하고 활용할 수 있습니다.

1. 애플리케이션 생성 또는 편집: 새로운 AI 애플리케이션을 만들거나 기존 애플리케이션을 편집합니다.
2. LLM 노드 추가: Chatflow 또는 Workflow 내에서 'LLM 노드' (LLM Node)를 추가합니다. 이 노드는 대규모 언어 모델의 대화, 생성, 분류, 처리 기능을 활용하여 다양한 작업을 처리합니다.
3. 모델 선택:
   • LLM 노드 설정에서 이전에 '모델 공급자'에서 구성한 모델 중에서 시나리오 요구 사항과 작업 유형에 따라 적합한 모델을 선택합니다.
   • 모델의 추론 능력, 비용, 응답 속도, 컨텍스트 창 등을 고려하여 선택합니다.
4. 모델 매개변수 구성:
   • 모델 매개변수는 생성 결과에 영향을 미칩니다. 일반적으로 다음과 같은 매개변수를 조정할 수 있습니다.
     • Temperature (온도): 출력의 무작위성(창의성)을 조절합니다.
     • TopP: 누적 확률이 특정 임계값 P를 초과하지 않는 후보 단어 중에서 모델이 단어를 선택하도록 합니다.
     • Maximum Tokens (최대 토큰): 생성될 응답의 최대 길이를 설정합니다.
     • Response Format (응답 형식): JSON과 같은 특정 응답 형식을 지정할 수 있습니다.
   • Dify는 일반적으로 '창의적' (Creative), '균형' (Balanced), '정확' (Precise)과 같은 세 가지 사전 설정 매개변수 세트를 제공하여 선택을 용이하게 합니다.
5. 프롬프트 작성:
   • LLM 노드는 사용하기 쉬운 프롬프트 구성 페이지를 제공합니다.
   • 선택한 모델 유형(채팅 모델 또는 완성 모델)에 따라 다른 프롬프트 구성 구조가 표시됩니다.
   • 애플리케이션의 목적에 맞게 프롬프트를 작성하여 LLM의 행동을 지시합니다.
6. 고급 설정 (선택 사항):
   • 메모리 활성화 및 메모리 창 설정을 통해 LLM이 이전 대화 기록을 기억하도록 할 수 있습니다.
   • Jinja-2 템플릿 언어를 사용하여 더 복잡한 프롬프트를 구성할 수 있습니다.
   • 지식 기반 검색 노드를 LLM 노드 앞에 추가하고, 검색 결과를 LLM 노드의 컨텍스트 변수에 연결하여 LLM이 특정 지식 기반의 내용을 활용하도록 할 수 있습니다.

Dify는 직관적인 인터페이스를 통해 LLM 기반 AI 애플리케이션 개발을 간소화하며, 다양한 상용 및 오픈 소스 모델을 지원하여 유연한 AI 솔루션 구축을 돕습니다.

더 자세한 정보는 Dify 공식 문서를 참조하실 수 있습니다:

• LLM - Dify Docs
• Model - Dify Docs