LLM Playground

Backend.AI 24.03 버전부터 'LLM Playground' 기능을 통해 다양한 LLM 모델을 한 눈에 비교하고, 사용할 수 있습니다. LLM Playground를 통해 사용자는 Backend.AI가 제공하는 서비스뿐만 아니라 여러 LLM 모델을 직접 체험해 볼 수 있습니다.

모델 선택하기

LLM Playground 내부 카드 왼쪽 상단에는 엔드포인트 선택기와 모델 선택기가 있습니다. 엔드포인트 선택기를 통해 Backend.AI에서 생성한 서비스의 엔드포인트들을 검색하고 선택할 수 있습니다. 모델 선택기에서는 모델 ID를 선택할 수 있으며, 모델을 불러올 수 없는 경우에는 'Custom'으로 설정됩니다.

사용자 정의 모델 설정에 필요한 입력 사항은 다음 설명을 참조하십시오.

baseURL: 모델이 위치한 서버의 기본 URL. 해당 URL에는 버전 정보가 포함되어 있어야 합니다. 예를 들어, OpenAI API를 사용하는 경우, https://api.openai.com/v1 을 입력해야 합니다.
Model ID: 사용하려는 모델의 고유 식별자. 모델을 지정하려면 고유 식별자를 제공해야 합니다. 예를 들어, GPT-4의 경우 gpt-4o를 입력합니다.
Token (선택사항): 모델 서비스에 접근하기 위한 인증 키. 토큰은 Backend.AI 뿐만 아니라 다양한 서비스에서 생성할 수 있습니다. 토큰 생성 방법은 서비스에 따라 다를 수 있습니다. 자세한 내용은 해당 서비스의 안내를 참조하십시오. Backend.AI에서 생성한 서비스를 사용하는 경우, 토큰 생성 방법은 토큰 발급하기 섹션을 참조하십시오.

채팅 카드 추가 및 삭제

우측 상단의 '+' 버튼을 클릭하여 새로운 채팅 카드를 추가할 수 있습니다.

각 채팅 세션을 삭제하려면 카드 우측 상단에 있는 'x' 버튼을 클릭하십시오. 입력한 내용이 존재하는 경우에는 입력한 내용이 모두 삭제되므로 주의해 주세요.

채팅 기록 삭제

'더보기' 버튼을 클릭하면 'Delete Chat History' 버튼이 나타납니다. 이 버튼을 클릭하면 카드에 있는 모든 채팅 기록이 삭제됩니다. 단, 카드의 세션은 종료되지 않습니다.

입력 연동

우측 상단의 'Sync input' 버튼을 사용하면 모든 채팅 카드의 입력을 동기화할 수 있습니다. 'Sync input'이 활성화된 채로, 'Enter'를 누르거나 어떤 카드의 'Send' 버튼을 클릭하면 현재 입력 중인 카드의 입력이 일괄 적용됩니다. 이 기능은 하나의 입력값을 통해 다양한 모델의 응답 결과를 비교하고 싶을 때 유용하게 사용할 수 있습니다.