채팅 페이지

Backend.AI 25.05 버전 이후부터, 'LLM Playground' 기능이 별도의 '채팅' 페이지로 제공됩니다. 채팅 페이지를 통해 사용자는 Backend.AI가 제공하는 서비스뿐만 아니라 여러 LLM 모델을 직접 체험해 볼 수 있습니다.

채팅 페이지

모델 선택하기

채팅 페이지 카드의 왼쪽 상단에서 엔드포인트와 모델을 선택할 수 있습니다. 엔드포인트 선택란을 클릭하면, 엔드포인트를 직접 검색하거나 목록에서 선택할 수 있으며, 모델도 동일한 방식으로 선택할 수 있습니다. 단, 선택한 엔드포인트에 해당하는 모델이 없을 경우, 모델은 Custom으로 설정됩니다. 모델 정보를 불러올 수 없는 경우에는 사용자가 직접 모델을 수동으로 설정해야 합니다.

모델 선택하기

사용자 정의 모델 설정에 필요한 입력 사항은 다음 설명을 참조하십시오.

  • baseURL: 모델이 위치한 서버의 기본 URL. 해당 URL에는 버전 정보가 포함되어 있어야 합니다. 예를 들어, OpenAI API를 사용하는 경우, https://api.openai.com/v1 을 입력해야 합니다.

  • Model ID: 사용하려는 모델의 고유 식별자. 모델을 지정하려면 고유 식별자를 제공해야 합니다. 예를 들어, GPT-4의 경우 gpt-4o를 입력합니다.

  • Token (선택사항): 모델 서비스에 접근하기 위한 인증 키. 토큰은 Backend.AI 뿐만 아니라 다양한 서비스에서 생성할 수 있습니다. 토큰 생성 방법은 서비스에 따라 다를 수 있습니다. 자세한 내용은 해당 서비스의 안내를 참조하십시오. Backend.AI에서 생성한 서비스를 사용하는 경우, 토큰 생성 방법은 토큰 발급하기 섹션을 참조하십시오.

채팅 카드 추가 및 삭제

우측 상단의 '+' 버튼을 클릭하여 새로운 채팅 카드를 추가할 수 있습니다.

채팅 카드 추가 및 삭제

각 채팅 세션을 삭제하려면 카드 우측 상단에 있는 '더보기' 버튼을 클릭하십시오. 버튼을 클릭하면 드롭다운 메뉴가 표시되며, '채팅 삭제' 버튼을 통해 해당 채팅 세션을 삭제할 수 있습니다. 입력한 내용이 존재하는 경우에는 입력한 내용이 모두 삭제되므로 주의해 주세요.

채팅 카드 추가 및 삭제

채팅 기록 삭제

'더보기' 버튼을 클릭하면 '채팅 지우기' 버튼이 나타납니다. 이 버튼을 클릭하면 카드에 있는 모든 채팅 기록이 삭제됩니다. 단, 카드의 세션은 종료되지 않습니다.

채팅 기록 삭제

입력 연동

채팅 카드의 우측 상단의 '동기화' 버튼을 사용하면 '동기화'가 활성화된 모든 채팅 카드의 입력을 동기화할 수 있습니다. '동기화'가 활성화된 채로, '엔터'를 누르거나 어떤 카드의 '전송' 버튼을 클릭하면 현재 입력 중인 카드의 입력이 일괄 적용됩니다. 이 기능은 하나의 입력값을 통해 다양한 모델의 응답 결과를 비교하고 싶을 때 유용하게 사용할 수 있습니다.

입력 연동