채팅 페이지

Backend.AI 25.05 버전 이후부터, 'LLM Playground' 기능이 별도의 '채팅' 페이지로 제공됩니다. 채팅 페이지를 통해 사용자는 Backend.AI가 제공하는 서비스뿐만 아니라 여러 LLM 모델을 직접 체험해 볼 수 있습니다.

모델 선택하기

채팅 페이지 카드의 왼쪽 상단에서 엔드포인트와 모델을 선택할 수 있습니다. 엔드포인트 선택란을 클릭하면, 엔드포인트를 직접 검색하거나 목록에서 선택할 수 있으며, 모델도 동일한 방식으로 선택할 수 있습니다. 단, 선택한 엔드포인트에 해당하는 모델이 없을 경우, OpenAI 호환 기본 경로와 토큰을 확인후 '모델 정보 새로고침' 버튼을 눌러주세요.

사용자 정의 모델 설정에 필요한 입력 사항은 다음 설명을 참조하십시오.

• baseURL (선택사항): 모델이 위치한 서버의 기본 URL. 해당 URL에는 버전 정보가 포함되어 있어야 합니다. 예를 들어, OpenAI API를 사용하는 경우, https://api.openai.com/v1 을 입력해야 합니다.

• Token (선택사항): 모델 서비스에 접근하기 위한 인증 키. 토큰은 Backend.AI 뿐만 아니라 다양한 서비스에서 생성할 수 있습니다. 토큰 생성 방법은 서비스에 따라 다를 수 있습니다. 자세한 내용은 해당 서비스의 안내를 참조하십시오. Backend.AI에서 생성한 서비스를 사용하는 경우, 토큰 생성 방법은 토큰 발급하기 섹션을 참조하십시오.

비교 채팅 카드 추가 및 삭제

우측 상단의 '비교' 아이콘 버튼을 클릭하여 새로운 비교 채팅 카드를 추가할 수 있습니다.

각 채팅 세션을 삭제하려면 카드 우측 상단에 있는 '더보기' 버튼을 클릭하십시오. 버튼을 클릭하면 드롭다운 메뉴가 표시되며, '채팅 삭제' 버튼을 통해 해당 채팅 세션을 삭제할 수 있습니다. 입력한 내용이 존재하는 경우에는 입력한 내용이 모두 삭제되므로 주의해 주세요.

채팅 기록 삭제

'더보기' 버튼을 클릭하면 '채팅 지우기' 버튼이 나타납니다. 이 버튼을 클릭하면 카드에 있는 모든 채팅 기록이 삭제됩니다. 단, 카드의 세션은 종료되지 않습니다.

입력 연동

채팅 카드의 우측 상단의 '동기화' 버튼을 사용하면 '동기화'가 활성화된 모든 채팅 카드의 입력을 동기화할 수 있습니다. '동기화'가 활성화된 채로, '엔터'를 누르거나 어떤 카드의 '전송' 버튼을 클릭하면 현재 입력 중인 카드의 입력이 일괄 적용됩니다. 이 기능은 하나의 입력값을 통해 다양한 모델의 응답 결과를 비교하고 싶을 때 유용하게 사용할 수 있습니다.

파라미터 조정

우측 상단의 파라미터 버튼을 클릭하여 각 모델에 대한 파라미터를 조정할 수 있습니다.사용자는 Max Tokens, Temperature, Top P, Top K와 같은 다양한 값들을 설정할 수 있습니다.동기화 기능을 사용하여 같은 모델들에 대해 다른 파라미터를 적용하여 결과를 비교할 수 있습니다.

채팅 기록

우측 상단의 '+' 버튼을 클릭하여 새로운 채팅을 시작할 수 있습니다.

모든 채팅 기록은 로컬 스토리지에 저장됩니다. 우측 상단의 '히스토리' 버튼을 클릭하여 이전의 채팅 기록에 접근할 수 있습니다.