チャットページ#

チャットページでは、さまざまなLLMモデルを一か所で便利に比較し、対話することができます。 これにより、ユーザーはBackend.AIが提供するサービスと多様な大規模言語モデル（LLM）を体験できます。

モデルの選択#

チャットページの各チャットカードの左上で、デプロイメントとモデルを選択できます。 デプロイメントフィールド（デプロイメントアイコンのプレフィックスが付いています）をクリックすると、「Deployment」ヘッダーの下に利用可能なデプロイメントが一覧表示されたドロップダウンが開きます。 デプロイメントを選択すると、モデルドロップダウンのヘッダーが「{デプロイメント名}'s Models」に更新され、そのデプロイメントに関連付けられたモデルが一覧表示されます。

選択したデプロイメントでモデルを読み込めない場合、以下の警告アラートと共に設定パネルが表示されます。

• LLMモデルが見つかりません（警告）：デプロイメントのエンドポイントからモデル一覧を取得できませんでした。ベースパスまたはトークンを確認し、モデル情報を更新 ボタンをクリックして再試行してください。
• レプリカ数が0（警告）：選択したデプロイメントのレプリカ数が0に設定されており、応答できません。デプロイメント設定でレプリカ数を1以上に設定してください。

以下のアラートがチャットカードに表示される場合があります。

• エンドポイントURLが無効（エラー）：選択したデプロイメントのエンドポイントURLを解決できませんでした。デプロイメントが正しく設定されていることを確認してください。
• ストリーミングエラー（エラー）：モデルとの通信中にエラーが発生しました。メッセージで原因を確認し、アラートを閉じてから再試行してください。

カスタムモデル設定を構成するために必要な入力項目については、以下の説明を参照してください。

• ベースパス（任意）：リクエスト送信時にデプロイメントのエンドポイントURLに追加されるパスです。 バージョン情報を必ず含めてください。 例えば、OpenAI APIを利用する場合は v1 と入力します。
• トークン（任意）：モデルサービスにアクセスするための認証キーです。トークンは Backend.AIだけでなく、さまざまなサービスで生成できます。形式と生成プロセスは サービスによって異なる場合があるため、詳細については各サービスのガイドを参照してください。 例えば、Backend.AIで生成されたサービスを利用する場合は、 トークンの生成方法についてトークンの生成セクションを参照してください。

比較チャットカードの追加と削除#

新しい比較チャットカードを追加するには、右上にある比較アイコンボタンをクリックします。

チャットセッションを削除するには、チャットカードの右上にあるmoreボタンをクリックしてください。 ドロップダウンメニューが表示されるので、Delete Chatを選択するとチャットセッションを削除できます。 入力した内容がすべて削除されるため、ご注意ください。

チャット履歴のクリア#

moreボタンをクリックすると、Clear chatオプションが表示されます。 このオプションを選択すると、カードに紐づくすべてのチャット履歴を削除できます。 ただし、カードのセッション自体は引き続き有効なまま維持されます。

入力を同期する#

右上にあるSync Inputボタンを使用すると、オプションが有効になっているチャットカード間で入力を同期できます。 Sync inputが有効な状態では、いずれかのカードでEnterを押すかSendボタンをクリックすると、 現在操作中のカードの入力が一括して送信されます。 この機能は、同じ入力データを使用してさまざまなモデルの出力を比較する際に便利です。

パラメータ調整#

右上のパラメータボタンをクリックすると、各モデルのパラメータを調整できます。Max Tokens、Temperature、Top P、Top Kなどのさまざまな値を設定できます。 同期機能を使用すると、同じモデルに対して異なるパラメータを適用し、その結果を比較できます。

チャット履歴#

新しいチャットを開始するには、右上にある+ボタンをクリックします。

すべてのチャット履歴はローカルストレージに保存され、右上の履歴ボタンをクリックすると以前のチャットにアクセスできます。