หน้าแชท#

หน้า Chat ช่วยให้ผู้ใช้สามารถเปรียบเทียบและโต้ตอบกับโมเดล LLM ที่แตกต่างกันได้อย่างสะดวกในที่เดียว ซึ่งช่วยให้ผู้ใช้สามารถสัมผัสประสบการณ์บริการที่ Backend.AI นำเสนอ รวมถึงโมเดลภาษาขนาดใหญ่ (LLMs) ที่หลากหลาย

การเลือกโมเดล#

ผู้ใช้สามารถเลือก deployment และโมเดลได้จากมุมซ้ายบนของการ์ดแชทแต่ละใบในหน้า Chat การคลิกที่ช่อง Deployment (ระบุด้วยไอคอน deployment นำหน้า) จะเปิดเมนูแบบดร็อปดาวน์ที่แสดง deployment ที่มีอยู่ภายใต้หัวข้อ "Deployment" เมื่อเลือก deployment แล้ว หัวข้อของเมนูดร็อปดาวน์โมเดลจะอัปเดตเป็น "{ชื่อ deployment}'s Models" ซึ่งจะแสดงรายการโมเดลที่เชื่อมโยงกับ deployment นั้น

หากไม่สามารถโหลดโมเดลสำหรับ deployment ที่เลือกได้ แผงการตั้งค่าจะปรากฏพร้อมกับการแจ้งเตือนต่อไปนี้:

• ไม่พบโมเดล LLM (คำเตือน): ไม่สามารถดึงรายการโมเดลจาก endpoint ของ deployment ได้ ตรวจสอบ base path หรือโทเค็น แล้วคลิก รีเฟรชข้อมูลโมเดล เพื่อลองใหม่
• จำนวน replica เป็น 0 (คำเตือน): deployment ที่เลือกมีจำนวน replica ตั้งค่าเป็น 0 จึงไม่สามารถตอบสนองได้ ตั้งค่าจำนวน replica เป็น 1 หรือมากกว่าในการตั้งค่า Deployment

การแจ้งเตือนต่อไปนี้อาจปรากฏในการ์ดแชทด้วย:

• URL ของ Endpoint ไม่ถูกต้อง (ข้อผิดพลาด): ไม่สามารถระบุ URL ของ endpoint สำหรับ deployment ที่เลือกได้ ตรวจสอบว่า deployment ได้รับการกำหนดค่าอย่างถูกต้อง
• ข้อผิดพลาดในการสตรีม (ข้อผิดพลาด): เกิดข้อผิดพลาดขณะสื่อสารกับโมเดล ตรวจสอบข้อความเพื่อทราบสาเหตุ ปิดการแจ้งเตือนแล้วลองส่งข้อความใหม่อีกครั้ง

โปรดดูคำอธิบายด้านล่างสำหรับข้อมูลอินพุตที่จำเป็นในการกำหนดค่าโมเดลแบบกำหนดเอง:

• Base Path (ไม่บังคับ): เส้นทางที่เพิ่มต่อท้าย URL ของ endpoint ของ deployment เมื่อส่งคำขอ โปรดระบุข้อมูลเวอร์ชันด้วย ตัวอย่างเช่น เมื่อใช้ OpenAI API ให้ป้อน v1
• Token (ไม่บังคับ): คีย์การพิสูจน์ตัวตนเพื่อเข้าถึงบริการโมเดล โทเค็นสามารถ สร้างได้จากบริการต่าง ๆ ไม่เพียงแต่ Backend.AI เท่านั้น รูปแบบและกระบวนการสร้าง อาจแตกต่างกันไปขึ้นอยู่กับบริการ โปรดดูคู่มือของบริการนั้น ๆ สำหรับรายละเอียด ตัวอย่างเช่น เมื่อใช้บริการที่สร้างโดย Backend.AI โปรดดูส่วน การสร้างโทเค็น สำหรับคำแนะนำในการสร้างโทเค็น

เพิ่มหรือลบการ์ดแชทเปรียบเทียบ#

หากต้องการเพิ่มการ์ดแชทเปรียบเทียบใหม่ ให้คลิกปุ่มไอคอนเปรียบเทียบที่อยู่มุมขวาบน

หากต้องการลบเซสชันแชท ให้คลิกปุ่ม 'more' ที่อยู่มุมขวาบนของการ์ดแชท จากนั้นเมนูแบบดร็อปดาวน์จะปรากฏขึ้น และผู้ใช้สามารถเลือก 'Delete Chat' เพื่อลบเซสชันแชทได้ โปรดระมัดระวังเนื่องจากการกระทำนี้จะลบเนื้อหาทั้งหมดที่ป้อนไว้

ล้างประวัติการแชท#

การคลิกปุ่ม 'more' จะแสดงตัวเลือก 'Clear chat' เมื่อเลือกตัวเลือกนี้ ผู้ใช้จะลบประวัติการแชททั้งหมดที่เชื่อมโยงกับการ์ด แต่เซสชันของการ์ดเองจะยังคงทำงานอยู่

ซิงโครไนซ์อินพุต#

ปุ่ม 'Sync Input' ที่อยู่มุมขวาบน ช่วยให้สามารถซิงโครไนซ์อินพุตระหว่างการ์ดแชทที่เปิดใช้งานตัวเลือกนี้ได้ การเปิดใช้งาน 'Sync input' หมายความว่า เมื่อกด 'Enter' หรือคลิกปุ่ม 'Send' บนการ์ดใดก็ตาม อินพุตจากการ์ดที่ผู้ใช้กำลังใช้งานอยู่จะถูกส่งไปยังการ์ดอื่น ๆ ด้วย ฟังก์ชันนี้มีประโยชน์สำหรับการเปรียบเทียบผลลัพธ์ของโมเดลต่าง ๆ โดยใช้ข้อมูลอินพุตเดียวกัน

การปรับพารามิเตอร์#

คลิกปุ่มพารามิเตอร์ที่มุมขวาบนเพื่อปรับพารามิเตอร์สำหรับแต่ละโมเดล ผู้ใช้สามารถตั้งค่าต่าง ๆ เช่น Max Tokens, Temperature, Top P และ Top K ได้ เมื่อใช้คุณสมบัติการซิงโครไนซ์ ผู้ใช้สามารถนำพารามิเตอร์ที่แตกต่างกันไปใช้กับโมเดลเดียวกัน แล้วเปรียบเทียบผลลัพธ์ได้

ประวัติการแชท#

หากต้องการเริ่มแชทใหม่ ให้คลิกปุ่ม '+' ที่อยู่มุมขวาบน

ประวัติการแชททั้งหมดจะถูกจัดเก็บไว้ใน local storage และผู้ใช้สามารถเข้าถึงการแชทก่อนหน้าได้โดยการคลิกปุ่มประวัติที่มุมขวาบน