ฟีเจอร์ผู้ดูแลระบบ#

การเข้าสู่ระบบด้วยบัญชีผู้ดูแลระบบจะเผยให้เห็นเมนู Administration เพิ่มเติมที่ด้านล่างซ้ายของแถบด้านข้าง ข้อมูลผู้ใช้ที่ลงทะเบียนใน Backend.AI จะแสดงในแท็บ Users ผู้ใช้ที่มีบทบาท super-admin สามารถดูข้อมูลของผู้ใช้ทั้งหมด สร้าง และปิดใช้งานผู้ใช้ได้

User ID (อีเมล), ชื่อ (username), บทบาท และคำอธิบาย (User Description) สามารถกรองได้โดยการพิมพ์ข้อความในช่องค้นหา ที่ส่วนหัวของแต่ละคอลัมน์

สร้างและปรับปรุงผู้ใช้#

สามารถสร้างผู้ใช้ได้โดยคลิกปุ่ม '+ สร้างผู้ใช้' โปรดทราบว่ารหัสผ่านต้องมีความยาว 8 ตัวอักษรขึ้นไป และต้องมีตัวอักษร ตัวอักขระพิเศษ และตัวเลขอย่างน้อยอย่างละ 1 ตัว ความยาวสูงสุดที่อนุญาตสำหรับ E-Mail, Username และชื่อเต็ม คือ 64 ตัวอักษร

หากผู้ใช้ที่มีอีเมลหรือชื่อผู้ใช้งานเดียวกันมีอยู่แล้ว จะไม่สามารถสร้างบัญชีผู้ใช้ได้ กรุณาลองใช้อีเมลและชื่อผู้ใช้งานอื่น

ตรวจสอบว่าผู้ใช้ถูกสร้างแล้ว

คลิกปุ่มสีเขียวในคอลัมน์ 'การควบคุม' เพื่อดูข้อมูลผู้ใช้โดยละเอียด คุณยังสามารถตรวจสอบข้อมูลโดเมนและโปรเจกต์ที่ผู้ใช้สังกัดอยู่ได้

คลิกปุ่ม 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' เพื่ออัปเดตข้อมูลของผู้ใช้ที่มีอยู่แล้ว สามารถเปลี่ยนชื่อผู้ใช้ รหัสผ่าน สถานะการเปิดใช้งาน เป็นต้น User ID (อีเมล) ไม่สามารถเปลี่ยนแปลงได้

กล่องโต้ตอบสร้าง/อัปเดตผู้ใช้ประกอบด้วยฟิลด์ต่อไปนี้:

• อีเมล: ที่อยู่อีเมลของผู้ใช้ ใช้เป็น ID สำหรับเข้าสู่ระบบ ไม่สามารถเปลี่ยนแปลงได้หลังจากสร้างแล้ว

• ชื่อผู้ใช้: ตัวระบุเฉพาะของผู้ใช้ (สูงสุด 64 ตัวอักษร)

• ชื่อเต็ม: ชื่อที่แสดงของผู้ใช้ (สูงสุด 64 ตัวอักษร)

• รหัสผ่าน: ต้องมีอย่างน้อย 8 ตัวอักษร และมีตัวอักษร ตัวอักขระพิเศษ และตัวเลขอย่างน้อยอย่างละ 1 ตัว

• คำอธิบาย: คำอธิบายเพิ่มเติมสำหรับผู้ใช้ (สูงสุด 500 ตัวอักษร)

• สถานะผู้ใช้: แสดงสถานะของผู้ใช้ ผู้ใช้ Inactive ไม่สามารถเข้าสู่ระบบได้ Before Verification เป็นสถานะที่บ่งบอกว่าผู้ใช้ต้องดำเนินการเพิ่มเติมเพื่อเปิดใช้งานบัญชี เช่น การยืนยันอีเมลหรือการอนุมัติจากผู้ดูแลระบบ ผู้ใช้ Inactive จะแสดงแยกในแท็บ Inactive

  

• บทบาท: บทบาทของผู้ใช้ (user, admin, superadmin) ตัวเลือกที่มีจะขึ้นอยู่กับสิทธิ์ของผู้ใช้ปัจจุบัน

• โดเมน: โดเมนที่ผู้ใช้สังกัด สามารถกำหนดหรือแก้ไขได้ทั้งขณะสร้างผู้ใช้ใหม่และแก้ไขผู้ใช้

• โปรเจกต์: เลือกโปรเจกต์หนึ่งรายการขึ้นไปที่ผู้ใช้จะสังกัด โปรเจกต์ที่มีจะขึ้นอยู่กับโดเมนที่เลือก

• ต้องเปลี่ยนรหัสผ่าน: หากผู้ดูแลระบบเลือกรหัสผ่านแบบสุ่มขณะสร้างผู้ใช้เป็นกลุ่ม ฟิลด์นี้สามารถตั้งค่าเป็น ON เพื่อบ่งบอกว่าจำเป็นต้องเปลี่ยนรหัสผ่าน ผู้ใช้จะเห็นแถบด้านบนที่แจ้งให้อัปเดตรหัสผ่าน แต่นี่เป็นเพียงแฟล็กอธิบายซึ่งไม่มีผลต่อการใช้งานจริง

• เปิดใช้งานเซสชัน sudo: อนุญาตให้ผู้ใช้ใช้ sudo ในเซสชันการคำนวณ สิ่งนี้มีประโยชน์เมื่อผู้ใช้ต้องติดตั้งแพ็กเกจหรือรันคำสั่งที่ต้องใช้สิทธิ์ root อย่างไรก็ตาม ไม่แนะนำให้เปิดใช้ตัวเลือกนี้สำหรับผู้ใช้ทุกคน เนื่องจากอาจทำให้เกิดปัญหาด้านความปลอดภัย

• 2FA Enabled: แฟล็กที่บ่งบอกว่าผู้ใช้ใช้การยืนยันตัวตนแบบสองปัจจัยหรือไม่ เมื่อใช้การยืนยันตัวตนแบบสองปัจจัย ผู้ใช้จะต้องกรอกรหัส OTP เพิ่มเติมเมื่อเข้าสู่ระบบ ผู้ดูแลระบบสามารถปิดการยืนยันตัวตนแบบสองปัจจัยของผู้ใช้อื่นได้เท่านั้น

• นโยบายทรัพยากร: ตั้งแต่ Backend.AI เวอร์ชัน 24.09 คุณสามารถเลือกนโยบายทรัพยากรผู้ใช้ที่ผู้ใช้สังกัดได้ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับนโยบายทรัพยากรผู้ใช้ โปรดดูที่ส่วน นโยบายทรัพยากรผู้ใช้

• IP ไคลเอนต์ที่อนุญาต: จำกัดที่อยู่ IP ที่สามารถเข้าถึงระบบโดยใช้บัญชีผู้ใช้นี้ ป้อนที่อยู่ IP หรือ CIDR (เช่น 10.20.30.40, 10.20.30.0/24) หากเว้นว่างไว้ อนุญาตให้เข้าถึงจาก IP ใดก็ได้

• UID คอนเทนเนอร์: User ID ตัวเลขที่กำหนดให้กับกระบวนการภายในคอนเทนเนอร์ มีประโยชน์เมื่อคอนเทนเนอร์ต้องตรงกับ UID เฉพาะสำหรับวัตถุประสงค์ด้านสิทธิ์ไฟล์

• GID คอนเทนเนอร์: Group ID ตัวเลขเริ่มต้นที่กำหนดให้กับกระบวนการภายในคอนเทนเนอร์

• GID เสริม: Group ID ตัวเลขเพิ่มเติมที่กำหนดให้กับกระบวนการคอนเทนเนอร์ ป้อน GID หลายตัวโดยคั่นด้วยเครื่องหมายจุลภาค

• คีย์การเข้าถึงหลัก: (แก้ไขเท่านั้น) เลือกคีย์การเข้าถึงหลักที่ใช้สำหรับการยืนยันตัวตน API จากคีย์แพร์ของผู้ใช้

สร้างผู้ใช้แบบกลุ่ม#

เมื่อคุณต้องการสร้างบัญชีผู้ใช้หลายบัญชีพร้อมกัน คุณสามารถใช้ฟีเจอร์สร้างผู้ใช้ แบบกลุ่มได้ บน Manager 26.2.0 ขึ้นไป ปุ่มดรอปดาวน์จุดไข่ปลา (...) จะปรากฏ ข้างปุ่ม สร้างผู้ใช้ ในหน้า Users คลิกปุ่มดรอปดาวน์นี้แล้วเลือก สร้างผู้ใช้แบบกลุ่ม เพื่อเปิดไดอะล็อกการสร้างแบบกลุ่ม

ไดอะล็อกการสร้างแบบกลุ่มประกอบด้วยฟิลด์ต่อไปนี้ แบนเนอร์แจ้งเตือนที่ด้านบนของ ไดอะล็อกจะอธิบายว่าอีเมลและชื่อผู้ใช้จะถูกสร้างโดยอัตโนมัติโดยเติมเลขลำดับแบบ zero-padded ต่อท้ายส่วนนำหน้า

• ส่วนที่อยู่ก่อน @ ของอีเมล: ส่วนนำหน้าของที่อยู่อีเมลที่สร้างโดยอัตโนมัติ ใช้ได้เฉพาะตัวอักษร ตัวเลข จุด ยัติภังค์ หรือขีดล่างเท่านั้น (สูงสุด 30 ตัวอักษร)
• ส่วนต่อท้ายอีเมล (หลัง @): ส่วนโดเมนของที่อยู่อีเมลที่สร้างโดยอัตโนมัติ ฟิลด์นี้จะแสดงเครื่องหมาย @ นำหน้าโดยอัตโนมัติ (สูงสุด 30 ตัวอักษร)
• จำนวนผู้ใช้: จำนวนบัญชีผู้ใช้ที่ต้องการสร้าง (1 ถึง 100) ด้านล่างฟิลด์นี้จะ แสดงตัวอย่างอีเมลที่จะสร้างแบบเรียลไทม์ หากมี 4 คนหรือน้อยกว่าจะแสดงอีเมล ทั้งหมด หากมากกว่า 4 คนจะแสดง 2 รายการแรก จุดไข่ปลา และรายการสุดท้าย (เช่น student01@example.com, student02@example.com ... student10@example.com)
• รหัสผ่าน: รหัสผ่านเริ่มต้นที่ใช้ร่วมกันสำหรับผู้ใช้ทั้งหมดที่สร้าง กฎรหัสผ่าน เดียวกันกับการสร้างผู้ใช้แบบเดี่ยวจะถูกนำมาใช้ (อย่างน้อย 8 ตัวอักษร ประกอบด้วย ตัวอักษร อักขระพิเศษ และตัวเลขอย่างน้อยอย่างละ 1 ตัว)
• ต้องเปลี่ยนรหัสผ่าน: ตั้งค่าเริ่มต้นเป็น ON สำหรับการสร้างแบบกลุ่ม เมื่อเปิดใช้งาน ผู้ใช้แต่ละคนจะได้รับแจ้งให้เปลี่ยนรหัสผ่านเมื่อเข้าสู่ระบบครั้งแรก
• โดเมน: โดเมนที่ผู้ใช้ที่สร้างจะสังกัดอยู่
• ฟิลด์อื่นๆ เช่น บทบาท, สถานะ, นโยบายทรัพยากร และ โปรเจกต์ จะเหมือนกับการสร้างผู้ใช้แบบเดี่ยว

ชื่อผู้ใช้และที่อยู่อีเมลจะถูกสร้างโดยอัตโนมัติตามส่วนนำหน้าและส่วนต่อท้ายที่คุณระบุ เช่น หากคุณตั้งส่วนนำหน้าอีเมลเป็น student ส่วนต่อท้ายอีเมลเป็น example.com และจำนวนผู้ใช้เป็น 10 บัญชีต่อไปนี้จะถูกสร้างขึ้น:

ปิดใช้งานบัญชีผู้ใช้#

การลบบัญชีผู้ใช้ไม่ได้รับอนุญาตแม้แต่สำหรับ superadmin เพื่อติดตามสถิติการใช้งาน ต่อผู้ใช้ การเก็บรักษาเมตริก และป้องกันการสูญเสียบัญชีโดยไม่ตั้งใจ แทนที่จะเป็นเช่นนั้น ผู้ดูแลระบบสามารถปิดใช้งานบัญชีผู้ใช้เพื่อป้องกันไม่ให้ผู้ใช้เข้าสู่ระบบได้ คลิกไอคอน ลบในคอลัมน์ 'การควบคุม' ป๊อปโอเวอร์สำหรับยืนยันจะปรากฏขึ้น และคุณสามารถ ปิดใช้งานผู้ใช้ได้โดยคลิกปุ่ม Deactivate

หากต้องการเปิดใช้งานผู้ใช้อีกครั้ง ไปที่แท็บ Users - Inactive และเลือกสถานะของ ผู้ใช้เป้าหมายเป็น Active

จัดการคีย์แพร์ของผู้ใช้#

โดยปกติบัญชีผู้ใช้แต่ละบัญชีจะมีคีย์แพร์หนึ่งรายการหรือมากกว่า คีย์แพร์ใช้สำหรับ ยืนยันตัวตนผ่าน API ไปยังเซิร์ฟเวอร์ Backend.AI หลังจากที่ผู้ใช้เข้าสู่ระบบ การเข้าสู่ระบบ ต้องมีการยืนยันตัวตนผ่านอีเมลและรหัสผ่านของผู้ใช้ แต่ทุกคำขอที่ผู้ใช้ส่งไปยัง เซิร์ฟเวอร์จะได้รับการยืนยันตัวตนตามคีย์แพร์

ผู้ใช้สามารถมีคีย์แพร์หลายรายการได้ แต่เพื่อลดภาระของผู้ใช้ในการจัดการคีย์แพร์ ปัจจุบันเราใช้คีย์แพร์เพียงหนึ่งรายการของผู้ใช้ในการส่งคำขอเท่านั้น นอกจากนี้ เมื่อคุณสร้างผู้ใช้ใหม่ คีย์แพร์จะถูกสร้างโดยอัตโนมัติ ดังนั้นคุณจึง ไม่จำเป็นต้องสร้างและกำหนดคีย์แพร์ด้วยตนเองในกรณีส่วนใหญ่

คีย์แพร์สามารถแสดงในแท็บ Credentials ของหน้า Users คีย์แพร์ที่ใช้งานอยู่จะแสดง ทันที และหากต้องการดูคีย์แพร์ที่ไม่ได้ใช้งาน ให้คลิกแผง Inactive ที่ด้านล่าง

เช่นเดียวกับในแท็บ Users คุณสามารถใช้ปุ่มในคอลัมน์ 'การควบคุม' เพื่อดูหรือ อัปเดตรายละเอียดคีย์แพร์ คลิกปุ่มไอคอนข้อมูลสีเขียวเพื่อดูรายละเอียดเฉพาะของคีย์แพร์ หากจำเป็น คุณสามารถคัดลอก secret key ได้โดยคลิกปุ่มคัดลอก

คุณสามารถแก้ไขนโยบายทรัพยากรและ rate limit ของคีย์แพร์ได้โดยคลิกปุ่ม 'การตั้งค่า' สีน้ำเงิน โปรดทราบว่าหากค่า 'Rate Limit' น้อยเกินไป การดำเนินการ API เช่น การเข้าสู่ระบบอาจถูกบล็อก

คุณสามารถปิดใช้งานหรือเปิดใช้งานคีย์แพร์ได้โดยคลิกปุ่ม 'Deactivate' สีแดง หรือปุ่ม 'Activate' สีดำในคอลัมน์การควบคุม ต่างจากแท็บ User แท็บ Inactive อนุญาตให้ลบคีย์แพร์อย่างถาวรได้ อย่างไรก็ตาม คุณไม่สามารถลบคีย์แพร์อย่างถาวรได้หากคีย์แพร์นั้นกำลังถูกใช้เป็นคีย์การเข้าถึงหลักของผู้ใช้

หากคุณลบคีย์แพร์โดยไม่ได้ตั้งใจ คุณสามารถสร้างคีย์แพร์ใหม่สำหรับผู้ใช้ได้โดย คลิกปุ่ม '+ ADD CREDENTIAL' ที่มุมบนขวา

ฟิลด์ Rate Limit เป็นฟิลด์สำหรับระบุจำนวนคำขอสูงสุดที่สามารถส่งไปยังเซิร์ฟเวอร์ Backend.AI ได้ใน 15 นาที ตัวอย่างเช่น หากตั้งค่าเป็น 1000 และคีย์แพร์ส่งคำขอ API มากกว่า 1000 ครั้งใน 15 นาที เซิร์ฟเวอร์จะส่งข้อผิดพลาดและไม่ยอมรับคำขอ แนะนำให้ใช้ค่าเริ่มต้นและเพิ่มขึ้นเมื่อความถี่ของคำขอ API สูงขึ้น ตามรูปแบบของผู้ใช้

แชร์โฟลเดอร์จัดเก็บของโปรเจกต์กับสมาชิกในโปรเจกต์#

Backend.AI ให้บริการโฟลเดอร์จัดเก็บสำหรับโปรเจกต์ นอกเหนือจากโฟลเดอร์จัดเก็บ ส่วนตัวของผู้ใช้ โฟลเดอร์จัดเก็บของโปรเจกต์คือโฟลเดอร์ที่เป็นของโปรเจกต์เฉพาะ ไม่ใช่ของผู้ใช้เฉพาะ และผู้ใช้ทั้งหมดในโปรเจกต์นั้นสามารถเข้าถึงได้

ขั้นแรก เข้าสู่ระบบด้วยบัญชีผู้ดูแลระบบและสร้างโฟลเดอร์โปรเจกต์ หลังจากย้ายไปยัง หน้า Data ให้คลิก 'Create Folder' เพื่อเปิดกล่องโต้ตอบการสร้างโฟลเดอร์ ป้อนชื่อโฟลเดอร์และตั้งค่าประเภทเป็น Project เมื่อตั้งค่าประเภทเป็น Project โฟลเดอร์จะถูกกำหนดให้โปรเจกต์ที่เลือกในตัวเลือกโปรเจกต์ในส่วนหัวโดยอัตโนมัติ สิทธิ์จะถูกตั้งค่าเป็น Read-Only

หลังจากยืนยันว่าโฟลเดอร์ถูกสร้างขึ้นแล้ว ให้เข้าสู่ระบบด้วยบัญชีของ User B และ ตรวจสอบว่าโฟลเดอร์โปรเจกต์ที่เพิ่งสร้างในหน้า Data & Storage แสดงขึ้นโดย ไม่ต้องมีขั้นตอนการเชิญ คุณจะเห็นว่า R (Read Only) ยังแสดงในแผง Permission

จัดการการ์ดโมเดล#

การ์ดโมเดลใน Model Store จะถูกสร้างและจัดการผ่านอินเทอร์เฟซ การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ การ์ดโมเดลแต่ละใบจะเชื่อมโยงกับโฟลเดอร์จัดเก็บ (vfolder) ที่มีไฟล์โมเดลจริง

การตั้งค่าโฟลเดอร์ Model Store#

ขั้นแรก ตั้งค่าโปรเจกต์เป็น model-store

ไปที่หน้าข้อมูลและคลิกปุ่ม สร้างโฟลเดอร์ กำหนดค่าโฟลเดอร์ดังต่อไปนี้:

• โหมดการใช้งาน: Model
• ประเภท: Project
• สิทธิ์: Read-Write

หลังจากสร้างโฟลเดอร์แล้ว ให้ดาวน์โหลดไฟล์โมเดลลงในโฟลเดอร์ คุณสามารถเมาท์โฟลเดอร์โมเดลระหว่างการสร้างเซสชันและใช้เครื่องมืออย่าง huggingface-cli เพื่อดาวน์โหลดน้ำหนักโมเดล

เมื่อโฟลเดอร์และไฟล์โมเดลพร้อมแล้ว ให้สร้างการ์ดโมเดลผ่านอินเทอร์เฟซ การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ และเชื่อมโยงกับโฟลเดอร์นี้

ไฟล์กำหนดโมเดล (ขั้นสูง — Custom Runtime)#

สำหรับ runtime variant Custom คุณสามารถวางไฟล์ model-definition.yaml ในโฟลเดอร์โมเดลได้ ไฟล์นี้จะบอก Backend.AI ว่าจะเริ่มต้นและดำเนินการ inference server อย่างไรระหว่างการให้บริการ — รวมถึงคำสั่งเริ่มต้น การตั้งค่า health check และการดำเนินการก่อนเริ่ม เช่น การดาวน์โหลดน้ำหนักโมเดล

ต่อไปนี้คือตัวอย่าง model-definition.yaml สำหรับการเริ่ม vLLM server ด้วย variant Custom:

models:
  - name: "Llama-3.1-8B-Instruct"
    model_path: "/models/Llama-3.1-8B-Instruct"
    service:
      pre_start_actions:
        - action: run_command
          args:
            command:
              - huggingface-cli
              - download
              - --local-dir
              - /models/Llama-3.1-8B-Instruct
              - --token
              - hf_****
              - meta-llama/Llama-3.1-8B-Instruct
      start_command:
        - /usr/bin/python
        - -m
        - vllm.entrypoints.openai.api_server
        - --model
        - /models/Llama-3.1-8B-Instruct
        - --served-model-name
        - Llama-3.1-8B-Instruct
        - --tensor-parallel-size
        - "1"
        - --host
        - "0.0.0.0"
        - --port
        - "8000"
        - --max-model-len
        - "4096"
      port: 8000
      health_check:
        path: /v1/models
        max_retries: 500

สำหรับคำอธิบายรูปแบบไฟล์กำหนดโมเดลอย่างละเอียด โปรดดูที่ คู่มือการกำหนดโมเดล ในเอกสารการให้บริการโมเดล

การให้บริการโมเดล#

หน้า Admin Deployments#

ผู้ดูแลระบบและผู้ดูแลระบบขั้นสูงสามารถเข้าถึงหน้า Admin Deployments ที่ /admin-deployments ซึ่งให้มุมมองข้ามโปรเจกต์ของการปรับใช้ทั้งหมดในคลัสเตอร์ หน้านี้แสดงคอลัมน์ โปรเจกต์ เพิ่มเติมจากคอลัมน์รายการการปรับใช้มาตรฐาน ช่วยให้ผู้ดูแลระบบจัดการการปรับใช้ข้ามทุกโปรเจกต์

หน้า Admin Deployments มีได้สูงสุดสี่แท็บ:

• การปรับใช้: แสดงเสมอ แสดงรายการการปรับใช้ข้ามทุกโปรเจกต์ พร้อมตัวกรองวงจรชีวิตและคุณสมบัติเดียวกับหน้าการปรับใช้สำหรับผู้ใช้
• การจัดการร้านค้าโมเดล: แสดงเสมอ มีให้เฉพาะผู้ดูแลระบบขั้นสูง ดูส่วนการจัดการคลังโมเดลสำหรับผู้ดูแลระบบด้านล่าง
• Prometheus Preset: ให้ผู้ดูแลระบบจัดการพรีเซ็ตคิวรี Prometheus ที่ใช้ซ้ำได้ ดูรายละเอียดที่ส่วนพรีเซ็ตคิวรี Prometheusด้านล่าง
• ค่าตั้งล่วงหน้าการปรับใช้: ให้ผู้ดูแลระบบจัดการพรีเซ็ตการดีพลอยที่ใช้ซ้ำได้ ซึ่งผู้ใช้ปลายทางสามารถนำไปใช้ตอนดีพลอยโมเดล ดูรายละเอียดที่ส่วนพรีเซ็ตการดีพลอยด้านล่าง

การจัดการคลังโมเดลสำหรับผู้ดูแลระบบ#

ผู้ดูแลระบบขั้นสูงสามารถจัดการการ์ดโมเดลผ่านแท็บ Model Store Management ในหน้า Admin Deployments

รายการมีคอลัมน์ต่อไปนี้:

• ชื่อ (Name): ตัวระบุเฉพาะของการ์ดโมเดล
• ชื่อเรื่อง (Title): ชื่อที่แสดงผลซึ่งมนุษย์อ่านได้
• หมวดหมู่ (Category): หมวดหมู่โมเดล (เช่น LLM)
• งาน (Task): ประเภทงาน inference (เช่น text-generation)
• ระดับการเข้าถึง (Access Level): แสดงแท็ก Public สีเขียวเมื่อการ์ดโมเดลเข้าถึงได้แบบสาธารณะ หรือแท็ก Private แบบเริ่มต้นเมื่อเป็นแบบส่วนตัว
• โดเมน (Domain): โดเมนที่เป็นเจ้าของการ์ดโมเดล
• โปรเจกต์ (Project): โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล
• สร้างเวลา (Created At): เวลาที่สร้างการ์ดโมเดล

คุณสามารถจำกัดรายการให้แคบลงได้โดยใช้แถบตัวกรองคุณสมบัติที่ด้านบน ซึ่งรองรับการกรองตามคุณสมบัติต่อไปนี้:

• ชื่อ (Name): กรองตามชื่อของการ์ดโมเดล (จับคู่สตริง)
• โดเมน (Domain): กรองตามโดเมนที่เป็นเจ้าของ (จับคู่สตริง)
• โปรเจกต์ (Project): กรองตาม UUID ของโปรเจกต์ที่เป็นเจ้าของ
• Storage Host: กรองตาม storage host ของโฟลเดอร์ที่เชื่อมโยง โดยใช้ตัวดำเนินการเท่ากับหรือไม่เท่ากับพร้อมค่าที่ป้อนเอง

ไอคอนแก้ไขและลบจะแสดงอยู่ในเซลล์ชื่อของแต่ละแถวโดยตรง

หากต้องการลบการ์ดโมเดลหลายรายการในคราวเดียว ให้เลือกแถวที่ต้องการลบโดยใช้ช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก กล่องโต้ตอบยืนยันจะปรากฏขึ้นก่อนที่การ์ดจะถูกลบ

การสร้างการ์ดโมเดล#

คลิกปุ่ม Create Model Card เพื่อเปิดโมดอลการสร้าง กรอกฟิลด์ต่อไปนี้:

• ชื่อ (Name) (จำเป็น): ตัวระบุเฉพาะสำหรับการ์ดโมเดล

• ชื่อเรื่อง (Title): ชื่อที่แสดงที่มนุษย์อ่านได้

• คำอธิบาย (Description): คำอธิบายรายละเอียดของโมเดล

• ผู้เขียน (Author): ผู้สร้างโมเดลหรือองค์กร

• เวอร์ชันโมเดล (Model Version): เวอร์ชันของโมเดล

• งาน (Task): ประเภท task inference (เช่น text-generation)

• หมวดหมู่ (Category): หมวดหมู่โมเดล (เช่น LLM)

• เฟรมเวิร์ก (Framework): ML framework ที่ใช้ (เช่น PyTorch, TensorFlow)

• ป้ายกำกับ (Label): แท็กสำหรับการจัดหมวดหมู่และการกรอง

• สัญญาอนุญาต (License): สัญญาอนุญาตที่โมเดลถูกเผยแพร่

• สถาปัตยกรรม (Architecture): สถาปัตยกรรมโมเดล (เช่น Transformer)

• README: README มาร์กดาวน์สำหรับโมเดล

• โดเมน (Domain): โดเมนที่จะเชื่อมโยงการ์ดโมเดล

• Project ID (จำเป็น): โปรเจกต์ที่เป็นเจ้าของการ์ดโมเดล

• VFolder (จำเป็น): โฟลเดอร์จัดเก็บที่มีไฟล์โมเดล

• ระดับการเข้าถึง (Access Level): ควบคุมว่าใครสามารถเห็นการ์ดโมเดลใน Model Store สำหรับผู้ใช้

  • Internal: มองเห็นได้เฉพาะผู้ดูแลระบบของโดเมนและโปรเจกต์ที่เป็นเจ้าของเท่านั้น ผู้ใช้ทั่วไปจะไม่เห็นการ์ด Internal ใน Model Store ของตน
  • Public: มองเห็นได้โดยผู้ใช้ทุกคนที่มีสิทธิ์เข้าถึงโปรเจกต์ที่เป็นเจ้าของ

การแก้ไขการ์ดโมเดล#

คลิกไอคอนแก้ไขถัดจากชื่อการ์ดโมเดลเพื่อแก้ไขการ์ดโมเดลที่มีอยู่ โมดอลแก้ไขจะเปิดขึ้นพร้อมฟิลด์ที่ป้อนไว้ก่อนหน้านี้

การลบการ์ดโมเดล#

คุณสามารถลบการ์ดโมเดลแต่ละรายการโดยคลิกไอคอนลบถัดจากชื่อการ์ด หรือทำการลบจำนวนมากโดยเลือกการ์ดโมเดลหลายรายการด้วยช่องทำเครื่องหมาย จากนั้นคลิกปุ่มถังขยะสีแดงถัดจากจำนวนที่เลือก

กล่องโต้ตอบยืนยันการลบมีตัวเลือก ลบโฟลเดอร์โมเดลที่เกี่ยวข้องด้วย ด้วย:

• เมื่อเลือกตัวเลือกนี้ ระบบจะย้ายโฟลเดอร์จัดเก็บ (vfolder) ที่เชื่อมโยงกับการ์ดโมเดลไปยังถังขยะพร้อมกับการลบการ์ดโมเดล การแจ้งเตือนของถังขยะจะปรากฏขึ้นเพื่อให้ผู้ดูแลระบบขั้นสูงยืนยันว่าโฟลเดอร์ที่เชื่อมโยงถูกส่งไปยังถังขยะแล้ว และสามารถกู้คืนโฟลเดอร์ได้จาก Data > ขยะ หากจำเป็น โปรดทราบว่าการลบโฟลเดอร์ที่เชื่อมโยงจะลบการ์ดโมเดลทุกใบที่ใช้งานโฟลเดอร์เดียวกันนั้นด้วย
• เมื่อไม่เลือกตัวเลือกนี้ ระบบจะลบเฉพาะข้อมูลการ์ดโมเดลเท่านั้น โดยโฟลเดอร์จัดเก็บที่เชื่อมโยงจะยังคงอยู่และสามารถนำไปใช้กับการ์ดโมเดลอื่นได้

พฤติกรรมเดียวกันนี้ใช้กับ การลบจำนวนมาก ด้วย (ป้ายตัวเลือกจะเปลี่ยนเป็น ลบโฟลเดอร์โมเดลที่เกี่ยวข้องทั้งหมดด้วย) เมื่อเลือกตัวเลือกนี้ โฟลเดอร์จัดเก็บที่เชื่อมโยงกับการ์ดโมเดลแต่ละรายการที่เลือกจะถูกย้ายไปยังถังขยะ และจะมีการแจ้งเตือนของถังขยะแสดงขึ้นสำหรับโฟลเดอร์แต่ละโฟลเดอร์ที่ถูกย้าย

พรีเซ็ตการดีพลอย#

พรีเซ็ตการดีพลอย (Deployment Preset) คือชุดค่าตั้งต้นที่ใช้ซ้ำได้สำหรับการดีพลอยโมเดล โดยรวมถึง image, runtime, resource slots, cluster mode, environment variables, startup command, จำนวน replica, ระดับการเผยแพร่ และค่าเริ่มต้นอื่น ๆ ผู้ดูแลระบบเป็นผู้กำหนดพรีเซ็ตเหล่านี้ไว้ล่วงหน้า เพื่อให้ผู้ใช้ทั่วไปนำไปใช้ได้ตอนสร้าง deployment ของโมเดลจากโฟลเดอร์จัดเก็บ ผู้ดูแลระบบสามารถเผยแพร่ชุดรูปแบบการดีพลอยที่ผ่านการตรวจสอบแล้ว เช่น vLLM-GPU-Large หรือ SGLang-CPU-Small เพื่อให้ผู้ใช้สามารถดีพลอยโมเดลได้โดยไม่ต้องเลือกฟิลด์ขั้นสูงทุกตัวเอง

พรีเซ็ตการดีพลอยคืออะไร#

พรีเซ็ตการดีพลอยเก็บค่าเริ่มต้นของการดีพลอยโมเดลไว้เพื่อให้:

• ผู้ดูแลระบบ สามารถจัดเตรียมแคตาล็อกของรูปแบบการดีพลอยที่ผ่านการตรวจสอบและสอดคล้องกับฮาร์ดแวร์และนโยบายขององค์กรให้กับผู้ใช้
• ผู้ใช้ทั่วไป เลือกพรีเซ็ตได้ขณะดีพลอยโมเดลจากหน้า Data ผ่านขั้นตอน สร้าง Deployment ใหม่ด้วย Preset โดยไม่ต้องกรอกฟิลด์ขั้นสูงด้วยตนเอง
• ผู้ดูแลการใช้งาน มั่นใจได้ว่า deployment ที่ใช้ในงานจริงทั่วทั้งองค์กรใช้การจัดสรรทรัพยากร, runtime และค่าเริ่มต้นด้านการเผยแพร่ที่สอดคล้องกัน

เมื่อสร้าง deployment จากพรีเซ็ต ค่าของพรีเซ็ตจะถูกเติมในฟอร์ม deployment launcher โดยอัตโนมัติ ผู้ใช้สามารถตรวจสอบและแก้ไขค่าเหล่านี้ก่อนยืนยันการดีพลอย

แต่ละพรีเซ็ตจะเก็บข้อมูลต่อไปนี้:

• ข้อมูลพื้นฐาน (Basic Info): ชื่อ คำอธิบาย runtime และอันดับการแสดงผล (rank)
• อิมเมจ (Image): คอนเทนเนอร์อิมเมจที่ใช้ดีพลอย
• ทรัพยากร (Resources): resource slots (CPU, memory, GPU), หน่วยความจำที่แชร์ (SHM) และตัวเลือกทรัพยากร
• คลัสเตอร์ (Cluster): cluster mode (Single-Node หรือ Multi-Node) และขนาดคลัสเตอร์
• การเรียกใช้งาน (Execution): startup command, environment variables และ bootstrap script
• ค่าเริ่มต้นของการดีพลอย (Deployment Defaults): จำนวน replica, จำนวน revision ที่เก็บไว้ และค่าเริ่มต้นของ Open to Public
• ขั้นสูง (Advanced): JSON ของ model definition เมื่อจำเป็นสำหรับ runtime แบบ Custom

การจัดการพรีเซ็ตการดีพลอย#

เฉพาะผู้ดูแลระบบเท่านั้นที่สามารถสร้าง แก้ไข หรือลบพรีเซ็ตการดีพลอยได้ ผู้ดูแลระบบจัดการพรีเซ็ตเหล่านี้ได้จากแท็บ พรีเซ็ตการดีพลอย ในหน้า การปรับใช้ของผู้ดูแลระบบ

มุมมองรายการจะแสดงแต่ละพรีเซ็ตพร้อมชื่อ, runtime, image, อันดับการแสดงผล และฟิลด์ทรัพยากรสำคัญ ผู้ดูแลระบบสามารถทำสิ่งต่อไปนี้จากรายการนี้ได้:

• กรองพรีเซ็ตด้วยชื่อ, runtime หรือแท็ก
• คลิกชิปแท็กในแถวใดก็ได้เพื่อกรองรายการให้แสดงเฉพาะพรีเซ็ตที่มีแท็กเดียวกัน
• เปิดหน้ารายละเอียดของพรีเซ็ตเพื่อดูการตั้งค่าทั้งหมด
• สร้าง แก้ไข หรือลบพรีเซ็ต

สร้างพรีเซ็ตการดีพลอย#

1. คลิกปุ่ม สร้างค่าตั้งล่วงหน้า ที่มุมขวาบนของรายการพรีเซ็ต

2. กรอกฟิลด์ในไดอะล็อก สร้างค่าตั้งล่วงหน้า ซึ่งจัดเป็นส่วนต่าง ๆ ดังนี้:

   • ข้อมูลพื้นฐาน:
     • ชื่อ: ชื่อพรีเซ็ตที่ไม่ซ้ำกัน (เช่น vLLM-GPU-Large)
     • คำอธิบาย: สรุปสั้น ๆ เกี่ยวกับการใช้งานพรีเซ็ตนี้
     • Runtime: runtime variant (เช่น vLLM, SGLang หรือ Custom)
     • อันดับการแสดงผล: ลำดับการแสดงผลในกลุ่มพรีเซ็ตของ runtime เดียวกัน ค่าน้อยจะแสดงก่อน
   • อิมเมจ: คอนเทนเนอร์อิมเมจที่จะใช้ดีพลอย
   • ทรัพยากร: resource slots (CPU, memory, GPU), หน่วยความจำที่แชร์ และตัวเลือกทรัพยากร (คู่ key/value)
   • คลัสเตอร์: cluster mode (Single-Node หรือ Multi-Node) และขนาดคลัสเตอร์
   • การเรียกใช้งาน: startup command, environment variables และ bootstrap script
   • ค่าเริ่มต้นของการดีพลอย:
     • จำนวน Replica: จำนวน replica เริ่มต้นสำหรับ deployment ที่สร้างจากพรีเซ็ตนี้
     • จำนวน Revision ที่เก็บไว้: จำนวน revision ก่อนหน้าที่ถูกเก็บไว้สำหรับแต่ละ deployment ที่สร้างจากพรีเซ็ตนี้
     • Open to Public: ค่าเริ่มต้นว่า endpoint ของ deployment ที่สร้างจากพรีเซ็ตนี้สามารถเข้าถึงได้โดยไม่ต้องใช้ access token หรือไม่
   • ขั้นสูง (ตัวเลือกเสริม): JSON ของ model definition สำหรับ runtime แบบ Custom

   

3. คลิก สร้างค่าตั้งล่วงหน้า เพื่อบันทึก ระบบจะแสดงการแจ้งเตือนเมื่อสร้างพรีเซ็ตสำเร็จ

แก้ไขพรีเซ็ตการดีพลอย#

1. จากรายการพรีเซ็ต ให้เปิดเมนูการกระทำของแถวพรีเซ็ต (หรือเปิดหน้ารายละเอียดของพรีเซ็ต) แล้วเลือก แก้ไขค่าตั้งล่วงหน้า
2. ไดอะล็อก แก้ไขค่าตั้งล่วงหน้า จะเปิดขึ้นพร้อมเติมค่าปัจจุบันของพรีเซ็ตไว้ล่วงหน้า ส่วนต่าง ๆ ที่ใช้ได้จะเหมือนกับไดอะล็อก สร้างค่าตั้งล่วงหน้า
3. ปรับค่าตามต้องการ แล้วคลิก แก้ไขค่าตั้งล่วงหน้า เพื่อบันทึก

การแก้ไขพรีเซ็ตจะเปลี่ยนเฉพาะค่าเริ่มต้นของ deployment ที่จะสร้าง ในอนาคต เท่านั้น deployment ที่สร้างจากพรีเซ็ตนี้อยู่แล้วจะไม่ถูกแก้ไข

ลบพรีเซ็ตการดีพลอย#

1. จากรายการพรีเซ็ต (หรือหน้ารายละเอียดของพรีเซ็ต) ให้เปิดเมนูการกระทำของพรีเซ็ต แล้วเลือก ลบค่าตั้งล่วงหน้า
2. ไดอะล็อกยืนยันแบบพิมพ์ชื่อจะปรากฏขึ้นและขอให้คุณพิมพ์ชื่อพรีเซ็ตเพื่อยืนยัน ปุ่ม OK จะถูกปิดใช้งานจนกว่าค่าที่พิมพ์จะตรงกับชื่อพรีเซ็ตอย่างถูกต้องทุกประการ
3. พิมพ์ชื่อพรีเซ็ต แล้วคลิก OK เพื่อยืนยัน

การใช้พรีเซ็ตเมื่อดีพลอยโมเดล#

ผู้ใช้ทั่วไปจะใช้พรีเซ็ตการดีพลอยผ่านโมดอล VFolder Deploy ซึ่งจะเปิดขึ้นเมื่อคุณดีพลอยโมเดลจากโฟลเดอร์จัดเก็บในหน้า Data

1. ในหน้า Data ค้นหาโฟลเดอร์โมเดลที่ต้องการดีพลอย แล้วคลิก Deploy as Service

2. โมดอล VFolder Deploy จะเปิดขึ้นและแสดงรายการพรีเซ็ตการดีพลอยที่ใช้งานได้สำหรับโปรเจกต์ของคุณ

3. คลิกแถวพรีเซ็ตเพื่อเปิดหน้า รายละเอียดพรีเซ็ตการปรับใช้ หน้านี้จะแสดงทุกฟิลด์ที่พรีเซ็ตจะนำไปใช้ ทั้ง image, runtime, ทรัพยากร, cluster mode, จำนวน replica, การเผยแพร่ และอื่น ๆ

   

4. จากหน้ารายละเอียด เลือกวิธีดำเนินการต่อ:

   • Auto-deploy: สร้าง deployment ทันทีโดยใช้ค่าของพรีเซ็ตตามที่กำหนดไว้ เป็นเส้นทางที่เร็วที่สุด เนื่องจาก deployment ถูกสร้างขึ้นด้วยการคลิกเพียงครั้งเดียวโดยไม่ต้องป้อนข้อมูลเพิ่มเติม
   • Manual deploy (สร้าง Deployment ใหม่ด้วย Preset): เปิด deployment launcher โดยเติมทุกฟิลด์จากพรีเซ็ตล่วงหน้า ทำให้คุณสามารถตรวจสอบและปรับแต่งก่อนยืนยันได้

ฟิลด์ของ Launcher ที่ถูกเติมไว้ล่วงหน้า#

เมื่อคุณเลือกเส้นทาง Manual deploy, deployment launcher จะเปิดขึ้นโดยเติมทุกฟิลด์จากพรีเซ็ตที่เลือกล่วงหน้า ดังนี้:

• อิมเมจ, runtime variant และ resource group
• Resource slots, หน่วยความจำที่แชร์ และตัวเลือกทรัพยากร
• Cluster mode และขนาดคลัสเตอร์
• Startup command และ environment variables
• จำนวน replica, จำนวน revision ที่เก็บไว้ และค่า Open to Public
• resource preset ที่ถูกเลือกอัตโนมัติ และจะคงอยู่ตลอดกระบวนการกำหนดค่าเริ่มต้นของ launcher

คุณสามารถแก้ไขฟิลด์ที่ถูกเติมไว้ก่อนทำการดีพลอย การแก้ไขฟิลด์ จะไม่ เปลี่ยนพรีเซ็ตต้นทาง แต่จะเปลี่ยนเฉพาะค่าที่ใช้สำหรับ deployment ครั้งนี้เท่านั้น ค่าเริ่มต้นของพรีเซ็ตยังคงไม่เปลี่ยนแปลงสำหรับการดีพลอยในอนาคต

การกรองด้วยแท็ก#

ทั้งรายการพรีเซ็ตของผู้ใช้และรายการพรีเซ็ตของผู้ดูแลระบบรองรับ ชิปแท็กที่คลิกได้ ซึ่งจะกรองรายการให้แสดงเฉพาะพรีเซ็ตที่ใช้แท็กเดียวกัน

1. ค้นหาแถวพรีเซ็ตที่มีแท็กที่คุณต้องการใช้กรอง
2. คลิกชิปแท็กในแถวนั้น
3. รายการจะรีเฟรชโดยแสดงเฉพาะพรีเซ็ตที่มีแท็กที่เลือกไว้ ฟิลเตอร์ที่ใช้งานอยู่จะแสดงในแถบตัวกรอง คลิกเพื่อล้างฟิลเตอร์และกลับไปยังรายการทั้งหมด

วิธีนี้มีประโยชน์เมื่อคุณมีพรีเซ็ตจำนวนมากและต้องการกรองอย่างรวดเร็ว เช่น พรีเซ็ตที่ใช้ GPU ทั้งหมด หรือพรีเซ็ตของ runtime family ที่ระบุ

Prometheus Preset#

Backend.AI ช่วยให้ผู้ดูแลระบบสามารถกำหนด พรีเซตคำสั่ง Prometheus ที่นำกลับมาใช้ใหม่ได้ ซึ่งกฎ Auto Scaling และฟีเจอร์การมอนิเตอร์อื่น ๆ สามารถอ้างอิงด้วยชื่อพรีเซตได้ พรีเซตหนึ่ง ๆ จะรวมชื่อเมตริก เทมเพลตคำสั่ง PromQL ช่วงเวลาที่เลือกได้ และป้ายกำกับตัวกรอง / ป้ายกำกับกลุ่มที่เลือกได้เข้าไว้ด้วยกัน เพื่อให้ผู้ปฏิบัติงานไม่ต้องพิมพ์คำสั่งเดิมซ้ำสำหรับแต่ละกฎ

พรีเซตเหล่านี้จัดการได้จากแท็บ Prometheus Preset บนหน้า การปรับใช้ของผู้ดูแลระบบ (/admin-deployments?tab=prometheus-preset)

รายการและตัวกรอง#

ตารางพรีเซตจะแสดงพรีเซตคำสั่ง Prometheus ทั้งหมดในคลัสเตอร์ แต่ละแถวจะแสดงข้อมูลต่อไปนี้

• ชื่อ: ตัวระบุพรีเซตที่ไม่ซ้ำกันและอ่านง่ายสำหรับมนุษย์ เซลล์นี้ยังมีการกระทำแบบอินไลน์ แก้ไข และ ลบ ด้วย
• ID: ตัวระบุภายในของพรีเซต
• ชื่อเมตริก: เมตริกที่พรีเซตนี้รายงาน (ใช้เป็นป้ายแสดงผลโดยผู้บริโภค เช่น กฎ Auto Scaling)
• เทมเพลตคำสั่ง: นิพจน์ PromQL ที่จะถูกเรียกใช้ เซลล์นี้ คัดลอกได้ โดยวางเมาส์เหนือค่าแล้วคลิกไอคอนคัดลอกเพื่อคัดลอกเทมเพลตทั้งหมดไปยังคลิปบอร์ด มีประโยชน์เมื่อต้องการวางเทมเพลตในหน้า Prometheus UI เพื่อตรวจสอบผลลัพธ์
• ช่วงเวลา: ช่วงเวลามองย้อนกลับเริ่มต้น (เช่น 5m) ที่ใช้เมื่อคำสั่งอ้างอิง range vector
• หมวดหมู่: หมวดหมู่ที่เลือกได้ที่พรีเซตอยู่ (พร้อมชื่อหมวดหมู่ที่แก้ค่าแล้วและรหัสหมวดหมู่)
• ตัวเลือก: ป้ายกำกับตัวกรอง และ ป้ายกำกับกลุ่ม ที่เลือกได้ ซึ่งผู้บริโภคสามารถนำมาใช้บนพรีเซตได้
• สร้างเมื่อ / อัปเดตเมื่อ: ตราเวลาที่เซิร์ฟเวอร์ดูแลให้โดยอัตโนมัติ

คุณสามารถค้นหาและจำกัดรายการได้ด้วยตัวกรองคุณสมบัติด้านบนของตาราง และคลิกหัวคอลัมน์ใด ๆ เพื่อเปลี่ยนลำดับการเรียง

การจดจำการตั้งค่าคอลัมน์#

ตารางมีตัวควบคุมการตั้งค่าคอลัมน์ที่ให้คุณซ่อนคอลัมน์ที่ไม่ต้องการและจัดลำดับคอลัมน์ที่แสดงใหม่ได้ ตัวเลือกของคุณจะ คงอยู่ข้ามเซสชัน ต่อเบราว์เซอร์ ดังนั้นตารางจะเปิดขึ้นด้วยเลย์เอาต์ที่คุณต้องการในครั้งถัดไปที่คุณเยี่ยมชมแท็บนี้ การรีเซ็ตการตั้งค่าคอลัมน์จะคืนค่ากลับเป็นเลย์เอาต์เริ่มต้นของ Backend.AI

สร้างพรีเซต#

คลิก เพิ่มพรีเซต ที่ด้านบนขวาของตารางเพื่อเปิดโมดอล สร้างพรีเซต

โมดอลประกอบด้วยฟิลด์ต่อไปนี้

• ชื่อ: ชื่อที่ไม่ซ้ำกันของพรีเซต ต้องไม่ซ้ำกันในพรีเซตคำสั่ง Prometheus ทั้งหมด
• คำอธิบาย: คำอธิบายแบบอิสระที่แสดงควบคู่กับพรีเซตในตัวเลือก
• หมวดหมู่: หมวดหมู่ที่เลือกได้สำหรับจัดกลุ่มพรีเซตที่เกี่ยวข้อง ปล่อยว่างเพื่อให้เป็น ไม่มีหมวดหมู่
• ชื่อเมตริก: ป้ายเมตริกที่ผู้บริโภค (เช่น กฎ Auto Scaling) จะแสดง
• เทมเพลตคำสั่ง: นิพจน์ PromQL ที่จะถูกเรียกใช้ ขณะที่คุณพิมพ์ พื้นที่ ตัวอย่างแบบสด ใต้ฟิลด์จะแสดงค่าที่เทมเพลตที่คุณกำลังเขียนตอบกลับจากอินสแตนซ์ Prometheus เพื่อให้คุณตรวจสอบได้ว่าเทมเพลตทำงานก่อนบันทึก ตัวอย่างถูก debounce และอัปเดตอัตโนมัติเมื่อคุณแก้ไข
• ช่วงเวลา: หน้าต่าง range vector เริ่มต้น เช่น 5m ปล่อยว่างหากคำสั่งไม่ใช้ range vector
• ป้ายกำกับตัวกรอง: รายการตัวเลือกป้ายกำกับที่เลือกได้ ซึ่งผู้บริโภคสามารถนำมาใช้บนพรีเซตได้
• ป้ายกำกับกลุ่ม: รายการป้ายกำกับที่เลือกได้สำหรับจัดกลุ่มผลลัพธ์ของคำสั่ง

คลิก สร้าง เพื่อบันทึกพรีเซต เมื่อสำเร็จ พรีเซตจะปรากฏในรายการและจะแสดงทอสต์ยืนยัน

แก้ไขพรีเซต#

คลิกการกระทำ แก้ไข ในเซลล์ ชื่อ ของแถวพรีเซตเพื่อเปิดโมดอล แก้ไขพรีเซต โมดอลจะถูกเติมล่วงหน้าด้วยค่าปัจจุบันของพรีเซตและมีฟิลด์เดียวกันกับไดอะล็อกสร้าง รวมถึงพื้นที่ตัวอย่างแบบสดสำหรับเทมเพลตคำสั่ง

คลิก บันทึก เพื่อใช้การเปลี่ยนแปลงของคุณ ผู้บริโภคของพรีเซต (เช่น กฎ Auto Scaling ที่อ้างอิงพรีเซต) จะรับเทมเพลตคำสั่งใหม่โดยอัตโนมัติในครั้งถัดไปที่ประเมินเมตริก

ลบพรีเซต#

คลิกการกระทำ ลบ ในเซลล์ ชื่อ ของแถวพรีเซตเพื่อเปิดโมดอลยืนยันการลบ

เนื่องจากการลบไม่สามารถย้อนกลับได้ ไดอะล็อกจึงกำหนดให้คุณ พิมพ์ชื่อพรีเซต ลงในช่องป้อนยืนยันก่อนที่ปุ่ม ลบ จะถูกเปิดใช้งาน รูปแบบการยืนยันด้วยการพิมพ์นี้ (BAIConfirmModalWithInput) ถูกใช้อย่างสม่ำเสมอทั่วทั้ง Backend.AI สำหรับการลบถาวร พิมพ์ชื่อพรีเซตที่แสดงในชื่อไดอะล็อกให้ตรงและคลิก ลบ เพื่อยืนยัน

จัดการนโยบายทรัพยากร#

นโยบายทรัพยากรคีย์แพร์#

ใน Backend.AI ผู้ดูแลระบบมีความสามารถในการกำหนดขีดจำกัดของทรัพยากรทั้งหมดที่พร้อมใช้งานสำหรับแต่ละคีย์แพร์ ผู้ใช้ และโปรเจกต์ นโยบายทรัพยากรช่วยให้คุณกำหนดทรัพยากรสูงสุดที่อนุญาตและการตั้งค่าอื่นๆ ที่เกี่ยวข้องกับเซสชันการคำนวณได้ นอกจากนี้ ยังสามารถสร้างนโยบายทรัพยากรหลายรายการสำหรับความต้องการที่แตกต่างกัน เช่น ข้อกำหนดของผู้ใช้หรือการวิจัย และนำไปใช้เป็นรายบุคคลได้

หน้านโยบายทรัพยากรช่วยให้ผู้ดูแลระบบสามารถดูรายการของนโยบายทรัพยากรที่ลงทะเบียนทั้งหมด ผู้ดูแลระบบสามารถตรวจสอบนโยบายทรัพยากรที่กำหนดไว้สำหรับคีย์แพร์ ผู้ใช้ และโปรเจกต์ได้โดยตรงในหน้านี้ มาเริ่มกันด้วยการตรวจสอบนโยบายทรัพยากรสำหรับคีย์แพร์ ในภาพด้านล่างมีนโยบาย ทั้งหมด 3 รายการ (gardener, student, default) สัญลักษณ์อินฟินิตี้ (∞) บ่งบอกว่าไม่มีข้อจำกัดทรัพยากรที่ใช้กับทรัพยากรเหล่านั้น

บัญชีผู้ใช้ที่ใช้ในคู่มือนี้ได้รับการกำหนดให้ใช้นโยบายทรัพยากร default ในปัจจุบัน ซึ่งสามารถตรวจสอบได้ในแท็บ Credentials ของหน้า Users คุณยังสามารถยืนยันได้ว่านโยบายทรัพยากรทั้งหมดถูกตั้งค่าเป็น default ในแผงนโยบายทรัพยากร

หากต้องการแก้ไขนโยบายทรัพยากร ให้คลิก 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' ของ กลุ่มนโยบาย default ในกล่องโต้ตอบ Update Resource Policy ทุกตัวเลือก สามารถแก้ไขได้ยกเว้นชื่อนโยบาย (Policy Name) ซึ่งทำหน้าที่เป็นคีย์หลักสำหรับ แยกแยะนโยบายทรัพยากรในรายการ ยกเลิกการเลือกช่องทำเครื่องหมาย Unlimited ที่ด้านล่างของ CPU, RAM และ fGPU และตั้งค่าขีดจำกัดทรัพยากรตามค่าที่ต้องการ ตรวจสอบให้แน่ใจว่าทรัพยากรที่จัดสรรน้อยกว่าความจุฮาร์ดแวร์ทั้งหมด ในกรณีนี้ ตั้งค่า CPU, RAM และ fGPU เป็น 2, 4 และ 1 ตามลำดับ คลิกปุ่ม OK เพื่อนำนโยบายทรัพยากรที่อัปเดตไปใช้

สำหรับรายละเอียดของแต่ละตัวเลือกในกล่องโต้ตอบนโยบายทรัพยากร โปรดดูคำอธิบายด้านล่าง

• นโยบายทรัพยากร

  • CPU: ระบุจำนวนคอร์ CPU สูงสุด (ค่าสูงสุด: 512)
  • Memory: ระบุปริมาณหน่วยความจำสูงสุดเป็น GB ควรตั้งค่าหน่วยความจำให้ใหญ่เป็น สองเท่าของค่าสูงสุดของหน่วยความจำ GPU (ค่าสูงสุด: 1024)
  • CUDA-capable GPU: ระบุจำนวน GPU จริงสูงสุด หาก fractional GPU ถูกเปิดใช้งาน โดยเซิร์ฟเวอร์ การตั้งค่านี้จะไม่มีผล (ค่าสูงสุด: 64)
  • CUDA-capable GPU (fractional): Fractional GPU (fGPU) คือการแบ่ง GPU เดียวเป็น หลายพาร์ติชันเพื่อใช้ GPU ได้อย่างมีประสิทธิภาพ โปรดสังเกตว่าปริมาณ fGPU ขั้นต่ำที่ต้องการจะแตกต่างกันไปตามแต่ละอิมเมจ หาก fractional GPU ไม่ได้เปิดใช้งาน โดยเซิร์ฟเวอร์ การตั้งค่านี้จะไม่มีผล (ค่าสูงสุด: 256)

• Sessions

  • Cluster Size: ตั้งค่าขีดจำกัดสูงสุดของจำนวน multi-container หรือ multi-node ที่สามารถกำหนดค่าได้เมื่อสร้างเซสชัน
  • Session Lifetime (วินาที): จำกัดอายุการใช้งานสูงสุดของเซสชันการคำนวณ ตั้งแต่การจองในสถานะใช้งาน รวมถึงสถานะ PENDING และ RUNNING หลังจากเวลานี้ เซสชันจะถูกบังคับยุติ แม้ว่าจะใช้งานเต็มที่ สิ่งนี้มีประโยชน์ในการป้องกันเซสชัน จากการทำงานอย่างไม่มีกำหนด
  • Max Pending Session Count: จำนวนเซสชันการคำนวณสูงสุดที่สามารถอยู่ใน สถานะ PENDING พร้อมกันได้
  • Concurrent Jobs: จำนวนเซสชันการคำนวณพร้อมกันสูงสุดต่อคีย์แพร์ ตัวอย่างเช่น หากตั้งค่าเป็น 3 ผู้ใช้ที่ผูกกับนโยบายทรัพยากรนี้ ไม่สามารถสร้างเซสชันการคำนวณพร้อมกันเกิน 3 เซสชัน (ค่าสูงสุด: 100)
  • Idle timeout (วินาที): ช่วงเวลาที่สามารถกำหนดค่าได้ที่ผู้ใช้สามารถ ปล่อยเซสชันของตนไว้โดยไม่ได้แตะต้อง หากไม่มีกิจกรรมใดๆ บนเซสชัน การคำนวณเป็นเวลานานถึง idle timeout เซสชันจะถูก garbage collect และถูกทำลายโดยอัตโนมัติ เกณฑ์ของ "ความไม่ใช้งาน" สามารถเป็น ได้หลากหลายและกำหนดโดยผู้ดูแลระบบ (ค่าสูงสุด: 15552000 (ประมาณ 180 วัน))
  • Max Concurrent SFTP Sessions: จำนวนเซสชัน SFTP พร้อมกันสูงสุด

• โฟลเดอร์

  • Allowed hosts: Backend.AI รองรับ NFS mountpoint หลายตัว ฟิลด์นี้จำกัด ความสามารถในการเข้าถึง แม้ว่าจะมี NFS ชื่อ "data-1" ที่เมาท์อยู่ บน Backend.AI ผู้ใช้ก็ไม่สามารถเข้าถึงได้เว้นแต่จะได้รับอนุญาตโดยนโยบายทรัพยากร
  • (เลิกใช้แล้วตั้งแต่ 23.09.4) Max. #: จำนวนโฟลเดอร์จัดเก็บสูงสุดที่ สามารถสร้าง/เชิญได้ (ค่าสูงสุด: 100)

ในรายการนโยบายทรัพยากรคีย์แพร์ ตรวจสอบว่าค่า Resources ของนโยบาย default ถูกอัปเดตแล้ว

คุณสามารถสร้างนโยบายทรัพยากรใหม่ได้โดยคลิกปุ่ม '+ Create' ค่าการตั้งค่าแต่ละค่า เหมือนกับที่อธิบายไว้ข้างต้น

หากต้องการสร้างนโยบายทรัพยากรและเชื่อมโยงกับคีย์แพร์ ให้ไปที่แท็บ Credentials ของหน้า Users คลิกปุ่มเฟืองที่อยู่ใน คอลัมน์ 'การควบคุม' ของคีย์แพร์ที่ต้องการ และคลิกฟิลด์ Select Policy เพื่อ เลือกนโยบาย

คุณยังสามารถลบคีย์แพร์ทรัพยากรแต่ละรายการได้โดยคลิกไอคอนถังขยะ ในคอลัมน์ 'การควบคุม' เมื่อคุณคลิกไอคอน ป๊อปอัปยืนยันจะปรากฏขึ้น คลิกปุ่ม 'Delete' เพื่อลบ

หากคุณต้องการซ่อนหรือแสดงคอลัมน์เฉพาะ ให้คลิก 'การตั้งค่า' ที่มุมล่างขวาของ ตาราง สิ่งนี้จะแสดงกล่องโต้ตอบที่คุณสามารถเลือกคอลัมน์ที่ต้องการแสดงได้

นโยบายทรัพยากรผู้ใช้#

ตั้งแต่เวอร์ชัน 24.03 เป็นต้นไป Backend.AI รองรับการจัดการนโยบายทรัพยากรผู้ใช้ แม้ว่าผู้ใช้แต่ละคน สามารถมีคีย์แพร์หลายรายการได้ แต่ผู้ใช้สามารถมีนโยบายทรัพยากรผู้ใช้ได้เพียงนโยบายเดียว ในหน้านโยบายทรัพยากรผู้ใช้ ผู้ใช้สามารถตั้งข้อจำกัดในการตั้งค่าต่างๆ ที่เกี่ยวข้องกับโฟลเดอร์ เช่น Max Folder Count และ Max Folder Size รวมถึงขีดจำกัดทรัพยากรแต่ละรายการเช่น Max Session Count Per Model Session และ Max Customized Image Count

หากต้องการสร้างนโยบายทรัพยากรผู้ใช้ใหม่ ให้คลิกปุ่ม Create

• Name: ชื่อของนโยบายทรัพยากรผู้ใช้
• Max Folder Count: จำนวนโฟลเดอร์สูงสุดที่ผู้ใช้สามารถสร้างได้ หากจำนวนโฟลเดอร์ของผู้ใช้เกินค่านี้ ผู้ใช้จะไม่สามารถสร้างโฟลเดอร์ใหม่ได้ หากตั้งค่าเป็น Unlimited จะแสดงเป็น "∞"
• Max Folder Size: ขนาดสูงสุดของพื้นที่จัดเก็บของผู้ใช้ หาก พื้นที่จัดเก็บของผู้ใช้เกินค่านี้ ผู้ใช้จะไม่สามารถสร้างโฟลเดอร์ ข้อมูลใหม่ได้ หากตั้งค่าเป็น Unlimited จะแสดงเป็น "∞"
• Max Session Count Per Model Session: จำนวนเซสชันสูงสุดที่พร้อมใช้งานต่อ model service ที่สร้างโดยผู้ใช้ การเพิ่มค่านี้อาจทำให้ session scheduler มีภาระงานหนักและอาจทำให้ระบบหยุดทำงาน ดังนั้นโปรดระมัดระวังเมื่อ ปรับการตั้งค่านี้
• Max Customized Image Count: จำนวนอิมเมจที่ปรับแต่งสูงสุดที่ ผู้ใช้สามารถสร้างได้ หากจำนวนอิมเมจที่ปรับแต่งของผู้ใช้เกินค่านี้ ผู้ใช้จะไม่สามารถสร้างอิมเมจที่ปรับแต่งใหม่ได้ หากคุณต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับ อิมเมจที่ปรับแต่ง โปรดดูที่ส่วน My Environments

หากต้องการอัปเดต ให้คลิกปุ่ม 'การตั้งค่า' ในคอลัมน์การควบคุม หากต้องการลบ ให้คลิกปุ่ม ถังขยะ

เช่นเดียวกับนโยบายทรัพยากรคีย์แพร์ ผู้ใช้สามารถเลือกและแสดงเฉพาะคอลัมน์ที่ต้องการโดย คลิกปุ่ม 'การตั้งค่า' ที่มุมล่างขวาของตาราง

นโยบายทรัพยากรโปรเจกต์#

ตั้งแต่เวอร์ชัน 24.03 Backend.AI รองรับการจัดการนโยบายทรัพยากรโปรเจกต์ นโยบายทรัพยากรโปรเจกต์จัดการพื้นที่จัดเก็บ (โควตา) และข้อจำกัดที่เกี่ยวข้องกับโฟลเดอร์สำหรับโปรเจกต์

เมื่อคลิกแท็บ 'โปรเจกต์' ของหน้า 'นโยบายทรัพยากร' คุณจะเห็นรายการนโยบายทรัพยากรโปรเจกต์

หากต้องการสร้างนโยบายทรัพยากรโปรเจกต์ใหม่ ให้คลิกปุ่ม '+ สร้าง' ที่มุมบนขวาของตาราง

• ชื่อ: ชื่อของนโยบายทรัพยากรโปรเจกต์
• จำนวนโฟลเดอร์สูงสุด: จำนวนโฟลเดอร์โปรเจกต์สูงสุดที่ผู้ดูแลระบบสามารถสร้างได้ หากจำนวนโฟลเดอร์โปรเจกต์เกินค่านี้ ผู้ดูแลระบบจะไม่สามารถสร้างโฟลเดอร์โปรเจกต์ใหม่ได้ หากตั้งค่าเป็น Unlimited จะแสดงเป็น "∞"
• ขนาดโฟลเดอร์สูงสุด: ขนาดสูงสุดของพื้นที่จัดเก็บโปรเจกต์ หากพื้นที่จัดเก็บเกินค่านี้ ผู้ดูแลระบบจะไม่สามารถสร้างโฟลเดอร์โปรเจกต์ใหม่ได้ หากตั้งค่าเป็น Unlimited จะแสดงเป็น "∞"
• จำนวนเครือข่ายสูงสุด: จำนวนเครือข่ายสูงสุดที่สามารถสร้างสำหรับโปรเจกต์ได้ตั้งแต่ Backend.AI เวอร์ชัน 24.12 หากตั้งค่าเป็น Unlimited จะแสดงเป็น "∞"

ความหมายของแต่ละฟิลด์คล้ายกับนโยบายทรัพยากรผู้ใช้ ความแตกต่างคือนโยบายทรัพยากรโปรเจกต์จะใช้กับโฟลเดอร์โปรเจกต์ ในขณะที่นโยบายทรัพยากรผู้ใช้จะใช้กับโฟลเดอร์ผู้ใช้

หากต้องการเปลี่ยนแปลง ให้คลิกปุ่ม 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' ชื่อนโยบายทรัพยากรไม่สามารถแก้ไขได้ การลบสามารถทำได้โดยคลิกปุ่มไอคอนถังขยะ

คุณสามารถเลือกและแสดงเฉพาะคอลัมน์ที่ต้องการโดยคลิกปุ่ม 'การตั้งค่า' ที่มุมล่างขวาของตาราง

หากต้องการบันทึกรายการนโยบายทรัพยากรปัจจุบันเป็นไฟล์ CSV ให้ใช้การดำเนินการ ส่งออก CSV (Export CSV) ที่ มุมล่างขวาของตาราง ซึ่งใช้ได้กับแท็บนโยบายทรัพยากร Keypair, User และ Project เหมือนกัน ตัวควบคุมการส่งออก CSV ถูกย้ายจากบริเวณส่วนหัวไปยังแถบเครื่องมือที่มุมล่างขวาของตาราง เพื่อให้สอดคล้องกับรายการอื่น ๆ ของผู้ดูแลระบบ

มุมมองรวมสำหรับเซสชันที่รอดำเนินการ#

ตั้งแต่ Backend.AI เวอร์ชัน 25.13.0 เป็นต้นไป มุมมองรวมสำหรับเซสชันที่รอดำเนินการจะพร้อมใช้งานในเมนูผู้ดูแลระบบ หน้า Admin Session จะแสดงมุมมองรวมของเซสชันที่รอดำเนินการทั้งหมดภายใน กลุ่มทรัพยากรที่เลือก หมายเลขดัชนีที่แสดงถัดจากสถานะจะระบุตำแหน่งในคิว ที่เซสชันจะถูกสร้างเมื่อมีทรัพยากรเพียงพอ

เช่นเดียวกับหน้า Session คุณสามารถคลิกชื่อเซสชันเพื่อเปิด drawer ที่แสดง ข้อมูลรายละเอียดเกี่ยวกับเซสชันได้

ตัวจัดตาราง Fair Share#

ตั้งแต่ Backend.AI core เวอร์ชัน 26.2.0 เป็นต้นไป หน้า Fair Share Scheduler จะพร้อมใช้งาน ในเมนู Administration ฟีเจอร์นี้ช่วยให้ผู้ดูแลระบบสามารถจัดการน้ำหนักการจัดตาราง Fair Share ตามโครงสร้างลำดับชั้นของกลุ่มทรัพยากร โดเมน โปรเจกต์ และผู้ใช้

การจัดตาราง Fair Share จะจัดสรรทรัพยากรการคำนวณโดยอิงจากรูปแบบการใช้งานในอดีต เพื่อให้มั่นใจว่าทรัพยากรจะถูกกระจายอย่างเป็นธรรมในหมู่ผู้ใช้ ผู้ใช้ที่ใช้ ทรัพยากรน้อยในอดีตจะได้รับลำดับความสำคัญในการจัดตารางสูงกว่า ในขณะที่ผู้ใช้ ที่ใช้มากกว่าจะได้รับลำดับความสำคัญต่ำกว่า ผู้ดูแลระบบสามารถปรับแต่งพฤติกรรมนี้ ได้โดยการปรับน้ำหนักในแต่ละระดับของลำดับชั้น

หากต้องการเข้าถึงฟีเจอร์นี้ ให้คลิกเมนู Scheduler ในส่วน Administration ของแถบด้านข้าง หน้าจะแสดงแท็บการตั้งค่า Fair Share พร้อมอินเทอร์เฟซ drill-down 4 ขั้นตอน

หน้าถูกจัดระเบียบเป็น 4 ขั้นตอนตามลำดับชั้น:

1. กลุ่มทรัพยากร: กำหนดค่าพารามิเตอร์หลักของ Fair Share สำหรับแต่ละกลุ่มทรัพยากร
2. โดเมน: ตั้งค่าน้ำหนักสำหรับโดเมนภายในกลุ่มทรัพยากร
3. โปรเจกต์: ตั้งค่าน้ำหนักสำหรับโปรเจกต์ภายในโดเมน
4. ผู้ใช้: ตั้งค่าน้ำหนักสำหรับผู้ใช้แต่ละคนภายในโปรเจกต์

แถบตัวบ่งชี้ขั้นตอนที่ด้านบนของหน้าจะแสดงตำแหน่งปัจจุบันในลำดับชั้น ขั้นตอนที่เสร็จสิ้นจะแสดงชื่อของรายการที่เลือก คุณสามารถคลิกที่ขั้นตอนที่ เสร็จสิ้นเพื่อย้อนกลับไปยังระดับนั้นได้

หากกลุ่มทรัพยากรที่เลือกไม่ได้ตั้งค่าประเภทตัวจัดตารางเป็น FAIR_SHARE จะมีการแจ้งเตือนเป็นคำเตือนว่า Fair Share Scheduler ไม่ได้เปิดใช้งานสำหรับ กลุ่มทรัพยากรนั้น

ในแต่ละขั้นตอน ฟีเจอร์ทั่วไปต่อไปนี้พร้อมใช้งาน:

• การกรอง: ใช้ตัวกรองค้นหาตามคุณสมบัติเพื่อจำกัดผลลัพธ์ตามชื่อ ในขั้นตอนผู้ใช้ จะมีตัวกรองเพิ่มเติมสำหรับอีเมลและสถานะการใช้งาน
• การเรียงลำดับ: คลิกส่วนหัวคอลัมน์เพื่อเรียงลำดับตารางตามคอลัมน์นั้น
• การแบ่งหน้า: นำทางผ่านผลลัพธ์พร้อมขนาดหน้าที่กำหนดค่าได้
• รีเฟรชอัตโนมัติ: ข้อมูลจะรีเฟรชอัตโนมัติทุก 7 วินาที ปุ่มรีเฟรชด้วยตนเองก็พร้อมใช้งานเช่นกัน

กลุ่มทรัพยากร#

ขั้นตอนกลุ่มทรัพยากรจะแสดงตารางของกลุ่มทรัพยากรทั้งหมดพร้อมการกำหนดค่า Fair Share

ตารางประกอบด้วยคอลัมน์ต่อไปนี้:

• ชื่อ: ชื่อกลุ่มทรัพยากร คลิกชื่อเพื่อ drill down ไปยังการตั้งค่าระดับโดเมนของกลุ่มทรัพยากรนั้น
• ตัวควบคุม: ปุ่มตั้งค่า (เฟือง) ที่เปิด modal การตั้งค่า Fair Share ของกลุ่มทรัพยากร
• การจัดสรร: การใช้ทรัพยากรแสดงการใช้งาน/ความจุสำหรับแต่ละประเภททรัพยากรที่จัดสรรให้กลุ่มทรัพยากร (เช่น CPU, Memory, CUDA GPU)
• น้ำหนักทรัพยากร: น้ำหนักตามประเภททรัพยากร แสดง "ค่าเริ่มต้น" หากใช้น้ำหนักเริ่มต้น
• น้ำหนักเริ่มต้น: ค่าน้ำหนักสำรองสำหรับโดเมน โปรเจกต์ และผู้ใช้ที่ไม่ได้กำหนดน้ำหนัก
• หน่วยการลดทอน: ช่วงเวลา (เป็นวัน) สำหรับรวบรวมการใช้งาน
• ครึ่งชีวิต: ช่วงเวลา (เป็นวัน) ที่อัตราการสะท้อนการใช้งานลดลงครึ่งหนึ่ง
• ช่วงเวลาย้อนหลัง: ช่วง (เป็นวัน) ของประวัติการใช้งานที่สะท้อนในการคำนวณ

การตั้งค่า Fair Share ของกลุ่มทรัพยากร#

คลิกปุ่มตั้งค่า (เฟือง) ในคอลัมน์ตัวควบคุมของกลุ่มทรัพยากรเพื่อเปิด modal การตั้งค่า Fair Share

modal ประกอบด้วยฟิลด์ต่อไปนี้:

• กลุ่มทรัพยากร: ฟิลด์อ่านอย่างเดียวที่แสดงชื่อกลุ่มทรัพยากร
• ครึ่งชีวิต: ช่วงเวลาที่อัตราการสะท้อนการใช้งานลดลงครึ่งหนึ่ง ระบุเป็นวัน (ขั้นต่ำ 1) ตัวอย่างเช่น หากตั้งเป็น 7 วัน การใช้งานเมื่อ 7 วันก่อนจะคำนวณที่ 50% และการใช้งานเมื่อ 14 วันก่อนที่ 25% แนะนำให้ตั้งค่าเป็นพหุคูณของหน่วยการลดทอน
• ช่วงเวลาย้อนหลัง: ช่วงของประวัติการใช้งานที่สะท้อนในการคำนวณ Fair Share ระบุเป็นวัน (ขั้นต่ำ 1) การใช้งานก่อนช่วงเวลานี้จะถูกยกเว้นจากการคำนวณ แนะนำให้ตั้งค่าเป็นพหุคูณของครึ่งชีวิต
• น้ำหนักเริ่มต้น: ค่าเริ่มต้นที่ใช้กับโดเมน โปรเจกต์ และผู้ใช้ที่ไม่ได้กำหนดน้ำหนัก (ขั้นต่ำ 1, ขั้น 0.1)
• น้ำหนักทรัพยากร: น้ำหนักตามประเภททรัพยากร (เช่น CPU, Memory, GPU) แต่ละรายการมีค่าขั้นต่ำ 1 และขั้น 0.1 ส่วนนี้จะแสดงเฉพาะเมื่อกลุ่มทรัพยากรมีน้ำหนักทรัพยากรเท่านั้น

โดเมน#

หลังจากเลือกกลุ่มทรัพยากร ขั้นตอนโดเมนจะแสดงตารางของโดเมนพร้อมน้ำหนัก Fair Share และการใช้งานภายในกลุ่มทรัพยากรนั้น

ตารางประกอบด้วยคอลัมน์ต่อไปนี้:

• ชื่อ: ชื่อโดเมน คลิกชื่อเพื่อ drill down ไปยังการตั้งค่าระดับโปรเจกต์ของโดเมนนั้น
• ตัวควบคุม: ปุ่มตั้งค่า (เฟือง) ที่เปิด modal การตั้งค่าน้ำหนักของโดเมนนี้
• น้ำหนัก: ค่าน้ำหนักปัจจุบัน แสดง "ค่าเริ่มต้น" หากใช้น้ำหนักเริ่มต้น
• ตัวคูณการแบ่งสัดส่วนอย่างเป็นธรรม: ลำดับความสำคัญในการจัดตารางที่คำนวณโดยตัวจัดตาราง ค่าที่สูงกว่าหมายถึงลำดับความสำคัญที่สูงกว่า
• การจัดสรรทรัพยากร: การใช้ทรัพยากรเฉลี่ยต่อวันที่ถูกลดทอนตามประเภททรัพยากร (CPU, Memory, GPU / Day)
• แก้ไขเมื่อ: timestamp การแก้ไขครั้งล่าสุด
• สร้างเมื่อ: timestamp การสร้าง

คุณสามารถเลือกหลายแถวโดยใช้ช่องทำเครื่องหมายทางด้านซ้ายของตาราง เมื่อเลือก แถวแล้ว จะมีปุ่มเพิ่มเติม 2 ปุ่มปรากฏขึ้น:

• กราฟการใช้งาน (ไอคอนแผนภูมิ): เปิด modal ประวัติการใช้งานสำหรับรายการที่เลือก
• แก้ไขเป็นกลุ่ม (ไอคอนเฟือง): เปิด modal การตั้งค่าน้ำหนักเพื่อแก้ไขน้ำหนักของรายการที่เลือกทั้งหมดพร้อมกัน

โปรเจกต์#

หลังจากเลือกโดเมน ขั้นตอนโปรเจกต์จะแสดงตารางของโปรเจกต์ที่มีโครงสร้าง คอลัมน์เดียวกันกับขั้นตอนโดเมน คลิกชื่อโปรเจกต์เพื่อ drill down ไปยัง ขั้นตอนผู้ใช้

การดำเนินการเป็นกลุ่มเดียวกัน (กราฟการใช้งานและแก้ไขเป็นกลุ่ม) จะพร้อมใช้งานเมื่อเลือกแถว

ผู้ใช้#

หลังจากเลือกโปรเจกต์ ขั้นตอนผู้ใช้จะแสดงตารางของผู้ใช้แต่ละคนพร้อมน้ำหนัก Fair Share และการใช้งาน

ตารางประกอบด้วยคอลัมน์ต่อไปนี้:

• อีเมล: ที่อยู่อีเมลของผู้ใช้
• ชื่อ: ชื่อของผู้ใช้
• ตัวควบคุม: ปุ่มตั้งค่า (เฟือง) ที่เปิด modal การตั้งค่าน้ำหนักของผู้ใช้นี้
• น้ำหนัก: ค่าน้ำหนักปัจจุบัน แสดง "ค่าเริ่มต้น" หากใช้น้ำหนักเริ่มต้น
• ตัวคูณการแบ่งสัดส่วนอย่างเป็นธรรม: ลำดับความสำคัญในการจัดตารางที่คำนวณโดยตัวจัดตาราง
• การจัดสรรทรัพยากร: การใช้ทรัพยากรเฉลี่ยต่อวันที่ถูกลดทอนตามประเภททรัพยากร
• แก้ไขเมื่อ: timestamp การแก้ไขครั้งล่าสุด
• สร้างเมื่อ: timestamp การสร้าง

การดำเนินการเป็นกลุ่มเดียวกัน (กราฟการใช้งานและแก้ไขเป็นกลุ่ม) จะพร้อมใช้งานเมื่อเลือกแถว

การแก้ไขน้ำหนัก Fair Share#

หากต้องการแก้ไขน้ำหนัก Fair Share สำหรับโดเมน โปรเจกต์ หรือผู้ใช้ ให้คลิกปุ่ม ตั้งค่า (เฟือง) ในคอลัมน์ตัวควบคุมของแถวที่ต้องการ modal การตั้งค่าน้ำหนักจะเปิดขึ้น

ในโหมดแก้ไขเดี่ยว modal จะแสดงชื่อรายการ (อ่านอย่างเดียว) และฟิลด์ป้อนน้ำหนัก

• น้ำหนัก: ตัวคูณฐานที่กำหนดลำดับความสำคัญสำหรับการจัดตารางแบบ Fair Share ยิ่งค่าสูง จะมีลำดับความสำคัญสูงขึ้น ค่าเริ่มต้นคือ "1.0" น้ำหนัก "2.0" จะมีลำดับความสำคัญเป็นสองเท่าของ "1.0" ค่าขั้นต่ำคือ 1 และขั้นคือ 0.1

หากต้องการแก้ไขน้ำหนักของหลายรายการพร้อมกัน ให้เลือกแถวที่ต้องการโดยใช้ช่อง ทำเครื่องหมายในตาราง จากนั้นคลิกปุ่มแก้ไขเป็นกลุ่ม (ไอคอนเฟือง) ในโหมด แก้ไขเป็นกลุ่ม modal จะแสดงรายการแท็กของรายการที่เลือกทั้งหมดและฟิลด์ป้อน น้ำหนักเดียวที่จะใช้กับทุกรายการ

การดูประวัติการใช้งาน#

หากต้องการดูประวัติการใช้งานของโดเมน โปรเจกต์ หรือผู้ใช้ ให้เลือกแถวที่ต้องการ โดยใช้ช่องทำเครื่องหมายในตาราง จากนั้นคลิกปุ่มกราฟการใช้งาน (ไอคอนแผนภูมิ) modal ประวัติการใช้งานจะเปิดขึ้น

modal จะแสดงข้อมูลต่อไปนี้:

• ตัวเลือกช่วงวันที่: เลือกช่วงวันที่สำหรับประวัติการใช้งาน มีพรีเซ็ตสำหรับ 7 วันที่ผ่านมา, 30 วันที่ผ่านมา และ 90 วันที่ผ่านมา
• ปุ่มรีเฟรช: รีเฟรชข้อมูลการใช้งานด้วยตนเอง
• ข้อมูลบริบท: แสดงกลุ่มทรัพยากร โดเมน และโปรเจกต์ (ขึ้นอยู่กับขั้นตอนปัจจุบัน)
• รายการที่เลือก: แสดงเป็นแท็กที่แสดงชื่อของรายการที่เลือก
• แผนภูมิการใช้งาน: แผนภูมิแสดงการใช้ทรัพยากรเฉลี่ยต่อวันในช่วงเวลาที่เลือก

การจัดการอิมเมจ#

ผู้ดูแลระบบสามารถจัดการอิมเมจที่ใช้ในการสร้างเซสชันการคำนวณได้ในแท็บ Images ของหน้า Environments ในแท็บนี้จะแสดงข้อมูลเมตาของอิมเมจทั้งหมดที่อยู่ในเซิร์ฟเวอร์ Backend.AI ในปัจจุบัน คุณสามารถตรวจสอบข้อมูลต่างๆ เช่น registry, สถาปัตยกรรม, namespace, ชื่ออิมเมจ, digest และทรัพยากรขั้นต่ำที่จำเป็นสำหรับแต่ละอิมเมจ สำหรับอิมเมจที่ดาวน์โหลดไปยังโหนดเอเจนต์หนึ่งรายการขึ้นไป จะมีแท็ก installed ในคอลัมน์ Status

รายการอิมเมจจะแสดงคอลัมน์เพิ่มเติมสำหรับข้อมูลอิมเมจที่ละเอียดยิ่งขึ้น:

• สถาปัตยกรรม: สถาปัตยกรรม CPU ของอิมเมจ (เช่น x86_64, aarch64)
• เนมสเปซ: เนมสเปซของอิมเมจภายในรีจิสทรี
• ชื่อภาพฐาน: ชื่อพื้นฐานของอิมเมจ พร้อมแท็กนามแฝงเพื่อให้ระบุตัวตนได้ง่ายขึ้น
• เวอร์ชัน: แท็กเวอร์ชันของอิมเมจ
• แท็ก: แท็กรายละเอียดที่เกี่ยวข้องกับอิมเมจ แสดงเป็นแท็กคู่พร้อมนามแฝง

คุณสามารถเลือกอิมเมจที่ยังไม่ได้ติดตั้งหลายรายการ แล้วคลิกปุ่ม ติดตั้ง เพื่อติดตั้งบนโหนดเอเจนต์ที่มีอยู่พร้อมกัน

คุณสามารถเปลี่ยนข้อกำหนดทรัพยากรขั้นต่ำสำหรับแต่ละอิมเมจได้โดยคลิก 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' แต่ละอิมเมจมีข้อกำหนดฮาร์ดแวร์และทรัพยากร สำหรับการดำเนินการขั้นต่ำ (เช่น สำหรับอิมเมจที่ใช้เฉพาะ GPU จะต้องมีการจัดสรร GPU ขั้นต่ำ) ค่าเริ่มต้นสำหรับปริมาณทรัพยากรขั้นต่ำ จะถูกจัดเตรียมไว้เป็นส่วนหนึ่งของข้อมูลเมตาของอิมเมจ หากมีความพยายามที่จะ สร้างเซสชันการคำนวณด้วยทรัพยากรที่น้อยกว่าปริมาณ ทรัพยากรที่ระบุในแต่ละอิมเมจ คำขอจะถูกปรับเป็น ข้อกำหนดทรัพยากรขั้นต่ำสำหรับอิมเมจโดยอัตโนมัติและสร้างขึ้น ไม่ได้ถูกยกเลิก

นอกจากนี้ คุณยังสามารถเพิ่มหรือแก้ไขแอปที่รองรับสำหรับแต่ละอิมเมจได้โดยคลิกไอคอน 'Apps' ที่อยู่ในคอลัมน์ 'การควบคุม' เมื่อคุณคลิกไอคอน ชื่อของแอปและหมายเลขพอร์ตที่สอดคล้องกันจะถูกแสดงขึ้น

ในอินเทอร์เฟซนี้ คุณสามารถเพิ่มแอปพลิเคชันที่กำหนดเองที่รองรับได้โดยคลิกปุ่ม '+ Add' ด้านล่าง หากต้องการลบแอปพลิเคชัน ให้คลิกปุ่ม 'ถังขยะสีแดง' ทางด้านขวาของแต่ละแถว

หมายเหตุ

คุณต้องติดตั้งอิมเมจใหม่หลังจากเปลี่ยนแอปที่จัดการ

การจัดการ Docker Registry#

คุณสามารถคลิกแท็บ Registries ในหน้า Environments เพื่อดูข้อมูลของ Docker registry ที่เชื่อมต่ออยู่ในปัจจุบัน cr.backend.ai ถูกลงทะเบียนเป็นค่าเริ่มต้น ซึ่งเป็น registry ที่ให้บริการโดย Harbor

คลิกไอคอนรีเฟรชในคอลัมน์ 'การควบคุม' เพื่ออัปเดตข้อมูลเมตาอิมเมจสำหรับ Backend.AI จาก registry ที่เชื่อมต่อ ข้อมูลอิมเมจที่ไม่มีเลเบลสำหรับ Backend.AI จะไม่ถูกอัปเดต

คลิกปุ่ม '+ Add Registry' เพื่อเพิ่ม Docker registry ส่วนตัวของคุณ กล่องโต้ตอบสร้าง registry มีฟิลด์ต่อไปนี้:

• ชื่อรีจิสทรี: ชื่อเฉพาะของ registry (สูงสุด 50 ตัวอักษร) ต้องตรงกับคำนำหน้าที่ใช้ในชื่ออิมเมจที่จัดเก็บใน registry
• URL ทะเบียน: URL ของ registry ต้องมี scheme เช่น http:// หรือ https:// อย่างชัดเจน
• ชื่อผู้ใช้: ตัวเลือก กรอกหากมีการตั้งค่าการยืนยันตัวตนแยกต่างหากใน registry
• รหัสผ่าน: ตัวเลือก เมื่อแก้ไข registry ที่มีอยู่ ให้เลือกช่องทำเครื่องหมาย Change Password เพื่อเปลี่ยน
• ประเภททะเบียน: เลือกประเภทของ registry ประเภทที่รองรับ: docker, harbor, harbor2, github, gitlab, ecr, ecr-public
• ชื่อโครงการ: โปรเจกต์หรือ namespace ใน registry (จำเป็น) สำหรับ GitLab registry ให้ใช้เส้นทางเต็มรวม namespace และชื่อโปรเจกต์
• ข้อมูลเพิ่มเติม: สตริง JSON สำหรับการกำหนดค่าเพิ่มเติมที่จำเป็นสำหรับแต่ละประเภท registry ฟิลด์นี้ใช้ได้ตั้งแต่เวอร์ชัน 24.09.3
• การตรวจสอบ SSL (SSL Verification): เปิดหรือปิดการตรวจสอบใบรับรอง SSL ของ registry เมื่อ Backend.AI เชื่อมต่อ เปิดใช้งานเป็นค่าเริ่มต้น และแนะนำให้คงสถานะนี้ไว้สำหรับ registry ทุกแห่งที่เข้าถึงได้ผ่านอินเทอร์เน็ตสาธารณะ ปิดการใช้งานเฉพาะกรณีที่ registry ใช้ใบรับรองแบบลงนามด้วยตนเอง (self-signed) ภายในสภาพแวดล้อมภายในที่เชื่อถือได้และคุณได้ตรวจสอบเส้นทางเครือข่ายแล้วเท่านั้น การปิดการตรวจสอบจะทำให้การเชื่อมต่อเสี่ยงต่อการโจมตีแบบคนกลาง (man-in-the-middle)

การกำหนดค่า GitLab Container Registry#

เมื่อเพิ่ม GitLab container registry คุณต้องระบุ api_endpoint ในฟิลด์ Extra Information เนื่องจาก GitLab ใช้ endpoint แยกสำหรับ container registry และ GitLab API

สำหรับ GitLab.com (public instance):

• Registry URL: https://registry.gitlab.com
• Extra Information: {"api_endpoint": "https://gitlab.com"}

สำหรับ self-hosted (on-premise) GitLab:

• Registry URL: URL ของ GitLab registry ของคุณ (เช่น https://registry.example.com)
• Extra Information: {"api_endpoint": "https://gitlab.example.com"}

หมายเหตุการกำหนดค่าเพิ่มเติม:

• รูปแบบเส้นทางโปรเจกต์: เมื่อระบุโปรเจกต์ ให้ใช้เส้นทางเต็มรวม namespace และชื่อโปรเจกต์ (เช่น namespace/project-name) ทั้งสองส่วนจำเป็นสำหรับให้ registry ทำงานได้อย่างถูกต้อง

• สิทธิ์ของ access token: access token ที่ใช้สำหรับ registry ต้องมีทั้ง scope read_registry และ read_api scope read_api จำเป็นสำหรับ Backend.AI เพื่อสอบถาม GitLab API สำหรับข้อมูลเมตาอิมเมจระหว่างการ rescan

คุณยังสามารถอัปเดตข้อมูลของ registry ที่มีอยู่ได้ ยกเว้นชื่อรีจิสทรี

หลังจากสร้าง registry และอัปเดตข้อมูลเมตาอิมเมจแล้ว ผู้ใช้ยังไม่สามารถใช้อิมเมจได้ทันที คุณต้องเปิดใช้งาน registry โดยสลับสวิตช์ Enabled ในรายการ registry เพื่ออนุญาตให้ผู้ใช้เข้าถึงอิมเมจจาก registry

การจัดการ Resource Preset#

Resource preset ที่กำหนดไว้ล่วงหน้าจะแสดงในแผง Resource allocation เมื่อสร้างเซสชันการคำนวณ Superadmin สามารถจัดการ resource preset เหล่านี้ได้

ไปที่แท็บ Resource Presets ในหน้า Environment คุณสามารถตรวจสอบรายการ resource preset ที่กำหนดไว้ในปัจจุบัน

คุณสามารถตั้งค่าทรัพยากรเช่น CPU, RAM, fGPU เป็นต้น ที่จะให้บริการโดย resource preset ได้โดยคลิกปุ่ม 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' โมดัลสร้างหรือแก้ไข Resource Preset จะแสดงฟิลด์ของทรัพยากรที่มีอยู่ในปัจจุบัน ขึ้นอยู่กับการตั้งค่าเซิร์ฟเวอร์ ทรัพยากรบางอย่างอาจไม่แสดง หลังจากตั้งค่าทรัพยากรตามต้องการ ให้บันทึกและตรวจสอบว่า preset ที่สอดคล้องกันจะแสดงเมื่อสร้างเซสชันการคำนวณ หากทรัพยากรที่มีน้อยกว่าปริมาณทรัพยากรที่กำหนดใน preset ที่สอดคล้องกัน preset จะไม่แสดง

ไดอะล็อกค่าที่กำหนดไว้ล่วงหน้าของทรัพยากรประกอบด้วย:

• ชื่อค่าที่กำหนดไว้ล่วงหน้า: ชื่อเฉพาะสำหรับค่าที่กำหนดไว้ล่วงหน้า (อนุญาตเฉพาะตัวอักษรและตัวเลข, จุด, ขีดกลาง และขีดล่าง)
• กลุ่มทรัพยากร: (แบบมีเงื่อนไข) เชื่อมโยง preset กับกลุ่มทรัพยากรเฉพาะ
• ค่าที่กำหนดไว้ล่วงหน้าของทรัพยากร: ฟิลด์แบบไดนามิกสำหรับทรัพยากรแต่ละประเภทที่มี (CPU, หน่วยความจำ, GPU เป็นต้น) ฟิลด์หน่วยความจำรองรับการป้อนหน่วยแบบไดนามิก (MiB, GiB, TiB, PiB)
• หน่วยความจำที่ใช้ร่วมกัน: ปริมาณหน่วยความจำที่ใช้ร่วมกันที่จัดสรรให้กับค่าที่กำหนดไว้ล่วงหน้า ค่านี้ต้องน้อยกว่าค่าหน่วยความจำ

คุณยังสามารถสร้าง resource preset ได้โดยคลิกปุ่ม '+ สร้างค่าที่กำหนดไว้ล่วงหน้า' ที่มุมบนขวาของแท็บ Resource Presets คุณไม่สามารถสร้าง resource preset ที่มีชื่อเดียวกันกับที่มีอยู่แล้วได้ เนื่องจากเป็นค่าคีย์สำหรับแยกแยะแต่ละ resource preset

การจัดการโหนดเอเจนต์#

Superadmin สามารถดูรายการโหนดเอเจนต์ที่เชื่อมต่อกับ Backend.AI อยู่ในปัจจุบันได้โดยไปที่หน้า Resources คุณสามารถตรวจสอบ IP ของโหนดเอเจนต์ เวลาที่เชื่อมต่อ ทรัพยากรที่ใช้งานจริงอยู่ในปัจจุบัน เป็นต้น WebUI ไม่มีฟังก์ชันในการจัดการโหนดเอเจนต์

สอบถามโหนดเอเจนต์#

คุณยังสามารถดูการใช้ทรัพยากรที่แน่นอนในโหนดเอเจนต์ได้โดยคลิกไอคอนโน้ตในคอลัมน์ 'การควบคุม'

ในแท็บ Terminated คุณสามารถตรวจสอบข้อมูลของเอเจนต์ที่เคยเชื่อมต่อแล้วถูกยกเลิกหรือตัดการเชื่อมต่อ สามารถใช้เป็นข้อมูลอ้างอิงสำหรับการจัดการโหนด หากรายการว่างเปล่า หมายความว่าไม่มีการตัดการเชื่อมต่อหรือการยกเลิกเกิดขึ้น

ตั้งค่าสถานะ Schedulable ของโหนดเอเจนต์#

คุณอาจต้องการป้องกันไม่ให้เซสชันการคำนวณใหม่ถูกจัดตารางไปยังบริการ Agent โดยไม่ต้องหยุดบริการ ในกรณีนี้ คุณสามารถปิดใช้งานสถานะ Schedulable ของ Agent จากนั้นคุณสามารถบล็อกการสร้างเซสชันใหม่ในขณะที่รักษาเซสชันที่มีอยู่บน Agent

การจัดการกลุ่มทรัพยากร#

เอเจนต์สามารถจัดกลุ่มเป็นหน่วยที่เรียกว่ากลุ่มทรัพยากร ตัวอย่างเช่น สมมติว่ามีเอเจนต์ 3 ตัวที่มี GPU V100 และเอเจนต์ 2 ตัวที่มี GPU P100 หากคุณต้องการแยก GPU สองประเภทให้ผู้ใช้เห็นแยกกัน คุณสามารถจัดกลุ่มเอเจนต์ V100 สามตัวเป็นกลุ่มทรัพยากรหนึ่ง และเอเจนต์ P100 สองตัวที่เหลือเป็นอีกกลุ่มทรัพยากรหนึ่ง

การเพิ่มเอเจนต์เฉพาะเข้ากลุ่มทรัพยากรเฉพาะยังไม่ได้จัดการใน WebUI ในปัจจุบัน สามารถทำได้โดยแก้ไขไฟล์ config ของเอเจนต์จากตำแหน่งที่ติดตั้งและรีสตาร์ท agent daemon การจัดการกลุ่มทรัพยากรสามารถทำได้ในแท็บ Resource Group ของหน้า Resource

คุณสามารถแก้ไขกลุ่มทรัพยากรได้โดยคลิกปุ่ม 'การตั้งค่า' ในคอลัมน์ 'การควบคุม' ในฟิลด์ 'ตัวจัดกำหนดการ' คุณสามารถเลือกวิธีการจัดตารางสำหรับการสร้างเซสชันการคำนวณ ปัจจุบันมีสี่ประเภท: FIFO, LIFO, DRF และ FAIR_SHARE FIFO และ LIFO เป็นวิธีการจัดตารางที่สร้างเซสชันที่เข้าคิวเป็นลำดับแรกหรือลำดับสุดท้ายในคิวงาน DRF ย่อมาจาก Dominant Resource Fairness มีเป้าหมายเพื่อจัดสรรทรัพยากรอย่างเท่าเทียมที่สุดสำหรับแต่ละผู้ใช้ FAIR_SHARE จัดสรรทรัพยากรตามรูปแบบการใช้งานในอดีต สำหรับรายละเอียดเพิ่มเติม โปรดดูที่ส่วน Fair Share Scheduler คุณสามารถปิดใช้งานนโยบายทรัพยากรได้โดยปิดสถานะ 'ใช้งาน'

กลุ่มทรัพยากรมีตัวเลือกเพิ่มเติมดังนี้:

• ประเภทเซสชันที่อนุญาต: ผู้ใช้สามารถเลือกประเภทของเซสชันได้ กลุ่มทรัพยากรสามารถอนุญาตประเภทเซสชันบางประเภท ประเภทเซสชันที่อนุญาต ได้แก่ Interactive, Batch, Inference และ System
• ที่อยู่เซิร์ฟเวอร์ App Proxy: ตั้งค่าที่อยู่ App Proxy สำหรับเอเจนต์ของกลุ่มทรัพยากร
• โทเค็น API ของ App Proxy: โทเค็น API สำหรับการยืนยันตัวตนกับ App Proxy
• ใช้งาน: เปิด/ปิดสถานะการใช้งานของกลุ่มทรัพยากร
• สาธารณะ: เปิดเผยกลุ่มทรัพยากรให้ผู้ใช้ทุกคนเห็น
• การหมดเวลาที่รออยู่: เซสชันการคำนวณจะถูกยกเลิกหากอยู่ในสถานะ PENDING นานกว่าการหมดเวลาที่รออยู่ ตั้งค่าเป็นศูนย์ (0) หากไม่ต้องการใช้ฟีเจอร์นี้
• จำนวนครั้งที่พยายามข้ามเซสชันที่รออยู่: จำนวนครั้งที่ scheduler พยายามก่อนข้ามเซสชัน PENDING

คุณสามารถสร้างกลุ่มทรัพยากรใหม่ได้โดยคลิกปุ่ม '+ สร้าง' เช่นเดียวกับตัวเลือกการสร้างอื่นๆ คุณไม่สามารถสร้างกลุ่มทรัพยากรที่มีชื่อเดียวกันกับที่มีอยู่แล้วได้ เนื่องจากชื่อเป็นค่าคีย์

การจัดเก็บข้อมูล#

ในแท็บ STORAGES คุณสามารถเห็นประเภทของ mount volume (โดยปกติคือ NFS) ที่มีอยู่ ตั้งแต่เวอร์ชัน 23.03 เป็นต้นไป เราให้บริการการตั้งค่าโควตาต่อผู้ใช้/ต่อโปรเจกต์บนพื้นที่จัดเก็บที่รองรับการจัดการโควตา โดยใช้ฟีเจอร์นี้ ผู้ดูแลระบบสามารถจัดการและตรวจสอบปริมาณการใช้พื้นที่จัดเก็บที่แน่นอนสำหรับแต่ละผู้ใช้และโฟลเดอร์ที่อิงกับโปรเจกต์ได้อย่างง่ายดาย

ในการตั้งค่าโควตา ก่อนอื่นคุณต้องเข้าถึงแท็บ Storages ในหน้า Resource จากนั้น คลิก 'การตั้งค่า' ในคอลัมน์ 'การควบคุม'

หมายเหตุ

โปรดทราบว่าการตั้งค่าโควตามีให้ใช้งานเฉพาะในพื้นที่จัดเก็บที่รองรับการตั้งค่าโควตาเท่านั้น (เช่น XFS, CephFS, NetApp, Purestorage เป็นต้น) แม้ว่าคุณจะสามารถดูการใช้พื้นที่จัดเก็บ ในหน้าการตั้งค่าโควตาได้โดยไม่คำนึงถึงประเภทของพื้นที่จัดเก็บ แต่คุณไม่สามารถกำหนดค่าโควตา สำหรับพื้นที่จัดเก็บที่ไม่รองรับการกำหนดค่าโควตาภายในได้

แผงการตั้งค่าโควตา#

ในหน้าการตั้งค่าโควตา มีสองแผง

• แผง Overview

  • Usage: แสดงปริมาณการใช้งานจริงของพื้นที่จัดเก็บที่เลือก
  • Endpoint: แสดง mount point ของพื้นที่จัดเก็บที่เลือก
  • Backend Type: ประเภทของพื้นที่จัดเก็บ
  • Capabilities: ฟีเจอร์ที่รองรับของพื้นที่จัดเก็บที่เลือก

• การตั้งค่าโควตา

  • For User: กำหนดค่าการตั้งค่าโควตาต่อผู้ใช้ที่นี่
  • For Project: กำหนดค่าการตั้งค่าโควตา (โฟลเดอร์โปรเจกต์) ต่อโปรเจกต์ที่นี่
  • ID: สอดคล้องกับ id ของผู้ใช้หรือโปรเจกต์
  • Hard Limit (GB): โควตาขีดจำกัดสูงสุดที่ตั้งค่าไว้ในปัจจุบันสำหรับโควตาที่เลือก
  • Control: ให้บริการแก้ไขขีดจำกัดสูงสุดหรือแม้กระทั่งลบการตั้งค่าโควตา

ตั้งค่าโควตาผู้ใช้#

ใน Backend.AI มีโฟลเดอร์เสมือนสองประเภทที่สร้างโดยผู้ใช้และผู้ดูแลระบบ (โปรเจกต์) ในส่วนนี้ เราต้องการแสดงวิธีตรวจสอบการตั้งค่าโควตาปัจจุบันต่อผู้ใช้และวิธีการกำหนดค่า ก่อนอื่น ตรวจสอบให้แน่ใจว่าแท็บที่ใช้งานของแผงการตั้งค่าโควตาคือ For User จากนั้น ให้เลือกผู้ใช้ที่คุณต้องการ ตรวจสอบและแก้ไขโควตา คุณจะเห็น quota id ที่สอดคล้องกับ id ของผู้ใช้และการกำหนดค่าที่ตั้งไว้แล้ว ในตาราง หากคุณได้ตั้งค่าโควตาไว้แล้ว

แน่นอน หากคุณต้องการแก้ไขโควตา คุณสามารถคลิกปุ่ม Edit ในคอลัมน์การควบคุมได้ หลังจากคลิกปุ่ม Edit คุณอาจเห็นโมดอลขนาดเล็กที่ช่วยให้สามารถกำหนดค่าการตั้งค่าโควตาได้ หลังจากป้อนปริมาณที่แน่นอนแล้ว อย่าลืมคลิกปุ่ม OK มิฉะนั้นการเปลี่ยนแปลงจะไม่ถูกนำไปใช้

ตั้งค่าโควตาโปรเจกต์#

การตั้งค่าโควตาบนโฟลเดอร์โปรเจกต์นั้นคล้ายกับการตั้งค่าโควตาผู้ใช้ ความแตกต่างระหว่างการตั้งค่า โควตาโปรเจกต์และโควตาผู้ใช้คือการยืนยันการตั้งค่าโควตาโปรเจกต์ต้องมีขั้นตอนเพิ่มเติมอีกหนึ่งขั้นตอน ซึ่งก็คือการเลือกโดเมนที่โปรเจกต์ขึ้นอยู่กับ ส่วนที่เหลือเหมือนกัน ดังภาพด้านล่าง คุณต้องเลือกโดเมนก่อน จากนั้นจึงเลือกโปรเจกต์

ยกเลิกโควตา#

เรายังมีฟีเจอร์ในการยกเลิกการตั้งค่าโควตาด้วย โปรดทราบว่าหลังจากลบการตั้งค่าโควตาแล้ว โควตาจะตามโควตาเริ่มต้นของผู้ใช้หรือโปรเจกต์โดยอัตโนมัติ ซึ่งไม่สามารถตั้งค่าได้ใน WebUI หากคุณต้องการเปลี่ยนการตั้งค่าโควตาเริ่มต้น คุณอาจต้องเข้าถึงหน้าเฉพาะผู้ดูแลระบบ โดยคลิกปุ่ม Unset ในคอลัมน์การควบคุม ข้อความ snackbar ขนาดเล็กจะปรากฏขึ้นและยืนยันว่าคุณต้องการลบการตั้งค่าโควตาปัจจุบันจริงหรือไม่ หากคุณคลิกปุ่ม OK ในข้อความ snackbar ระบบจะลบการตั้งค่าโควตาและตั้งค่าใหม่ให้ตามโควตาที่สอดคล้อง ซึ่งขึ้นอยู่กับประเภทของโควตา (ผู้ใช้/โปรเจกต์) โดยอัตโนมัติ

ดาวน์โหลดรายการเซสชัน#

มีฟีเจอร์เพิ่มเติมในหน้า Session สำหรับผู้ดูแลระบบ ทางด้านขวาของแท็บ FINISHED จะมีเมนูที่มีเครื่องหมาย ... เมื่อคุณคลิกเมนูนี้ เมนูย่อย export CSV จะปรากฏขึ้น

หากคุณคลิกเมนูนี้ คุณจะสามารถดาวน์โหลดข้อมูลของเซสชันการคำนวณ ที่สร้างขึ้นจนถึงปัจจุบันในรูปแบบ CSV หลังจากกล่องโต้ตอบต่อไปนี้เปิดขึ้น ให้ป้อนชื่อไฟล์ ที่เหมาะสม (หากจำเป็น) คลิกปุ่ม EXPORT และคุณจะได้รับไฟล์ CSV โปรดทราบว่าชื่อไฟล์สามารถมีได้สูงสุด 255 ตัวอักษร

การตั้งค่าระบบ#

ในหน้า Configuration คุณสามารถดูการตั้งค่าหลักของเซิร์ฟเวอร์ Backend.AI ได้ ในปัจจุบันมีการควบคุมหลายอย่างที่สามารถเปลี่ยนแปลงและแสดงการตั้งค่าได้

คุณสามารถเปลี่ยนกฎการติดตั้งและอัปเดตอิมเมจอัตโนมัติได้โดยเลือกตัวเลือกหนึ่ง จาก Digest, Tag, None โดย Digest เป็นเหมือน checksum สำหรับอิมเมจซึ่ง ตรวจสอบความสมบูรณ์ของอิมเมจและยังเพิ่มประสิทธิภาพในการดาวน์โหลดอิมเมจ โดยใช้เลเยอร์ที่ซ้ำกันซ้ำ Tag เป็นตัวเลือกสำหรับการพัฒนาเท่านั้นเนื่องจากไม่ รับประกันความสมบูรณ์ของอิมเมจ

หน้าการกำหนดค่ายังแสดงสถานะของปลั๊กอินและฟีเจอร์ระดับองค์กร:

ปลั๊กอิน:

• การรองรับ Open-source CUDA GPU: สถานะการรองรับ CUDA GPU
• การรองรับ ROCm GPU: สถานะการรองรับ ROCm GPU

ฟีเจอร์ระดับองค์กร:

• Fractional GPU: การจำลอง Fractional GPU (fGPU) สำหรับแชร์ GPU ระหว่างเซสชัน

Backend.AI รองรับตัวเร่งความเร็ว AI ที่หลากหลายจากผู้ผลิตหลายราย:

• NVIDIA
  • Spark (GB10)
  • Blackwell (B300, B200, RTX Pro 6000 เป็นต้น)
  • Hopper (H200, H100 NVL เป็นต้น)
  • Grace Superchip (GB300, GB200, GH200 เป็นต้น)
  • Turing (Titan RTX, RTX 8000, T4)
  • Ampere (A100, A40, A10 เป็นต้น)
  • Ada Lovelace (L40S, L4)
  • Jetson (TX, Xavier, Orin, Thor เป็นต้น)
• Intel
  • Gaudi 3
  • Gaudi 2
  • Gaudi 1
  • Arc
• AMD
  • Instinct MI Series (รวมถึง MI300X)
  • MI300A
  • MI250
• Rebellions
  • ATOM Max
  • ATOM+
  • REBEL
• FuriosaAI
  • RNGD
• Tenstorrent
  • Wormhole n150s
  • Wormhole n300s
• Google
  • TPU v7 (Ironwood)
  • Coral TPU v5p
  • Coral TPU v5e
  • TPU v4
• Graphcore
  • C600 IPU
  • Bow IPU
• HyperAccel
  • LPU
• Groq
  • LPU
• Cerebras
  • WSE-3
• SambaNova
  • SN40L

เมื่อผู้ใช้เริ่มเซสชัน multi-node cluster ที่แนะนำตั้งแต่ เวอร์ชัน 20.09 Backend.AI จะสร้างเครือข่าย overlay แบบไดนามิกเพื่อสนับสนุน การสื่อสารระหว่างโหนดแบบส่วนตัว ผู้ดูแลระบบสามารถตั้งค่า Maximum Transmission Unit (MTU) สำหรับเครือข่าย overlay ได้ หากแน่ใจว่าค่าดังกล่าว จะเพิ่มความเร็วของเครือข่าย

คุณสามารถแก้ไขการกำหนดค่าต่อ job scheduler ได้โดยคลิกปุ่ม config ของ Scheduler ค่าในการตั้งค่า scheduler เป็นค่าเริ่มต้นที่จะใช้เมื่อไม่มีการตั้งค่า scheduler ในแต่ละ กลุ่มทรัพยากร หากมีการตั้งค่าเฉพาะของกลุ่ม ทรัพยากร ค่านี้จะถูกละเว้น

วิธีการจัดตารางที่รองรับในปัจจุบันรวมถึง FIFO, LIFO และ DRF วิธีการจัดตารางแต่ละวิธีเหมือนกันกับ วิธีการจัดตาราง ด้านบน ตัวเลือก Scheduler รวมถึงการพยายามสร้างเซสชันซ้ำ การพยายามสร้างเซสชันซ้ำหมายถึงจำนวน ครั้งที่พยายามสร้างเซสชันหากล้มเหลว หากเซสชันไม่สามารถสร้างได้ภายในจำนวนครั้ง ที่ลอง คำขอจะถูกละเว้นและ Backend.AI จะดำเนินการคำขอถัดไป ปัจจุบันการเปลี่ยนแปลง สามารถทำได้เฉพาะเมื่อ scheduler เป็น FIFO เท่านั้น

การจัดการเซิร์ฟเวอร์#

ไปที่หน้า Maintenance และคุณจะเห็นปุ่มต่างๆ สำหรับจัดการเซิร์ฟเวอร์

• RECALCULATE USAGE: บางครั้ง เนื่องจากการเชื่อมต่อเครือข่ายที่ไม่เสถียรหรือ ปัญหาในการจัดการคอนเทนเนอร์ของ Docker daemon อาจมีกรณีที่ ทรัพยากรที่ Backend.AI ครอบครองไม่ตรงกับทรัพยากรที่คอนเทนเนอร์ใช้จริง ในกรณีนี้ ให้คลิกปุ่ม RECALCULATE USAGE เพื่อแก้ไข การครอบครองทรัพยากรด้วยตนเอง
• RESCAN IMAGES: อัปเดตข้อมูลเมตาของอิมเมจจาก Docker registry ที่ลงทะเบียน ทั้งหมด สามารถใช้ได้เมื่อมีการ push อิมเมจใหม่ไปยัง docker registry ที่เชื่อมต่อกับ Backend.AI

ข้อมูลโดยละเอียด#

ในหน้า Information คุณสามารถดูข้อมูลรายละเอียดและสถานะของแต่ละฟีเจอร์ได้ หากต้องการดูเวอร์ชันของ Manager และเวอร์ชัน API ให้ตรวจสอบที่แผง Core หากต้องการดูว่า ส่วนประกอบของ Backend.AI แต่ละรายการเข้ากันได้หรือไม่ ให้ตรวจสอบที่แผง Component

การจัดการ RBAC#

การจัดการ RBAC (Role-Based Access Control) ช่วยให้ผู้ดูแลระบบระดับสูงสามารถกำหนดบทบาทที่มีสิทธิ์แบบละเอียดและมอบหมายให้กับผู้ใช้ได้ คุณสามารถควบคุมการดำเนินการที่ผู้ใช้เฉพาะสามารถทำได้กับทรัพยากรต่าง ๆ ในระบบ Backend.AI

สำหรับข้อมูลรายละเอียดเกี่ยวกับการจัดการบทบาท สิทธิ์ และการมอบหมายผู้ใช้ โปรดดูที่หน้าการจัดการ RBAC