รีวิว repo
Colibri — เปิด AI Model ตัวใหญ่ไว้ในเครื่องตัวเอง ไม่ต้องมีการ์ดจอ
AI Model ที่เก่ง ๆ ปกติต้องยกทั้งตัวขึ้นหน่วยความจำพร้อมกัน ซึ่งแปลว่าต้องมีเครื่องราคาหลักแสน Colibri เปลี่ยนวิธีคิด คือเก็บตัวมันไว้ในไดรฟ์ แล้วดึงขึ้นมาเฉพาะชิ้นที่กำลังจะใช้ ใช้เสร็จก็ปล่อยคืน เครื่องแรม 16GB เลยเปิดตัวที่ใหญ่ระดับบริษัทใช้ได้
8GB
แรมที่ตัวเล็กสุด (OLMoE) ขอ พร้อมที่ว่างในไดรฟ์อีก 7GB — คอมทำงานทั่วไปลองได้เลย
สิ่งที่มันแก้ให้จริง
- ไม่ต้องมีการ์ดจอ เครื่องที่มีแต่แรมกับไดรฟ์ก็เปิด AI Model ตัวใหญ่ได้
- ทั้งตัวโปรแกรมเขียนด้วยภาษา C ล้วน ไม่ต้องลง Python ไม่ต้องตั้งค่าอะไรก่อน
- รองรับ AI Model 9 ตัว ตั้งแต่ตัวเล็ก 7GB ไปจนถึงตัวใหญ่สุดที่กินไดรฟ์ 1.6TB
- มีหน้าจอเว็บของตัวเอง เห็นคำตอบที่กำลังพิมพ์ ความเร็ว และแรมที่ใช้อยู่ในจอเดียว
- ใช้ฟรีแบบ Apache 2.0 เอาไปใช้ในงานที่หาเงินได้ ไม่ต้องขออนุญาตใคร
คำสั่งเริ่มต้นจากหน้า repo
$ git clone https://github.com/JustVugg/colibri && cd colibri/c$ ./setup.sh$ COLI_MODEL=/nvme/olmoe ./coli chat # เริ่มที่ตัวเล็กสุดก่อน แรม 8GB ไดรฟ์ 7GB$ ./coli web # อยากได้หน้าจอเว็บแทนบรรทัดคำสั่งมีแบบที่แตกไฟล์แล้วใช้ได้เลยด้วย ไม่ต้องคอมไพล์เอง · ตัว AI Model โหลดแยกต่างหากจากตัวโปรแกรม · รุ่นที่หน้า repo โชว์อยู่ตอนนี้คือ v1.11.0
