Meta פתחה את Muse Glimmer, מודל סוכנים מקומי של 30 מיליארד פרמטרים

Meta פרסמה ב-10 באוגוסט את Muse Glimmer, מודל בן 30 מיליארד פרמטרים שנועד להריץ סוכני AI על מחשב אישי. החברה פתחה את משקלי המודל ברישיון Apache 2.0, והעלתה אותם להורדה. לפי Meta, המודל מתאים למחשב Mac או PC עם GPU צרכני יחיד, ויכול לעבוד גם בלי חיבור רציף לענן.

מה יצא בפועל

Glimmer מיועד למשימות שבהן סוכן צריך להפעיל כלים, לעבוד עם קבצים וצילומי מסך, לכתוב ולתקן קוד ולהמשיך תהליך שכולל כמה שלבים. הוא מקבל טקסט ותמונות, אומן על יותר מ-100 שפות, ותומך ברמות מאמץ שונות כדי לאזן בין מהירות לאיכות. Meta מציגה אותו גם כמודל שיודע להתאושש מכשל בכלי ולנסות שוב במקום לעצור את כל המשימה.

כדי להכניס מודל בגודל הזה לחומרה ביתית, Meta דחסה את המשקלים לכ-4 ביט. החברה אומרת שהגרסה K-Quant-17GB תופסת פחות מ-20 גיגה-בייט, ומשאירה מקום לזיכרון העבודה של המודל, למקודד התמונות ולמודל עזר שמאיץ את יצירת הטקסט. מעטפת היעד היא מחשבים עם 24 או 32 גיגה-בייט זיכרון זמין לעומס הזה.

איך Meta בנתה אותו

לפי מסמך ההשקה, Glimmer למד בתחילה מפלטים של Muse Spark באמצעות distillation, ובהמשך עבר אימון על רצפים ארוכים יותר, שימוש בכלים ומשימות סוכן. שלב הסיום שילב fine-tuning מפוקח, למידה בחיזוק ואימון נוסף בתחומי קוד, חשיבה והפעלה של כלים. זו דרך להעביר חלק מהיכולת של מודל גדול וסגור למודל קטן יותר שאפשר להוריד.

המשקלים זמינים עכשיו, אבל חלק משכבת ההפעלה עדיין מתהווה. Meta כתבה ששילובים מותאמים ל-llama.cpp, MLX ו-ExecuTorch יגיעו בימים הקרובים. היא גם עובדת עם AMD, Arm, Dell, Intel ו-NVIDIA על התאמות לחומרה. לכן מפתח שמוריד את המודל היום עדיין צריך לבדוק בעצמו את התאימות, צריכת הזיכרון והמהירות על המחשב שבידיו.

למי זה משנה

הקהל הישיר הוא מפתחים שרוצים לבנות סוכן מקומי עם גישה לקבצים אישיים, בלי לשלוח כל מסמך ותמונה לשרת חיצוני. זה יכול להתאים גם לארגונים עם מידע רגיש, למחשבים שנמצאים בשטח ולמוצרים שצריכים לעבוד כשהרשת חלשה. הרישיון הפתוח מאפשר להתאים את המודל ולשלב אותו במוצר, בכפוף לבדיקות אבטחה והרשאות מקומיות.

עבודה מקומית אינה מבטיחה פרטיות לבדה. סוכן שמקבל גישה לתיקיות, לדפדפן ולכלים יכול לטעות או לבצע פעולה שלא התכוונו אליה גם כשהמידע לא יוצא מהמחשב. צריך להגביל הרשאות, לתעד פעולות ולבדוק את מעטפת ההפעלה. בנוסף, טבלאות הביצועים פורסמו בידי Meta. המשקלים הפתוחים יאפשרו בדיקות חיצוניות, אבל עדיין אין תמונה עצמאית מלאה של האמינות במשימות ארוכות או של הביצועים על מגוון מחשבים צרכניים.