Llama Index Splitter

Llama Index Splitter ממיר מקורות טקסט גדולים into ensemble of chunks המותאמים לזרמי עבודה של LlamaIndex. הוא מקבל טקסט גולמי ות meta-data אפשריים, ומייצר אוסף מסודר של chunks אשר שומרים על ההקשר והסדר המקורי. הוא תומך במצבי חלוקה שונים ובגבולות מוגדרים המותאמים למגבלות embedding ולהתנהגות החיפוש. כלי זה מיועד למהנדסי נתונים, practitioners ML וצוותי ידע שמייבאים מדריכים, דוחות, חתכי קוד ומאמרי מחקר לאחסוני וקטור.

הליבה מבצעת פעולה דטרמיניסטית, מאפשרת להגדיר chunk_size, overlap ומפרידי גבול. אסטרטגיות נוספות כוללות חלוקהRecursive על בסיס תווים, חלוקה על בסיס token עם הנחות לשוניות והחלה חלוקה לפי פרוזדור. שמירת המטא-נתונים והסימונים לכל chunk זמינה על מנת לשמר מוצא ולאפשר אינדוקסינג מפורט. הכלי משתלב עם יוצרי אינדקס downstream ואינו מבצע embedding או אחסון בעצמו.

הגישה אינה תלויה בשפה ומתאימה לתוכן רב-לשוני, אף על פי שהערכת tokens עשויה להשתנות לפי שפה, סוג גופן או הצפנה. מתאים כהליך pré-processing לפני וקטוריזציה, מספק מספרים צפויים של chunks וחסימות עקביות בין מסמכים.

שימושים טיפוסיים כוללים PDF גדולים, ארכיוני קוד מקור, מאמרים אקדמיים ודוחות עסקיים, שבהם גבולות chunk מדויקים משפרים איכות החיפוש ואת התפוקה של אינדוקס.