מפריד חלונות

מפריד חלונות מיועד להפוך קלט טקסטואלי גדול לסדרה של בלוקים מוגבלים המתאימים לעיבוד עם מגבלת טוקנים, תרגום בבצה וניתוח אינקרממנטלי. הוא שומר על הסדר המקורי ומספק תוצאות שחזרניות עשירות במטא-נתונים המאפשרות ניסויים מדויקים וצינורות שניתן לעקוב אחריהם. הכלי מיועד לעורכים, חוקרים, מפתחים ואנליסטים הנתונים צריכים לפצל מסמכים ארוכים לחתיכות ניהוליות ללא איבוד ההקשר.
הלוגיקה העיקרית כוללת מנוע חלוקה הניתן להגדרה ואסטרטגיות גבול. כניסות דרושות: input_text ו-chunk_size (תווים). אופציונלי אך מומלץ: overlap, boundary_strategy (משפט או מילה), רמזי שפה ואפשרות לשמירה על עיצוב פשוט. משתמשים מתקדמים יכולים להפעיל חלוקה על פי שפה, מפרידים מותאמים אישית, אינדקסים לכל חתיכה וייצוא בפורמטים תואמי JSON לשילוב API ועיבוד בבקטר.
תוצאות כוללות מערך חתיכות כל אחת עם אינדקס, סטארט-פאזה ואקציות והטקסט. המערכת מחזירה גם total_chunks וחבילת מי-טא. היא מעריכה ספירת טוקנים כדי לתכנן שימוש במודל. טיפול בשגיאות כולל גדלים לא תקפים, קלט ריק, מצבי גבול שאינם נתמכים וקלטים ארוכים מאוד המעובדים ב-streaming אם מופעל. מקרי קצה כוללים תווים רב-ביט ושפות עם סקריפטים שאינם לטיניים שדורשים החלטות גבול קפדניות. מקרים לשימוש: הכנת מסמכים משפטיים לביקורת, תרגום מאסטרים של מאמרים אקדמיים והזנת קורסים גדולים ל-NLP. הערך הייחודי נובע מחלוקה לפי גבולות, חלוקה דטרמיניסטית וא overlapped אופציונלי לשמירה על הקשר בין חלקים, מה שמקטין תכנון מחדש ומשפר את התפוקה של המודל בהשוואה לחתכים קבועים נאיביים. הכלי מיועד לזרמי עבודה המונחים על ידי API וניתן לשילוב בתהליכי נתונים עם התייחסויות חתיכות לביקורת.