Text Splitter LlamaIndex

מחלק טקסט ארוך לחתיכות המתאימות לאינדקס LlamaIndex, עם אפשרויות לגודל קבוע, פיצול לפי גבולות ושליטה בהד המטען.

Tool coming soon!

We're working hard to get this tool ready for you.

Request Feature / Support

1,628+

Total Calculations Run

< 15ms

Browser Execution Speed

100%

Client-Side Privacy

4.9 / 5.0

User Satisfaction

AI Web Tool Generator

Build Your Own Custom Web Calculator in Seconds

Type what tool or calculator you need below. Our AI will build it instantly for your site.

אודות כלי זה

הכלי מספק שיטה מתוכנתת לפיצול טקסט ארוך לחתיכות צעידות יותר, מוכנות ל-LlamaIndex ולאחסון וקטורי דמוי. הוא תומך בפיצול קבוע בגודל חתיכה וכן במצב המתחשב בגבולות שמכבד גבולות של משפטים או פסקאות. המשתמש מזין את הטקסט המקור ואת גודל החתיכות הרצוי ב-token, יחד עם overlap אופציונלי ו-language_hint. המערכת מבצעת tokenization, בונה חתיכות סדרתיות ומחזירה את החתיכות עם ספירת tokens לכל חתיכה ואת המטה-נתונים הכולל. קונספטואלית, נשמר תקציב הקשר יציב להמשך retrieval, מצמצם את הפירוק התוכן ותומך באינדקסינג יעיל. יעד: מהנדסי נתונים, מפתחי IA וחוקרים המעבדים קורסים גדולים עבור עוזרי IA, צ'אטבוטים או אפליקציות חיפוש. ערך ייחודי כולל אפשרויות גבולות מודעות, ציות לתקציב tokens ושימוש ב-language_hint לשיפור גבולות בין שפות. תכונות מובילות: הדבקה מותאמת כדי לשמר את ההקשר בין חתיכות סמוכות ובקרה על max_chunk. מקרים נפוצים: הכנת מדריכי מוצרים, מאמרי מחקר או מסמכים משפטיים לגישה של retrieval על בסיס LlamaIndex, עם גדלי חתיכות עקביים ועלויות tokens צפויות. תוצאתו כוללת רשימת חתיכות מסודרת, per_chunk_tokens ו-metadata התומכת בזרימות אינדקס.

Save your calculation history with a free account

איך להשתמש

ספק קלטים: הדבק טקסט מקורי, הגדר chunk_size ב-token, התאם overlap ו-language_hint לפי הצורך.
בחר גבול: בחר 'משפט', 'פסקה' או 'אין' כדי לכוון התאמות גבולות.
הרץ חישוב: אתחל את העיבוד ליצירת חתיכות מסודרות ומטא-נתונים.
סקור פלט: בדוק את מערך החתיכות ואת per_chunk_tokens כדי לאמת גבולות ותכנון tokens.
ייצא: השתמש בפלט לאינדוקס ב-LlamaIndex או להמשך עיבוד.

Frequently Asked Questions

מצא תשובות מהירות

למה כלי זה מיועד?

הוא מחלק טקסט ארוך לחתיכות ניהוליות לאינדוקס עם LlamaIndex, שומר גבולות כאשר נדרש ומייצר מטא-נתונים לכל חתיכה לשליטה בתקציבי tokens ולהתנהגות החיפוש.

איך עובד סולם הגבולות?

אסטרטגיות גבולות תואמות חתיכות לגבולות משפט או פסקה כאשר אפשר, אחרת משתמשים בגישה בגודל קבוע. רמז שפה מסייע בבחירת גבולות מתאימים.

איזה פלטות מתקבלות?

הכלי מחזיר רשימה מסודרת של חתיכות, מערך per_chunk_tokens, total_chunks ובאובייקט metadata המתאר גדלים וגבולות לעבודה על זרימות אינדוקס.

יכול להיות מגבלה על מספר החתיכות?

כן. אם מסופק פרמטר max_chunks, הסדרה נקצרת למספר חתיכות זה, מה שמבטיח עומס עבודה צפוי.

Need to run multiple calculations?

Create a free account today to unlock unlimited daily runs, access advanced parameters, save your history, and request custom features.

Related Tools

Other useful calculators and utilities you might like

ממיר Spotify ל-MP3

ממיר קבצי שמע מסופקים מקומית ל-MP3, מאפשר האזנה offline ותאימות בין מכשירים למוזיקה בבעלות חוקית ואח...

מחשב מרחק דרך

מחשב מרחק דרך למטיילים, מתכנני לוגיסטיקה ונהגים כדי להעריך במהירות מרחקים וזמן בין מקומות.

מחשבון גיל

קבע במהירות את גיל האדם מבוסס על תאריך הלידה שלו עם המחשבון החינמי שלנו באינטרנט, מתאים לשימוש אישי...

הממיר מטבעות

המיר במהירות סכומים בין מטבעות שונים עם הממיר חינם שלנו, מתאים לנסיעות, עסקים וקונים בינלאומיים.

המשוב שלך חשוב

עזור לנו לשפר