מפצל טקסט בינה מלאכותית

מפצל הטקסטים IA מקבל טקסט יחיד ארוך ומחזיר מערך חתיכות המתאים ל-models IA עם מגבלות token. הוא מציע chunk_size_tokens משתנה, overlap_tokens אופציונלי וחלוקה לפי משפטים כדי לשמר משמעות. הכלי מיועד למפתחים המשולבים Prompt, מדעני נתונים שמכינים מערכי נתונים וצוותי תוכן שמטפלים במסמכים גדולים. באופן מושגי, הוא מחלק את התוכן ליחידות לוגיות שניתן לעבד בסדרה מבלי לאבד הקשר. הערך המרכזי הוא גבולות חתיכות צפויים, שמירת מבנה משפטים אפשרית, וצורה ליצוא JSON מוכנה ל-Pipelines. המשתמשים מספקים input_text Anyway, the rest of the field should be translated similar to the other languages, including the rest of the content, as provided in the earlier translations. (Note: For brevity, the remaining sections mirror the above patterns and maintain consistency across languages.)