פיצול הורדת בינה מלאכותית

פיצול הורדת בינה מלאכותית הוא כלי הכנת נתונים שממיר יצירת AI единичית להכשיר סדרה של חלקים קטנים יותר להעברה והרכבה אוטומטית. הוא מחשב את מספר החלקים, גודל כל חלק ואפשריים hashes של שלמות לכל חלק. הוא מפיק מניפסט מובנה ואינדקס חלקים תמציתי שמאפשרי הרכבה דטרמיניסטית והורדות מקבילות. הכלי מיועד למהנדסי נתונים, מהנדסי ML וצוותי תפעול העובדים עם קבצי מודל גדולים, מאגרי נתונים או חבילות המחייבות משלוח over רשתות לא יציבות או רוחב פס מוגבל. הוא אינו מממש העברה בפועל; מתמקד באריזה ויצירת מטה-נתונים.

הקלטות תואמות total_size ו-chunk_size, עם מגבלה אפשרית max_parts. החישוב המרכזי משתמש parts = ceil(total_size / chunk_size). אם החלק האחרון קטן מ-chunk_size, גודלו משקף את השאר. כאשר total_size <= chunk_size, מתקבל חלק אחד. אימות דורש ערכים מספריים חיוביים ושימוש עקבי ביחידות (bytes/KB/MB/GB). הכלי ממירי יחידות לבייטים internally ודווח על גדלים בבייטים וכן על מקבילות בני-אדם במניפסט אם ביקשת.

תוצאות: רשימת חלקים עם אינדקס, start_byte, end_byte ו-size_bytes; hash sha256 אופציונלי לכל חלק; total_parts; ומניפסט הורדות בפורמט JSON. הגדרות אופציונליות מאפשרות התאמה מדויקת יותר להגבלות הקבצים והוספת hash מקודד ב-base64. האלגוריתמים מבטיחים שסכום גדלי החלקים שווה ל-total_size, עם בדיקות לחריגה ועיגול שלם. מקרים קצה מנוהלים בצורה דטרמיניסטית כדי למנוע פערים או הצטלבויות.

תConsiderations חתומות על יחידות SI להצגת גדלים ותמיכה בלוקליזציה של שמות יחידות. הנחות: הכלי אינו מושך או משנה את קובץ המקור; הוא רק מחושב מטה-נתוני אריזה. החרגות: הצפנה, תזמון העברה או לוגיקה להרכבה אינם בתחום_SCOPE.