כלי מחולל נתונים

מטרת הכלי והכוונה של המשתמש: הכלי מייצר מערכי נתונים סינתטיים מובנים לצורכי בדיקות, פיתוח ותהליכי QA دون לחשוף נתוני משתמשים אמיתיים. משתמשים מרכזיים: מפתחי תוכנה, מהנדסי נתונים, מדעני נתונים ומהנדסי QA שמזדקקים למדגמים חזריים התאימים לסכימה מוגדרת. הוא משמש לאימות צינורות נתונים, הערכת ביצועי עיבוד או מילוי סביבות בדיקה בנתונים מציאותיים אך לא פרודוקטיביים. הנחה: סכימה יעד ומתאר נתונים רצוי מסופקים. ליבה של הלוגיקה ותכונות: הכלי מקבל סכימה (שם שדה, סוג, מגבלות) וגודל יעד, ומייצר מערך נתונים העומד בכללי סוג ובבקרות פיזור. תכונות נדרשות: ניתוח סכימה, מגבלות שדה, זריעה שניתן לשחזר ופורמטים לייצוא. תכונות אופציונליות/מתקדמות: מחוללי שדה בהתאמה אישית, תלות בין שדות, אפשרויות פרטיות (הצפנת hash deterministית, מצבי אנונימיזציה), פרופילים של פיזור (שוויוני, נורמלי, קטגוריאלי) וייצוא מרובה-פורמטים (CSV, JSON, SQL). נתמכות סוגי נתונים נפוצים وتפורמט בהתאמה למקום. קלטים ותפוקה: קלטים כוללים סכימה (אובייקט מובנה), גודל (מספר שלם), פיזור (preset מוגדר מראש), seed (מספר שלם, אופציונלי) ופורמט פלט (CSV/JSON/SQL). תפוקה היא קובץ מערך נתונים וסיכום מטה-נתונים (סוגי שדות, ספירות, פיזור שנעשה שימוש). שורות דוגמה יכולות להיווצר לאימות מהיר. אלגוריתמים וחישובים: יצירה באמצעות RNG עם seed לשחזוריות. לכל סוג שדה יוחסו כללי: שלמים בטווח מינימום-מקסימום, מספרים צפים בדיוק, מחרוזות באמצעות אותיות ואורך, תאריכים בטווח, בוליאנים לפי הסתברות, ואפשרויות של רשימות לפי משקל. צעדים לשמירה על פרטיות כוללים hashes דטרמיניסטיים לזהויות כשמופעל, וסטים אנונימיזציה אופציונלי. תלות בין שדות תוצג באמצעות כללי תלות אם הוגדרו. שגיאות ואפקטים בהקשר: סכימה שגויה או חסרה, סוגים לא נתמכים, גודל אפסי או שלילי, מגבלות סותרות או מקורות חיצוניים חסרים. גדולים להזרמת נתונים כדי לחסוך בזיכרון. פיזור לא תואם או seeds לא תקפים יגרמו להגדרת ברירת מחדל דטרמיניסטית. תעשייה/אזור ולוקליזציה: תומך בפורמטים אזוריים של תאריכים ומספרים, אזורי זמן ומטבעות אם נוכחים בשדות. תואם מדיניות פרטיות כאשר רלוונטי ומאפשר מגבלות אזוריות לפי סכימה. הנחות והחרגות: הנחה כי נתונים הם סינתטיים בלבד; לא כולל נתוני ייצור אמיתיים, נתונים מסווגים של משתמשים אמיתיים או הבטחות לעמידה בחקיקה. מקורות נתונים חיצוניים אופציונליים; שדות בינאריים לא נוצרים אלא אם צוין.