Big Data Spark

הכלי מאפשר עיבוד נתונים גדולים בהיקף באמצעות Spark. מיועד למהנדסי נתונים, מדעני נתונים וצוותי אנליטיקה האחראים לבניית צינורות נתונים מהימנים בין data lakes ו-warehouses. הוא תומך בהזלנת נתונים מ-HDFS, S3, Delta Lake ומקורות JDBC, ולאחר מכן טרנספורמציות deklarativ באמצעות DataFrame ו-Spark SQL. המטרה היא לספק צינורות שניתן לשחזר עם תקלות וזמן ביצועים שניתן למדוד.
מתחת למכסה, הוא בונה תכנית לוגית ופיזית, מחיל את אופטימיזציית Catalyst ומקומל קוד באמצעות Tungsten לשימוש זיכרון יעיל. Structured Streaming מבטיח עיבוד בדיוק פעם אחת, עם חלונות ונקודות ביקורת. הכלי מציע מחברים, משאבי תצורה וממשק ארכיטקטוני לתכנון, מעקב והרצה מחדש של שלבים שנכשלו. אינטגרציית ML via MLlib או רישומים חיצוניים נתמכת עבור feature stores והערכת מודלים.
מקרי שימוש כוללים ETL ל-data lakes, הנדסת תכונות עבור pipelines ML ולא dashboards בזמן אמת. על ידי הצעת מודל ביצוע עקבי בין batch ל-streaming, צוותים מצמצמים פערים בין סביבות ומאיצים ניסויים. הדיפרנציאטורים: שקיפות אופטימיזציה טבעית של Spark, הסברים אוטומטיים לתוכניות וכהק framework מחברים שקוף.