העברת כל נתוני הארגון לData warehouse (DWH), ועל הפופולריות של ה ELT

העברת נתונים ממערכות ארגוניות למסד נתונים מרכזי היא ללא ספק משימה ברת משמעות רבה לכל ארגון שעובר תהליך שכזה. קיימות מגוון שיטות, אך כאן נרצה לחלוק עמכם את שיטת ה ELT על יתרונותיה!

רובנו מכירים את השיטה הותיקה להעברת נתונים למסד נתונים מרכזי – ETL

ראשית, נזכיר בגין מה עומדת כל אות ב ETL:

E – Extract – משיכת הנתונים ממערכות המקור.
T – Transform – ביצוע טרנספורמציה לנתונים כדי להתאים אותם למודל נתונים אנליטי.
L – Load – טעינת המודל האנליטי ל Data Warehouse.

כעת הנתונים נמצאים ב Data Warehouse ומוכנים לאנליסטים לבצע שליפות, ולכלי BI כגון Power BI, Tableau, Pyramid, Qlik, QuickSight להציג דשבורים ודוחות.

בשנים האחרונות היתה התפתחות משמעותית בתחום הענן, ויותר ויותר חברות מבינות את היתרונות של העברת המערכות שלהן לענן.

גם בתחום ה BI ישנן הרבה בשורות!

לפני השימוש בענן, שרתי ה-DWH המסורתיים כגון Oracle או SQL Server היו מוגבלים במשאבים בהתאם לשרת הפיזי בו הם היו מותקנים. כדי לא לפגוע במשתמשי הקצה ע"י יצירת עומסים על שרת ה DWH, השיטה הנכונה היא לבצע את הטרנספורמציה לנתונים בשרתים ייעודים עם כלים ETL כגון SSIS, DataStage, Informatica וכו', ורק לאחר סיום הטרנספורמציה, לטעון את הנתונים הסופיים ל DWH כשלב אחרון.

כיוון שנפתחו אפשרויות חדשות של יישום ה Data Warehouse בכלים סקלביליים בענן, כגון snowflake, synapse, redshift, google bigquery – הוסרה הלכה למעשה מגבלת המשאבים, ולפיכך במקום לעבור בדרך המסורתית ETL, אפשר כעת לשנות את סדר הפעולות ולבצע ELT, כלומר לבצע את שלב הטרנספורמציה אחרי טעינת הנתונים הגולמיים ל Data Warehouse, ולהשתמש במשאבי ה DWH עצמו לבצע טרנספורמציות.
נו, בסדר, מה הביג דיל? ETL, ELT. מה בדיוק הבשורה אם בשורה התחתונה מגיעים לאותה תוצאה?

ובכן חברים, יש הרבה יתרונות בעבודה בשיטת ELT, ואציין רק כמה מהם:

1. אין ספק שהעלויות לביצוע טרנספורמציות ב DWH זולות יותר משימוש בשרת ייעודי לכך. אפילו שהיום יש כלי SAAS כמו Data Factory, Rivery, AWS Glue וכו', עדיין יהיה זול יותר לבצע את הטרנספורמציה ב DWH.
2. זמן תחילת הפיתוח מהיר יותר! אפשר להתחיל לפתח Extract ו Load עוד לפני שסיימנו לאפיין את המודל בתצורתו הסופית. מספיק שיודעים אילו טבלאות רלוונטיות למודל, אפשר כבר להתחיל לפתח. לאחר שאפיון המודל יסתיים, יישאר רק לבצע את שלב ה T. וגם הוא פשוט! כי כותבים אותו ב SQL, שכמעט כל תוכניתן מכיר ויודע.
3. כיוון שהנתונים הגולמיים נמצאים ב DWH (בניגוד ל ETL ששומר רק את התוצר הסופי), יש מוכנות גדולה יותר לפתח Machine Learning, כיוון שכל הנתונים הגולמיים מרוכזים במקום מרכזי אחד ומוכנים לשליפה.
4. ביצוע של הטרנספורמציה ב־DWH סקלבילי מאפשר התמודדות טובה יותר עם Big Data רציני.
5. טרנספורמציה של unstructured data קל ופשוט יותר. היום יש תמיכה מעולה בשליפת נתונים שהם unstructered בכלים כמו snowflake, מה שהיה מורכב יותר בשימוש בכלי ETL מסורתיים.

ישנם עוד יתרונות פרוייקטלים ופונקציונאלים בתהליכי ETL- אבל אם הסתקרנתם – אשאיר לכם משימה לחפש אותם בעצמכם!