העברת כל נתוני הארגון
Data warehouse-ל
ועל הפופולריות ,(DWH)
ELT- של ה
(Data העברת הנתונים ממערכות בארגון למסד נתונים מרכזי
מביאה- ELT, באמצעות השיטה הפופולארית) Warehouse
!עימה יתרונות רבים! הנה כמה: עלות, זמן, סקלביליות ועוד
העברת נתונים ממערכות ארגוניות למסד נתונים מרכזי היא ללא ספק משימה ברת
משמעות רבה לכל ארגון שעובר תהליך שכזה. קיימות מגוון שיטות, אך כאן נרצה לחלוק
!על יתרונותיה ELT עמכם את שיטת ה
Amazon Athena
Amazon Athena is a serverless, interactive analytics service built on open-source frameworks, supporting open-table and file formats. Athena provides a simplified, flexible way to analyze petabytes of data where it lives.
Data Warehouse
כעת הנתונים נמצאים ב Data Warehouse ומוכנים לאנליסטים לבצע שליפות, ולכלי BI כגון Power BI, Tableau, Pyramid, Qlik, QuickSight להציג דשבורים ודוחות.
בשנים האחרונות היתה התפתחות משמעותית בתחום הענן, ויותר ויותר חברות מבינות את היתרונות של העברת המערכות שלהן לענן.
!ישנן הרבה בשורות BI גם בתחום ה
לפני השימוש בענן, שרתי ה-DWH המסורתיים כגון Oracle או SQL Server היו מוגבלים במשאבים בהתאם לשרת הפיזי בו הם היו מותקנים. כדי לא לפגוע במשתמשי הקצה ע"י יצירת עומסים על שרת ה DWH, השיטה הנכונה היא לבצע את הטרנספורמציה לנתונים בשרתים ייעודים עם כלים ETL כגון SSIS, DataStage, Informatica וכו', ורק לאחר סיום הטרנספורמציה, לטעון את הנתונים הסופיים ל DWH כשלב אחרון.
...ועוד בשורות
כיוון שנפתחו אפשרויות חדשות של יישום ה Data Warehouse בכלים סקלביליים בענן, כגון snowflake, synapse, redshift, google bigquery – הוסרה הלכה למעשה מגבלת המשאבים, ולפיכך במקום לעבור בדרך המסורתית ETL, אפשר כעת לשנות את סדר הפעולות ולבצע ELT, כלומר לבצע את שלב הטרנספורמציה אחרי טעינת הנתונים הגולמיים ל Data Warehouse, ולהשתמש במשאבי ה DWH עצמו לבצע טרנספורמציות.
נו, בסדר, מה הביג דיל? ETL, ELT. מה בדיוק הבשורה אם בשורה התחתונה מגיעים לאותה תוצאה?