תחזית Fivetran: "טכנולוגיית Apache Arrow תהפוך למרכיב חיוני"

"Apache Arrow הוא פורמט סידורי נפוץ המאפשר למערכות שונות להחליף נתונים בקצב גבוה מאוד", אמר ג'ורג' פייזר, מנכ"ל Fivetran

קרדיט: Fivetran

השימוש באגמי נתונים (Data lack) ילך ויפחת
לפני מספר שנים, ארגונים רבים אימצו שימוש באגמי נתונים בשל העובדה שהשימוש בהם היה חסכוני. עד היום, חברות וארגונים עדיין עובדים עם אותם אגמי נתונים שקיבלו בירושה מהתקופה הזו. "הצורך בשימוש באגמי נתונים במערכי הנתונים של חברות ילך ויתכווץ במהלך השנה", אמר ג'ורג' פייזר, מנכ"ל Fivetran, המספקת פתרונות אוטומטיים מנוהלים לאינטגרציית נתונים בענן. 

"לטענתו, לאור צמיחתם של מחסני הנתונים (data warehouses) המאפשרים להפריד בין מחשוב לבין אחסון, כבר לא יהיו סיבות טכניות לעשות שימוש באגמי הנתונים הללו. מחסן נתונים מהסוג החדש מעניק לארגון את כל היתרונות שאגמי נתונים מעניקים לו ואף מעבר. מחסני נתונים הם ידידותיים יותר למשתמש מאשר אגמי נתונים. 

"בעולם של מערך נתונים מודרני (Modern Data Stack – MDS) אגמי נתונים הופכים להיות טכנולוגיה מיושנת". "מעבר לכך" המשיך פייזר, "לארגון שבונה מערכת נתונים חדשה ב-2021, אני ממליץ לבחון מחסני נתונים מבוססי ענן שנותנים מענה אידיאלי לניהול מערך נתונים מודרני". 

טכנולוגיית Apache Arrow תהפוך למרכיב חיוני 
"Apache Arrow היא טכנולוגיה נוספת שאני נרגש לגביה לקראת 2021 ומעבר לכך", אמר פייזר. "Apache Arrow הוא פורמט סידורי נפוץ המאפשר למערכות שונות להחליף נתונים בקצב גבוה מאוד. זהו פתרון אידיאלי עבור עומסי עבודה של פלטפורמות מדעי נתונים, שאינן SQL, ונמצאות במחסן נתונים. מספר מחסני נתונים החלו בהטמעת הטכנולוגיה עד כה, אבל עדיין יש לאן לשאוף. 

"אני חושב שאנחנו עומדים לראות מערכי נתונים רבים שמאמצים את הטכנולוגיה הזו במהלך השנה הבאה. זהו כלי חיוני והוא מהווה גורם מרכזי בהפיכת מערך הנתונים המודרני לכזה שמתאים לעומסי עבודה של למידת מכונה (ML) ובינה מלאכותית (AI)".

יכולות עיבוד הנתונים ילכו ויתפתחו
עם הצורך של חברות לאחסן ולעבד כמות נתונים שהולכת וגדלה, כך גם נמשיך להיות עדים לפיתוח פתרונות ולשדרוג הכלים המאפשרים זאת בעולמות עיבוד ואחסון הנתונים. "כעת יותר מתמיד, אינטגרציה אוטומטית של נתונים היא הדרך היחידה לנוע קדימה. אנו רואים זינוק עצום בהיקף הנתונים ובמגוון המשאבים שחברות צריכות לעבד. אנו מודדים כעת דברים בזטה-בייט, שהם כמיליון פטה-בייט, ואין דרך חזרה - הנתונים רק הולכים להתרחב בארגון. הדרך היחידה לטפל בכך היא באמצעות אוטומציה" אמר פריז'ר האריס, סמנכ"ל מוצרים ב-Fivetran. 

לפיו, "ב- 2021, נמשיך לראות אימוץ של טכנולוגיות חדשות ואינטגרציה של מוצרים שנועדו לשפר תהליכי עבודה עבור אנליסטים. עם הגידול בהיקפי הנתונים, כך גם גובר הצורך בכלים אשר יכולים לתמוך בתפעול נתונים מתוחכם יותר. דוגמא נהדרת לכך היא dbt, כלי הנדסת האנליטיקה הפופולארי בקוד פתוח. אני חושב שהוא יהווה גורם חשוב במערך הנתונים המודרני ב-2021 ומעבר לה".

אולי יעניין אותך גם

ראש הממשלה נפתלי בנט עם ראש המוסד, דוד ברנע

צילום: חיים צח - לע״מ 

טור אישי | במוסד מייחלים לקצת שקט

למה הריאיון של יוסי כהן עם אילנה דיין עורר כעס? האם תחת ברנע יבצע המוסד פחות "מבצעים נועזים״? וגם: מי צפוי להתמנות בקרוב לראש השב"כ הבא? טור שבועי של עמיר רפפורט