چشم‌انداز صنعت داده در سال عجیب

شاید بهترین نمونه نمادین از این شرایط، عرضه اولیه جنجالی شرکت Snowflake باشد که در زمینه ارائه  پلت فرم داده ابری فعالیت می‌کند. این عرضه اولیه که دو هفته پیش اتفاق افتاد و ارزش بازار این شرکت را به ۶۹ میلیارد دلار رساند، بزرگ‌ترین عرضه اولیه یک شرکت نرم‌افزاری به حساب می‌آید. در همین دوره شرکت Palantir که یکی از فعالان حوزه تحلیل بزرگ‌داده‌هاست، توانست با تمرکز بر بخش مالی و دولتی فعالیتش را گسترش داده و در نهایت وارد بازار سهام شود تا به این ترتیب ارزش بازار آن به ۲۲ میلیارد دلار برسد. 

عرضه اولیه سهام دیگر شرکت‌های فعال در اکوسیستم داده هم روند بسیار خوبی در این دوره داشته که به افزایش چشمگیر ارزش بازار این شرکت‌ها منجر شده است. هر‌چند عوامل اقتصادی مختلفی در این مورد نقش دارند، اما در نهایت بازارهای مالی به یک واقعیت انکارناپذیر امتیاز و اعتبار داده‌اند و آن این است که هر شرکت مدرنی نه تنها باید یک شرکت نرم‌افزاری باشد، بلکه باید در حوزه داده هم فعال باشد. با اینکه همپوشانی‌ها و تداخل‌هایی میان نرم‌افزار و داده وجود دارد، اما تکنولوژی‌های داده ملزومات، ابزارها و تخصص خاص خود را دارند. حتی بعضی تکنولوژی‌های داده مانند یادگیری ماشینی رویکردهای فنی و تجاری کاملا متفاوتی دارند که امکان پیش‌بینی با دقت 90 تا 95‌درصد را فراهم می‌آورند. ارزیابی روند توسعه هوش مصنوعی و صنعت داده، فرآیندی مداوم است که تقریبا از 10 سال پیش تا حالا ادامه داشته و انتظار می‌رود تا سال‌های آینده هم ادامه داشته باشد. با این حال وب‌سایت VentureBeat به بررسی روند رشد این دو در سال‌جاری میلادی پرداخته است تا چشم‌انداز بهتری از وضعیت فعلی و پیش‌بینی‌های آینده را ایجاد کند. 

 ترندهای اصلی در زیرساخت داده

درحالی‌که شرکت‌ها از چند سال پیش شروع به استفاده از کاربردهای مختلف داده و هوش مصنوعی کرده‌اند، سعی دارند بهره بیشتری از این تکنولوژی‌ها ببرند. آنها می‌خواهند اطلاعات و داده‌های بیشتری را به شکلی سریع‌تر و ارزان‌تر پردازش کنند و از الگوهای یادگیری ماشینی بیشتری در تولیدات‌شان بهره بگیرند. همه اینها نیاز به زیرساخت بهتر برای داده‌ها و ایجاد نوآوری‌هایی در آن را به شکلی جدی‌تر مطرح می‌کند. 

رواج دسته داده‌ای مدرن: مفهوم دسته داده‌ای مدرن در واقع مجموعه‌ای از ابزارها و تکنولوژی‌هایی است که امکان تحلیل داده‌ها به خصوص برای داده‌های مبادله‌ای را فراهم می‌آورد. این مفهوم از سال 2012 و زمانی شکل گرفت که انبار داده‌های ابری آمازون با نام Redshift معرفی شد. اما دو سال بعد از آن و حتی در یک سال اخیر انبار داده‌های ابری به شدت رشد کرده و رواج یافته است تا جایی که در اکوسیستم و ابزارهای مورد استفاده شرکت‌ها هم نفوذ پیدا کرده است. ایده اصلی پشت دسته داده‌ای مدرن همان چیزی است که در تکنولوژی‌های قدیمی‌تر هم وجود داشت: ایجاد یک کانال ارتباطی داده‌ای که امکان دسترسی شما به داده از گروهی از منابع مختلف را فراهم کرده و آن را قبل از هر فرآیند پردازشی، در یک انبار داده مرکز ذخیره می‌کند. 

مهندسی داده در مسیر خودکار شدن: فرآیند داده‌کاوی، ذخیره و انتقال که به اختصار آن را ELT می‌نامند، به شکل سنتی فرآیند بسیار فنی و تکنیکی است که تا حد زیادی به مهندسی داده وابسته است. امروزه اما این فرآیند با استفاده از ابزارهای مدرن که نیاز به متخصصان واقعی دارد، راحت‌تر شده است. در انبار داده‌های ابری که هدف اصلی داده‌کاوی و ذخیره است - بدون اجبار برای انتقال آن- فرصت خوبی برای خودکار شدن بیشتر فرآیند مهندسی داده وجود دارد. همین فرصت بهانه شکل‌گیری و راه‌اندازی شرکت‌های تازه‌ای مانند Segment، Stitch و Fivetran شده است که انتظار می‌رود در سال‌های آینده روند رشد بسیار خوبی را تجربه کنند.

پررنگ‌تر شدن نقش تحلیلگران داده: در نتیجه روندهای جاری (که در بالا هم به بعضی از آنها اشاره شد)، انتظار می‌رود تحلیلگران داده نقش بسیار کلیدی و مهم‌تری در مدیریت و تحلیل داده‌ها پیدا کنند. تحلیلگران داده، مهندسان خبره و باتجربه SQL –زبان مورد استفاده برای مدیریت داده‌های موجود در دیتابیس‌ها- نیستند. آنها ممکن است کمی از زبان‌های برنامه‌نویسی بدانند، اما عملکرد مهندسان را ندارند. گاهی اوقات آنها تیمی متمرکز هستند و گاهی در بخش‌ها و واحدهای تجاری مختلفی مشغول به کار می‌شوند. به‌طور سنتی تحلیلگران داده تنها کار مدیریت آخرین داده‌ها در کانال‌های انتقالی را برای استفاده در کاربردهای پردازش، هوش تجاری و مجازی‌سازی، انجام می‌دهند. حالا اما از آنجا که استفاده از انبار داده‌های ابری رواج قابل‌توجهی پیدا کرده است، تحلیلگران داده می‌توانند قلمرو فعالیت‌هایشان را گسترش داده و حتی بسیاری از وظایف قدیمی مهندسان داده را هم به عهده بگیرند. این باعث می‌شود که مهندسان داده همچنان کمیاب و گران‌قیمت باقی بمانند. براساس بعضی بررسی‌ها، تقریبا ده برابر مهندسان داده، تحلیلگر داده وجود دارد و حتی فرآیند آموزش آنها بسیار ساده‌تر و ارزان‌تر هم خواهد بود. با این اوصاف است که تعداد زیادی از شرکت‌های تازه در حوزه تولید ابزارهای مبتنی بر تحلیل داده شکل گرفته‌اند و حالا شاهد نسل جدیدی از استارت‌آپ‌های فعال در زمینه تحلیل داده هستیم. 

 پیچیدگی‌های باقیمانده

با وجود آنکه تمام این روندها برای ساده‌تر شدن فرآیند استفاده از داده‌های مفید برای کسب‌وکارها شکل گرفته‌اند، اما هنوز ایجاد تعادل میان ابزارهای موجود و نیازها و حرکت سریع‌تر به سمت استفاده از ابزارهای مدرن، پیچیدگی‌های خاص خودش را دارد. به‌طور کلی حجم داده‌های تولید شده توسط کسب‌وکارها همچنان روند رشد انفجاری دارد و تعداد منابع داده هم درحال افزایش است. این جریان نیاز به ابزارها و زیرساخت‌های مناسب را بیشتر از پیش کرده است. این روزها کانال‌های انتقال داده زیادی به‌صورت موازی در کسب‌وکارها وجود دارند و به همین دلیل است که ابزارها و مفاهیمی مانند دسته داده‌ای مدرن به سرعت در جهان رواج پیدا می‌کنند تا کار پردازش، انتقال و ذخیره داده‌ها را ساده‌تر کنند.