يجلب LakeFS التفرع إلى بحيرات البيانات
هل يمكن للمؤسسات أن تجد طريقة أفضل لتنظيم هجمة البيانات التي لا هوادة فيها؟ يعتقد LakeFS الجواب: إصدار la Git.
يوفر LakeFS الفرصة لإنشاء وتتبع إصدارات مختلفة من البيانات، وتقليد بشكل أساسي العملية التي يستخدمها المطورون لتنظيم الكود.
في 27 يونيو، أعلنت الشركة عن التوفر العام لخدمتهم، LakeFS Cloud . ستتمكن الفرق من استخدامه لمتابعة تطور الإصدارات المختلفة من بياناتهم تمامًا كما يفعلون مع الإصدارات المختلفة من التعليمات البرمجية الخاصة بهم.
“LakeFS هي في الواقع بنية تحتية. تشرح إينات أور، الشريك المؤسس والرئيس التنفيذي لشركة LakeFS، أنها تقع على رأس البيانات.
“إنها واجهة بين بحيرة البيانات والتطبيقات. لذلك يمكن لأي تطبيق الاستمتاع بالعمليات المشابهة لـ Git التي تقدمها LakeFS، وتتم إدارة البيانات من خلال واجهة واحدة متسقة للمؤسسة “.
لفترة طويلة، تعامل المطورون مع البرامج والبيانات بشكل مختلف. أنشأ المبرمجون أنظمة إصدار مثل Git للمساعدة في تنظيم تطوير البرامج من خلال تتبع التغييرات الصغيرة والكبيرة.
تعتمد الفرق على الأداة للحفاظ على عمل المبرمجين المختلفين منفصلاً حتى يحين وقت دمج الإصدار النهائي وشحنه.
تعمل فرق البرمجيات بشكل روتيني مع العشرات أو المئات أو حتى الآلاف من الإصدارات المختلفة مرتبة في شجرة مجازية ذات فروع.
ومع ذلك، فقد تم تخزين البيانات بشكل عام في أجزاء منفصلة. غالبًا ما يقوم المطورون بعمل نسخ كاملة من اللقطات أو النسخ الاحتياطية المختلفة التي يتم التقاطها في أوقات مختلفة.
كان تتبع الاختلافات أمرًا صعبًا وتسبب انتشار النسخ في حدوث ارتباك وفواتير كبيرة للتخزين.
“لم تحذرنا السحابة أبدًا من تعتم البيانات. نظرًا لأن نعمة التخزين اللامتناهي سرعان ما أصبحت فوضى لا يمكن السيطرة عليها، فهناك حاجة لتقنيات مثل LakeFS لجعل البيانات قابلة للوصول مرة أخرى، “أوضح سيفان بيركوفيتشي، كبير مسؤولي التكنولوجيا في شركة التشخيص الطبي كاريوس، التي كانت تختبر المنتج بعمله على الذكاء الاصطناعي . وجمع البيانات.
LakeFS: الأنظمة والخدمات
تم تصميم LakeFS للعمل مع مخازن الكائنات مثل S3 وأنظمة إدارة البيانات المختلفة مثل Snowflake أو BigQuery.
تقدم الخدمة واجهة واحدة للتخزين والاسترداد ثم تمرر البيانات إلى خدمة خلفية مثل AWS أثناء تتبع التفرع الحالي.
تتخيل LakeFS أن المجموعات قد تعمل مع العديد من موفري التخزين المختلفين. يتيح الملعب التوضيحي للمستخدمين فرصة تجربة الكود دون تثبيته.
سيساعد النظام الفرق من خلال تتبع الفروع المختلفة ودمجها فقط عند الضرورة. قد يبدأ المطور في تجربة ميزة جديدة عن طريق إنشاء فرع من مجموعة البيانات الرئيسية قيد الإنتاج حاليًا.
لن تكون هناك حاجة لعمل نسخة كاملة للاختبار وسيتم الاحتفاظ بأي تغييرات أدخلتها التجارب الجديدة في فرع منفصل لا يؤثر على إصدار الإنتاج الرئيسي.
قال Orr: “من السهل جدًا إحداث فوضى في S3 ووجود نسخ متناثرة لسنوات لا يمكن لأحد حذفها”.
“عندما تعمل مع LakeFS ، لديك الشفافية لإدارة بياناتك بشكل صحيح والقدرة على ربط الاحتفاظ بك باحتياجات عملك لأنك تعلم أن هذا الفرع لا يتم استخدامه. أنت تعلم أن هذا الملف لا يشير إليه أي فرع من فروع LakeFS “.
يوفر LakeFS للمطورين خيار إنشاء فروع مختلفة ثم دمجها أو حذفها حسب الضرورة. كما يوفر خطافات الويب بحيث يمكن دمج العمليات مع عدد من خطوط أنابيب التطوير الأخرى المستخدمة للتكامل والنشر المستمر.
“منذ تقديم LakeFS إلى بيئة بيانات الإنتاج لدينا ، استمتعنا بفوائد العمليات الذرية والمعزولة في خطوط أنابيب البيانات الخاصة بنا .
وقد سمح لنا ذلك بقضاء المزيد من الوقت في تحسين الجوانب الأخرى لمنصة البيانات الخاصة بنا، ووقت أقل في التعامل مع التداعيات الناجمة عن ظروف السباق والعمليات الفاشلة جزئيًا، “كما كتب Lior Resisi، رئيس فريق منصة البيانات في Windward.
منافسو بحيرة البيانات
بدأت العديد من شركات قواعد البيانات الأخرى في طرح مناهج مماثلة. يقدم كل من Planetscale و Neon ، على سبيل المثال، الفرصة لتقسيم البيانات المخزنة في أنظمتها أو تفكيكها، والتي تستند إلى قواعد بيانات مفتوحة المصدر مثل MySQL أو PostgreSQL.
أطلقوا إصداراتهم مؤخرًا وركزوا على تقديم نفس واجهة قاعدة البيانات التي اعتاد عليها المطورون على مر السنين.
تم تصميم LakeFS للعمل على مستوى أدنى مع تخزين الكائنات العشوائي. تقبل واجهة برمجة التطبيقات (API) استدعاءات كتل البيانات المخزنة في الحاويات.
يتم تخزين معلومات التفرع جنبًا إلى جنب كبيانات تعريف وتستخدم، عند الضرورة، لدمج الكائنات أو حذفها.
أوضح Orr: “أعتقد أنه من المهم التأكيد على أننا حياديون في التنسيق وأننا مكملون جدًا لتنسيقات الجداول المفتوحة مثل Delta Lake أو Iceberg “.
يتيح ذلك للمطورين العمل مع مجموعات بيانات كبيرة وأكثر تنوعًا والتي غالبًا ما تكون منتشرة بين المنتجات والصوامع المختلفة.
ومع ذلك، تعد الشركة بأنها ستوسع واجهاتها لتعمل مع خيارات التخزين الأخرى. وهم يتصورون أن LakeFS يمكن أن تصبح واجهة برمجة تطبيقات شائعة يستخدمها المطورون.
التوفير في الوقت ورسوم التخزين للنسخ الإضافية يبرر التكلفة الإضافية.
“هذه هي رؤيتنا” ، يقول أور. “في نهاية اليوم ، لا يقتصر العمل على مخازن الكائنات فحسب ، بل على جميع مصادر البيانات التي لديك.”
بدأ المنتج كمشروع مفتوح المصدر برعاية شركة Treeverse ، وهي شركة أمريكية تأسست عام 2020 من قبل Orr وOz Katz. يشمل المستثمرون Dell Technologies Capital وNorwest Venture Partners وZeev Ventures.
المصدر: venturebeat
شاهد ايضا:
