أطلقت WhyLabs LangKit لجعل النماذج اللغوية الكبيرة آمنة ومسؤولة
أعلنت شركة WhyLabs ، وهي شركة ناشئة مقرها سياتل توفر أدوات مراقبة للذكاء الاصطناعي وتطبيقات البيانات، اليوم عن إطلاق LangKit، وهي تقنية مفتوحة المصدر تساعد المؤسسات على مراقبة نماذجها اللغوية الكبيرة (LLMs) وحمايتها.
يمكّن Lang Kit المستخدمين من اكتشاف ومنع المخاطر والمشكلات في LLM، مثل اللغة السامة، وتسرب البيانات، والهلوسة، وحالات كسر الحماية.
أخبرت أليسيا فيزنجيك، الشريك المؤسس والرئيس التنفيذي لشركة WhyLabs، موقع VentureBeat في مقابلة حصرية قبل إطلاق المنتج اليوم أن المنتج مصمم لمساعدة المؤسسات على مراقبة كيفية عمل أنظمة الذكاء الاصطناعي الخاصة بهم والتقاط المشاكل قبل أن تؤثر على العملاء أو المستخدمين.
وقالت: ” يعتبر LangKit تتويجًا للمقاييس التي تعتبر بالغة الأهمية لرصد نماذج LLM”. “بشكل أساسي، ما فعلناه هو أننا اتخذنا هذه المجموعة الواسعة من المقاييس الشائعة التي يستخدمها عملاؤنا لمراقبة LLMs ، وقمنا ببنائها في LangKit.”
تلبية معايير LLM سريعة التطور
تم بناء LangKit على مبدأين أساسيين: المصادر المفتوحة وقابلية التوسع. يعتقد Visnjic أنه من خلال الاستفادة من مجتمع المصادر المفتوحة وإنشاء منصة قابلة للتوسيع بشكل كبير، يمكن لـ WhyLabs مواكبة مشهد الذكاء الاصطناعي المتطور واستيعاب احتياجات العملاء المتنوعة، لا سيما في صناعات مثل الرعاية الصحية والتكنولوجيا المالية، التي لديها معايير أمان أعلى.
بعض المقاييس التي يوفرها LangKit هي تحليل المشاعر واكتشاف السمية واستخراج الموضوع وتقييم جودة النص واكتشاف معلومات التعريف الشخصية (PII) واكتشاف كسر الحماية.
يمكن أن تساعد هذه المقاييس المستخدمين على التحقق من صحة المطالبات والاستجابات الفردية وحمايتها، وتقييم امتثال سلوك LLM مع السياسة، ومراقبة تفاعلات المستخدم داخل تطبيق مدعوم من LLM، واختبار A / B عبر إصدارات LLM المختلفة والسريعة.
يقول Visnjic إن LangKit سهل الاستخدام نسبيًا ويتكامل مع العديد من الأنظمة الأساسية والأطر الشائعة، بما في ذلك OpenAI GPT-4 وHugging Face Transformers وAWS Boto3 والمزيد.
يمكن للمستخدمين البدء ببضعة أسطر فقط من كود Python واستخدام النظام الأساسي لتتبع المقاييس بمرور الوقت وإعداد التنبيهات وحواجز الحماية.
يمكن للمستخدمين أيضًا تخصيص وتوسيع LangKit بنماذجهم ومقاييسهم لتناسب حالات الاستخدام الخاصة بهم.
أشاد المستخدمون الأوائل بالمقاييس الجاهزة للحل وسهولة الاستخدام وقدرات التوصيل والتشغيل، وفقًا لـ Visnjic.
أثبتت هذه الميزات أنها ذات قيمة خاصة لأصحاب المصلحة في الصناعات المنظمة، حيث يوفر LangKit رؤى مفهومة لنماذج اللغة، مما يتيح مزيدًا من المحادثات التي يمكن الوصول إليها حول التكنولوجيا.
سوق ناشئ لمراقبة الذكاء الاصطناعي
قال Visnjic أن LangKit يعتمد على ردود الفعل والتعاون من عملاء WhyLabs، الذين يتراوحون من شركات Fortune 100 إلى الشركات الناشئة الأولى في مجال الذكاء الاصطناعي في مختلف الصناعات.
قالت إن LangKit يساعدهم على اكتساب الرؤية والتحكم في LLMs في الإنتاج.
“مع LangKit ، ما يمكنهم القيام به هو تشغيل… اختبارات تكامل LLM متخصصة للغاية، حيث يحددون مجموعة من المطالبات مثل المجموعة الذهبية من المطالبات، والتي يجب أن يكون نموذجهم جيدًا في الاستجابة. ثم يقومون بتشغيل هذه المجموعة الذهبية من المطالبات في كل مرة يقومون فيها بإجراء تغييرات صغيرة إما على النموذج نفسه، أو على بعض الجوانب الهندسية السريعة، أوضح فيزنجيك.
من بين أوائل مستخدمي LangKit، Symbl.AI و Tryolabs ، وكلاهما قدم ملاحظات قيمة للمساعدة في تحسين المنتج.
تقدم Try labs، وهي شركة تركز على مساعدة المؤسسات على تبني نماذج لغوية كبيرة، رؤى من مجموعة متنوعة من حالات الاستخدام.
من ناحية أخرى، يعد Symbl.AI عميلًا نموذجيًا يستخدم LangKit لمراقبة تطبيقه المدعوم من LLM في الإنتاج.
“في حالتهم [Symbl.AI’s]، لديهم تطبيق يعمل بنظام LLM، وهو قيد الإنتاج، ولديهم عملاء يتفاعلون معه. وهم يرغبون في الحصول على تلك الشفافية في كيفية القيام بذلك.
كيف يتصرف مع مرور الوقت؟ وقال فيزنجيتش: “إنهم يرغبون في امتلاك القدرة على إقامة حواجز حماية”.
نموذج مراقبة مصمم للمؤسسات
تم تصميم LangKit خصيصًا للتعامل مع الأنظمة عالية الإنتاجية والوقت الفعلي والآلية التي تتطلب نطاقًا واسعًا من المقاييس والتنبيهات لتتبع سلوك LLM وأدائه.
على عكس النهج القائم على التضمين الذي يشيع استخدامه لرصد LLM وتقييمه، يستخدم LangKit نهجًا قائمًا على المقاييس يكون أكثر ملاءمة لحالات الاستخدام القابلة للتطوير والتشغيل.
قال Visnjic: “عندما تتعامل مع أنظمة عالية الإنتاجية في الإنتاج، تحتاج إلى إلقاء نظرة على المقاييس”.
“تحتاج إلى تحديد أنواع الإشارات التي ترغب في تتبعها أو التي يحتمل أن يكون لها نطاق واسع من الإشارات. ثم تريد استخراج هذه المقاييس، وتريد نوعًا من خط الأساس، وتريد مراقبته بمرور الوقت بأكبر قدر ممكن من الأتمتة “.
سيتم دمج LangKit في منصة المراقبة AI الخاصة بـ WhyLabs، والتي تقدم أيضًا حلولًا لمراقبة الأنواع الأخرى من تطبيقات الذكاء الاصطناعي، مثل حفلات الزفاف وأداء النموذج وانحراف البيانات غير المنظمة.
تأسست Why Labs في عام 2019 على يد مهندسي التعلم الآلي السابقين في أمازون وبدعم من Andrew Ng’s AI Fund وMadrona Venture Group وDefy Partners وBezos Expeditions.
تم احتضان الشركة أيضًا في معهد ألين للذكاء الاصطناعي (AI2).
يتوفر LangKit اليوم كمكتبة مفتوحة المصدر على GitHub وكحل SaaS على موقع WhyLabs. يمكن للمستخدمين أيضًا التحقق من دفتر ملاحظات تجريبي وفيديو نظرة عامة لمعرفة المزيد حول ميزات وقدرات LangKit.
المصدر: venturebeat
قد يهمك:
