نموذج اللغة مفتوحة المصدر المسمى Dolly 2.0 تم تدريبه بشكل مشابه لـ ChatGPT
تم تدريب Dolly 2.0 على مجموعة بيانات مصدرها الإنسان ومفتوحة المصدر من المطالبات والاستجابات بنسبة 100٪
أعلنت Databricks عن إصدار أول نموذج لغة مضبوطة التعليمات مفتوحة المصدر، يسمى Dolly 2.0. تم تدريبه باستخدام منهجية مماثلة مثل InstructGPT ولكن مع مجموعة بيانات ذات جودة أعلى مطالب بها ومفتوحة المصدر بنسبة 100٪.
هذا النموذج مجاني للاستخدام، بما في ذلك للأغراض التجارية، لأن كل جزء من النموذج مفتوح المصدر بنسبة 100٪.
تدريب تعليمي مفتوح المصدر
ما يجعل ChatGPT قادرًا على اتباع التوجيهات هو التدريب الذي يتلقاه باستخدام التقنيات الموضحة في ورقة بحث InstructGPT .
الاختراق الذي تم اكتشافه باستخدام InstructGPT هو أن نماذج اللغة لا تحتاج إلى مجموعات تدريب أكبر وأكبر.
باستخدام التدريب البشري على الأسئلة والأجوبة، تمكنت OpenAI من تدريب نموذج لغوي أفضل باستخدام معلمات أقل بمئة مرة من النموذج السابق، GPT-3.
استخدمت Databricks نهجًا مشابهًا لإنشاء مجموعة بيانات سريعة واستجابة تسمى databricks-dolly-15k.
تم إنشاء مجموعة البيانات السريعة / الاستجابة الخاصة بهم دون إلغاء منتديات الويب أو Reddit.
databricks-dolly-15k هي مجموعة بيانات تم إنشاؤها بواسطة موظفي Databricks ، وهي مجموعة أصلية 100٪ تم إنشاؤها بواسطة الإنسان من 15000 زوج موجه واستجابة مصمم لتدريب نموذج لغة Dolly 2.0 بنفس الطريقة التي تم بها إنشاء نموذج ChatGPT باستخدام InstructGPT.
تشرح صفحة Hugging Face لمجموعة البيانات كيف قاموا بذلك:
“databricks-dolly-15k هي مجموعة بيانات مفتوحة المصدر لسجلات متابعة التعليمات المستخدمة في تدريب قواعد البيانات / dolly-v2-12b التي تم إنشاؤها بواسطة الآلاف من موظفي Databricks في العديد من الفئات السلوكية الموضحة في ورقة InstructGPT ، بما في ذلك العصف الذهني والتصنيف، ضمان الجودة المغلقة، التوليد، استخراج المعلومات، فتح ضمان الجودة، والتلخيص.
… تمت دعوة موظفي Databricks لإنشاء أزواج سريعة / استجابة في كل فئة من فئات التعليمات الثمانية المختلفة، بما في ذلك الفئات السبع الموضحة في ورقة InstructGPT ، بالإضافة إلى فئة الشكل الحر المفتوح.
تم توجيه المساهمين لتجنب استخدام المعلومات من أي مصدر على الويب باستثناء ويكيبيديا (لمجموعات فرعية معينة من فئات التعليمات)، وتم توجيههم صراحة لتجنب استخدام الذكاء الاصطناعي في صياغة التعليمات أو الردود. تم تقديم أمثلة على كل سلوك لتحفيز أنواع الأسئلة والتعليمات المناسبة لكل فئة.
في منتصف عملية توليد البيانات، تم منح المساهمين خيار الإجابة على الأسئلة التي طرحها المساهمون الآخرون. طُلب منهم إعادة صياغة السؤال الأصلي واختيار الأسئلة التي يتوقع منهم بشكل معقول الإجابة عنها بشكل صحيح “.
اكتب محتوى جذابًا بأسلوبك الفريد
أتمتة إنشاء المحتوى بالكامل؛ الحصول على أفكار محتوى مخصصة؛ وكتابة المقالات وتحسينها ونشرها بنقرة واحدة – باستخدام ContentShake.
تدعي Databricks أن هذا قد يكون أول مجموعة بيانات تعليمات أنشأها الإنسان تم إنشاؤها لتدريب نموذج لغة على اتباع التعليمات، تمامًا كما يفعل ChatGPT.
كان التحدي يتمثل في إنشاء مجموعة بيانات أصلية 100٪ ليس لها أي علاقة بـ ChatGPT أو أي مصدر آخر له ترخيص مقيد.
تم تحفيز الموظفين من خلال مسابقة للمساهمة في توليد 15000 موجه / استجابة عبر سبع فئات من المهام مثل العصف الذهني والتصنيف والكتابة الإبداعية.
تؤكد Databricks أن مجموعة تدريب databricks-dolly-15k قد تكون أفضل من مجموعة البيانات المستخدمة لتدريب ChatGPT.
لاحظوا أنه على الرغم من أن مجموعة البيانات الخاصة بهم أصغر من تلك المستخدمة لتدريب نموذج Stanford Alpaca ، إلا أن نموذجهم كان يعمل بشكل أفضل لأن بياناتهم ذات جودة أعلى.
يكتبون:
“نموذج Dolly 2.0، المستند إلى Pythia-12b من EleutherAI ، أظهر تعليمات عالية الجودة بعد السلوك. بعد فوات الأوان، هذا ليس مفاجئًا.
تحتوي العديد من مجموعات بيانات التعليمات التي تم إصدارها في الأشهر الأخيرة على بيانات مركبة، والتي غالبًا ما تحتوي على هلوسة وأخطاء في الحقائق.
من ناحية أخرى، يتم إنشاء databricks-dolly-15k بواسطة محترفين، وهي ذات جودة عالية وتحتوي على إجابات طويلة لمعظم المهام.
… لا نتوقع أن تكون Dolly على أحدث طراز من حيث الفعالية.
ومع ذلك، نتوقع أن تكون Dolly ومجموعة البيانات مفتوحة المصدر بمثابة البذرة للعديد من أعمال المتابعة، والتي قد تعمل على تمهيد نماذج لغة أكثر قوة “.
قيود على مجموعة البيانات
تقر صفحة GitHub الخاصة بمجموعة البيانات بأنه قد يكون هناك بعض أوجه القصور في مجموعة البيانات.
تم استخدام بيانات ويكيبيديا لبعض التدريب في سياق إنشاء المطالبات والاستجابات. وبالتالي، فمن الممكن أن ينعكس التحيز الموجود في ويكيبيديا في مجموعة البيانات الناتجة.
لم يكن بعض الموظفين الذين عملوا على إنشاء مجموعة البيانات من المتحدثين الأصليين للغة الإنجليزية، مما قد يؤدي إلى إدخال بعض الحالات الشاذة في مجموعة البيانات.
قد يؤثر التركيب الديموغرافي للموظفين الذين أنشأوا مجموعة البيانات في حد ذاته على مجموعة البيانات لاحتواء التحيزات الخاصة بهؤلاء الموظفين.
على الرغم من أوجه القصور المحتملة في مجموعة البيانات، عبرت Databricks عن جودة أعلى.
بالإضافة إلى ذلك، تم تصميم Dolly 2.0 ليكون بمثابة نقطة انطلاق للآخرين لإنشاء إصدارات أفضل وابتكارها.
تصر Databricks على أن الذكاء الاصطناعي المفتوح المصدر أفضل
أحد الدوافع وراء إنشاء Dolly 2.0 هو أن مستخدمي البيانات يمكنهم امتلاك النماذج التي أنشأوها ويمكنهم حماية بياناتهم بشكل أفضل من خلال عدم الاضطرار إلى مشاركتها مع طرف ثالث.
كما أنهم يعتقدون أن أمان الذكاء الاصطناعي لا ينبغي أن يتركز في أيدي ثلاث شركات كبيرة، بل يجب توزيعه بين جميع أصحاب المصلحة.
تكتسب المصادر المفتوحة زخمًا وسيكون من المثير للاهتمام أن نرى مكان هذه الصناعة في غضون العامين المقبلين.
يمكن العثور على مزيد من المعلومات حول مكان تنزيل طراز Dolly 2.0 وكيفية استخدامه في إعلانهم.
المصدر: searchenginejournal
شاهد المزيد:
