ما هو التضمين للذكاء الاصطناعي؟
عند تقديم سؤال إلى خوارزمية الذكاء الاصطناعي، يجب تحويله إلى تنسيق تستطيع الخوارزمية فهمه. غالبًا ما يسمى هذا ” تضمين مشكلة“، لاستخدام صيغة الفعل للكلمة. يستخدم العلماء أيضًا الكلمة كاسم ويتحدثون عن “التضمين”.
في معظم الحالات، تكون حفلات الزفاف عبارة عن مجموعات من الأرقام. غالبًا ما يتم ترتيبها في متجه لتبسيط تمثيلها. في بعض الأحيان يتم تقديمها كمصفوفة مربعة أو مستطيلة لتمكين بعض الأعمال الرياضية.
يتم إنشاء حفلات الزفاف من البيانات الأولية التي قد تكون صوتًا رقميًا أو فيديو أو معلومات نصية. إلى حد كبير، يمكن تحويل أي بيانات من تجربة أو جهاز استشعار إلى تضمين بشكل ما.
في بعض الحالات، تكون هذه عملية واضحة. يمكن نسخ الأرقام مثل درجات الحرارة أو الأوقات حرفيًا إلى حد كبير.
يمكن أيضًا تقريبها، وتحويلها إلى مجموعة مختلفة من الوحدات (على سبيل المثال درجة مئوية من فهرنهايت)، أو تطبيعها أو تنظيفها من الأخطاء البسيطة.
في حالات أخرى، إنه مزيج من الفن والمعرفة. تأخذ الخوارزميات المعلومات الأولية وتبحث عن الميزات والأنماط البارزة التي قد تساعد في الإجابة على السؤال المطروح للذكاء الاصطناعي.
على سبيل المثال، قد تبحث السيارة المستقلة عن أنماط مثمنة الأضلاع لتحديد علامات التوقف. وبالمثل، قد تبحث خوارزمية النص عن الكلمات التي لها دلالة غاضبة بشكل عام حتى تتمكن من قياس شعور العبارة.
ما هو هيكل تضمين الذكاء الاصطناعي؟
تحوّل خوارزمية التضمين هذه الملفات الأولية إلى مجموعات أبسط من الأرقام. عادة ما يكون هذا التنسيق العددي للمشكلة هو تبسيط متعمد لعناصر مختلفة من المشكلة.
إنه مصمم بحيث يمكن وصف التفاصيل بمجموعة أصغر بكثير من الأرقام. يقول بعض العلماء أن عملية التضمين تنتقل من تنسيق خام قليل المعلومات إلى تنسيق كثيف المعلومات للتضمين.
لا ينبغي الخلط بين هذا المتجه الأقصر وملفات البيانات الخام الأكبر حجمًا، والتي تعد في النهاية مجرد مجموعات من الأرقام.
جميع البيانات رقمية في شكل ما لأن أجهزة الكمبيوتر مليئة بالبوابات المنطقية التي يمكنها فقط اتخاذ القرارات بناءً على الأرقام.
غالبًا ما تكون الزخارف عبارة عن عدد قليل من الأرقام المهمة – وهي عبارة عن تغليف موجز للمكونات المهمة في البيانات.
قد يؤدي تحليل مشكلة رياضية، على سبيل المثال، إلى تقليل كل إدخال للاعب إلى الطول والوزن وسرعة الركض والقفز الرأسي.
قد تؤدي دراسة الطعام إلى تقليل كل عنصر قائمة محتمل إلى تكوينه من البروتين والدهون والكربوهيدرات.
يعتبر قرار ما يجب تضمينه وإهماله في التضمين فنًا وعلمًا. في كثير من الحالات، يعد هذا الهيكل وسيلة للبشر لإضافة معرفتهم بمنطقة المشكلة وترك المعلومات الدخيلة أثناء توجيه الذكاء الاصطناعي إلى قلب الأمر.
على سبيل المثال، يمكن تنظيم التضمين بحيث يمكن لدراسة الرياضيين استبعاد لون عيونهم أو عدد الوشم.
في بعض الحالات، يبدأ العلماء عمدًا بأكبر قدر ممكن من المعلومات ثم يتركون الخوارزمية تبحث في أكثر التفاصيل بروزًا.
في بعض الأحيان ينتهي التوجيه البشري باستبعاد التفاصيل المفيدة دون إدراك التحيز الضمني الذي يسببه القيام بذلك.
كيف تكون حفلات الزفاف متحيزة؟
تعد خوارزميات الذكاء الاصطناعي جيدة فقط مثل حفلات الزفاف الخاصة بهم في مجموعة التدريب الخاصة بهم وحفلات الزفاف الخاصة بهم جيدة فقط مثل البيانات الموجودة بداخلهم.
إذا كان هناك تحيز في البيانات الأولية التي تم جمعها، فإن الزخارف التي تم إنشاؤها منها ستعكس – على الأقل – هذا التحيز.
على سبيل المثال، إذا تم جمع مجموعة بيانات من بلدة واحدة، فستحتوي فقط على معلومات حول الأشخاص في تلك المدينة وتحمل معها كل خصوصيات السكان.
إذا تم استخدام الزخارف المبنية من هذه البيانات في هذه المدينة وحدها، فإن التحيزات ستناسب الناس. ولكن إذا تم استخدام البيانات لتلائم نموذجًا مستخدمًا للعديد من المدن الأخرى، فقد تكون التحيزات مختلفة تمامًا.
في بعض الأحيان يمكن أن تتسلل التحيزات إلى النموذج من خلال عملية إنشاء التضمين. تقلل الخوارزميات من كمية المعلومات وتبسطها. إذا أدى هذا إلى القضاء على بعض العناصر الحاسمة، فسوف ينمو التحيز.
هناك بعض الخوارزميات المصممة لتقليل التحيزات المعروفة. على سبيل المثال، قد يتم جمع مجموعة adataset بشكل غير كامل وقد تمثِّل بشكل مفرط، على سبيل المثال، عدد النساء أو الرجال في عموم السكان.
ربما استجاب البعض فقط لطلب الحصول على معلومات أو ربما تم جمع البيانات فقط في موقع متحيز. يمكن للنسخة المضمنة أن تستبعد بشكل عشوائي بعض المجموعات الممثلة بشكل زائد لاستعادة بعض التوازن بشكل عام.
هل هناك أي شيء يمكن فعله بشأن التحيز؟
بالإضافة إلى ذلك، هناك بعض الخوارزميات المصممة لإضافة توازن لمجموعة البيانات. تستخدم هذه الخوارزميات تقنيات إحصائية وذكاء اصطناعي لتحديد الطرق التي توجد بها ارتباطات خطيرة أو متحيزة في مجموعة البيانات.
يمكن للخوارزميات بعد ذلك إما حذف البيانات أو إعادة قياسها وإزالة بعض التحيز.
يمكن للعالم الماهر أيضًا تصميم حفلات الزفاف لاستهداف أفضل إجابة. يمكن للبشر الذين ينشئون خوارزميات التضمين انتقاء واختيار الأساليب التي يمكن أن تقلل من احتمالية التحيز. يمكنهم إما ترك بعض عناصر البيانات أو تقليل آثارها.
ومع ذلك، هناك حدود لما يمكنهم فعله حيال مجموعات البيانات غير الكاملة. في بعض الحالات، يكون التحيز إشارة سائدة في تدفق البيانات.
ما هي الهياكل الأكثر شيوعاً لحفلات الزفاف؟
تم تصميم حفلات الزفاف لتكون تمثيلات كثيفة المعلومات لمجموعة البيانات التي تتم دراستها. التنسيق الأكثر شيوعًا هو متجه أرقام الفاصلة العائمة.
يتم تحجيم القيم، أحيانًا لوغاريتميًا، بحيث يكون لكل عنصر من عناصر المتجه نطاق مماثل من القيم. يختار البعض القيم بين صفر وواحد.
أحد الأهداف هو التأكد من أن المسافات بين المتجهات تمثل الفرق بين العناصر الأساسية. هذا يمكن أن يتطلب بعض اتخاذ القرارات الفنية. قد يتم تقليم بعض عناصر البيانات. قد يتم تحجيم الآخرين أو دمجهم.
في حين أن هناك بعض عناصر البيانات مثل درجات الحرارة أو الأوزان التي هي أرقام فاصلة عائمة بشكل طبيعي على مقياس مطلق، فإن العديد من عناصر البيانات لا تناسب هذا بشكل مباشر.
بعض المعلمات هي قيم منطقية، على سبيل المثال، إذا كان الشخص يمتلك سيارة. البعض الآخر مأخوذ من مجموعة من القيم القياسية، على سبيل المثال، طراز السيارة وصنعها وطرازها العام.
التحدي الحقيقي هو تحويل النص غير المهيكل إلى متجهات مضمنة. أحد الخوارزميات الشائعة هو البحث عن وجود أو عدم وجود كلمات غير شائعة.
أي الكلمات التي ليست أفعالًا أو ضمائرًا أو كلمات لاصقة أخرى مستخدمة في كل جملة.
تتضمن بعض الخوارزميات الأكثر تعقيدًا Word2vec والتحليل الدلالي الكامن (LSA) وتخصيص Latent Dirichlet (LDA) و – نموذج موضوع Biterm (BTM).
هل هناك معايير لحفلات الزفاف؟
نظرًا لأن الذكاء الاصطناعي أصبح أكثر شيوعًا وشعبية، فقد أنشأ العلماء وشاركوا بعض خوارزميات التضمين القياسية.
غالبًا ما يتم تطوير هذه الإصدارات، التي غالبًا ما تكون محمية بتراخيص مفتوحة المصدر، بواسطة باحثين جامعيين يشاركونها لزيادة المعرفة.
الخوارزميات الأخرى تأتي مباشرة من الشركات. إنهم يبيعون بشكل فعال ليس فقط خوارزميات تعلم الذكاء الاصطناعي الخاصة بهم، ولكن أيضًا خوارزميات التضمين للمعالجة المسبقة للبيانات.
بعض المعايير المعروفة هي:
- Object2vec – من SageMaker من أمازون. تعثر هذه الخوارزمية على الأجزاء الأكثر بروزًا في أي كائن بيانات وتحافظ عليها. إنه مصمم ليكون قابلاً للتخصيص بدرجة عالية، بحيث يمكن للعالم التركيز على حقول البيانات المهمة.
- Word2vec – أنشأت Google Word2vec من خلال تحليل اللغة وإيجاد خوارزمية تقوم بتحويل الكلمات إلى زخارف متجهة من خلال تحليل السياق وإنشاء الزخارف التي تلتقط الأنماط الدلالية والنحوية. يتم تدريبه بحيث تنتهي الكلمات ذات المعاني المتشابهة بزخارف متجهية مماثلة.
- GloVe – قام باحثو جامعة ستانفورد ببناء هذه الخوارزمية التي تحاول تحليل البيانات حول استخدام الكلمات حول العالم. الاسم هو اختصار لـ Global Vectors.
- التأسيس – يستخدم هذا النموذج شبكة عصبية تلافيفية لتحليل الصور مباشرة ثم إنتاج حفلات الزفاف بناءً على المحتوى. جاء مؤلفوها الرئيسيون من Google والعديد من الجامعات الكبرى.
كيف يصمم قادة السوق حفلات الزفاف لخوارزميات الذكاء الاصطناعي الخاصة بهم؟
تمتلك جميع شركات الحوسبة الكبرى استثمارات قوية في الذكاء الاصطناعي وكذلك الأدوات اللازمة لدعم الخوارزميات. تعد المعالجة المسبقة لأي بيانات وإنشاء حفلات زفاف مخصصة خطوة أساسية.
يقدم SageMaker من أمازون، على سبيل المثال، روتينًا قويًا، Object2Vec، يحول ملفات البيانات إلى حفلات الزفاف بطريقة قابلة للتخصيص.
تتعلم الخوارزمية أيضًا أثناء تقدمها، وتتكيف مع مجموعة البيانات من أجل إنتاج مجموعة متسقة من متجهات التضمين.
كما أنها تدعم العديد من الخوارزميات التي تركز على البيانات غير المهيكلة مثل BlazingText لاستخراج ناقلات تضمين مفيدة من ملفات نصية كبيرة.
يدعم مشروع TensorFlow من Google أداة Universal Sentence Encoder لتوفير آلية قياسية لتحويل النص إلى حفلات الزفاف.
تم تدريب نماذج الصور الخاصة بهم مسبقًا أيضًا على التعامل مع بعض العناصر القياسية والميزات الموجودة في الصور.
يستخدم البعض هذه كأساس للتدريب المخصص على مجموعاتهم الخاصة من الكائنات في مجموعة الصور الخاصة بهم.
يقدم فريق أبحاث الذكاء الاصطناعي في Microsoft دعمًا واسعًا لعدد من نماذج حفلات الزفاف العالمية للنص.
نموذج الشبكة العصبية العميقة متعدد المهام، على سبيل المثال، يهدف إلى إنشاء نماذج قوية متسقة حتى عند العمل مع اللغة المستخدمة في مجالات مختلفة.
يستخدم نموذج DeBERT الخاص بهم أكثر من 1.5 مليار معلمة لالتقاط العديد من تعقيدات اللغة الطبيعية. تم أيضًا دمج الإصدارات السابقة مع أداة AutomatedML لتسهيل الاستخدام.
تدعم IBM مجموعة متنوعة من خوارزميات التضمين، بما في ذلك العديد من المعايير. كانت خوارزمية التضمين الكمومي مستوحاة من أجزاء من النظرية المستخدمة لوصف الجسيمات دون الذرية.
إنه مصمم للحفاظ على المفاهيم المنطقية والبنية أثناء العملية. يستخدم نهج MAX-Word الخاص بهم خوارزمية Swivel للمعالجة المسبقة للنص كجزء من التدريب لمشروع Watson الخاص بهم.
كيف تستهدف الشركات الناشئة حفلات الزفاف بالذكاء الاصطناعي؟
تميل الشركات الناشئة إلى التركيز على مجالات ضيقة من العملية حتى تتمكن من إحداث فرق. يعمل البعض على تحسين خوارزمية التضمين بأنفسهم بينما يركز البعض الآخر على مجالات معينة أو مجالات مطبقة.
أحد المجالات التي تحظى باهتمام كبير هو بناء محركات بحث وقواعد بيانات جيدة لتخزين حفلات الزفاف بحيث يسهل العثور على أقرب التطابقات.
تقوم شركات مثل Pinecone.io و Milvus و Zilliz و Elastic بإنشاء محركات بحث متخصصة في البحث المتجه حتى يمكن تطبيقها على المتجهات التي تنتجها خوارزميات التضمين.
كما أنها تبسط عملية التضمين، وغالبًا ما تستخدم مكتبات عامة مفتوحة المصدر وخوارزميات التضمين لمعالجة اللغة الطبيعية.
يريد Intent AI إطلاق العنان لقوة اتصالات الشبكة المكتشفة في بيانات تسويق الطرف الأول. تساعد خوارزميات التضمين الخاصة بهم المسوقين على تطبيق الذكاء الاصطناعي لتحسين عملية مطابقة المشترين مع البائعين.
يبني H20.ai أداة آلية لمساعدة الشركات على تطبيق الذكاء الاصطناعي على منتجاتها.
تحتوي الأداة على خط أنابيب لإنشاء النموذج باستخدام خوارزميات التضمين المنشأة مسبقًا كبداية. يمكن للعلماء أيضًا شراء وبيع ميزات النموذج المستخدمة في تضمين الإنشاء من خلال متجر الميزات الخاص بهم.
تقدم منصة Rosette من Basis Technology نموذجًا إحصائيًا تم تدريبه مسبقًا لتحديد الكيانات في اللغة الطبيعية ووضع علامات عليها. يدمج هذا النموذج مع مفهرس وبرنامج ترجمة لتوفير حل شامل للغة.
هل هناك أي شيء لا يمكن تضمينه؟
عملية تحويل البيانات إلى مدخلات رقمية لخوارزمية الذكاء الاصطناعي هي عملية اختزال بشكل عام. أي أنه يقلل من مقدار التعقيد والتفاصيل.
عندما يؤدي هذا إلى إتلاف بعض القيمة الضرورية في البيانات، يمكن أن تفشل عملية التدريب بأكملها أو على الأقل تفشل في التقاط جميع الاختلافات الغنية.
في بعض الحالات، قد تحمل عملية التضمين كل التحيز معها. المثال الكلاسيكي لفشل تدريب الذكاء الاصطناعي هو عندما يُطلب من الخوارزمية التمييز بين صور نوعين مختلفين من الكائنات.
إذا تم التقاط مجموعة واحدة من الصور في يوم مشمس والتُقطت الأخرى في يوم غائم، يمكن أن تلتقط خوارزمية تدريب الذكاء الاصطناعي الفروق الدقيقة في التظليل والتلوين.
إذا مرت عملية التضمين بهذه الاختلافات، فستنتج التجربة بأكملها نموذجًا للذكاء الاصطناعي تم تعلمه للتركيز على الإضاءة بدلاً من الكائن.
سيكون هناك أيضًا بعض مجموعات البيانات المعقدة حقًا التي لا يمكن اختزالها إلى شكل أبسط وأكثر قابلية للإدارة. في هذه الحالات، يجب نشر خوارزميات مختلفة لا تستخدم الزخارف.
المصدر: venturebeat
قد يهمك:
