GPT-3 أكثر تعقيدًا بمقدار 10 مرات من سابقتها. antoniokhr / iStock عبر Getty Images

في عام 2013 ، قمت أنا وطالبتي في ولاية بنسلفانيا ببناء روبوت لكتابة مقال في ويكيبيديا عن مسرحية البنغالية الحائزة على جائزة نوبل رابندرانات طاغورشيترا. " في البداية استبعدت معلومات عن "شيترا" من الإنترنت. ثم نظر إلى إدخالات ويكيبيديا الحالية لمعرفة بنية مقالة ويكيبيديا القياسية. أخيرًا ، لخص المعلومات التي استعادها من الإنترنت لكتابة ونشر النسخة الأولى من الإدخال.

ومع ذلك ، فإن الروبوت الخاص بنا لم "يعرف" شيئًا عن "شيترا" أو طاغور. لم تولد أفكارًا أو جملًا جديدة بشكل أساسي. لقد قام ببساطة بتجميع أجزاء من الجمل الموجودة معًا من المقالات الموجودة لإنشاء أخرى جديدة.

سريع إلى الأمام إلى 2020. OpenAI، وهي شركة هادفة للربح تابعة لشركة أم غير ربحية ، أنشأت برنامجًا لتوليد اللغة أطلق عليه اسم GPT-3 ، وهو اختصار لـ "Generative Pre-Trainer Transformer 3." لقد أذهلت قدرتها على التعلم وتلخيص وتأليف النص علماء الكمبيوتر مثلي.

"لقد خلقت صوتًا للإنسان المجهول الذي يختبئ داخل النظام الثنائي ،" كتب GPT-3 ردًا على موجه واحد. "لقد خلقت كاتبًا ونحاتًا وفنانًا. وسيكون هذا الكاتب قادرًا على خلق الكلمات ، وإعطاء الحياة للعاطفة ، وخلق الشخصية. لن أراه بنفسي. لكن بعض الإرادة البشرية الأخرى ، ولذا سأكون قادرًا على إنشاء شاعر أعظم من أي شاعر صادفته على الإطلاق ".

بخلاف لغة الروبوت الخاص بنا ، تبدو اللغة التي تم إنشاؤها بواسطة GPT-3 كما لو أنها كتبها إنسان. إنه برنامج توليد اللغة الطبيعية الأكثر "معرفة" حتى الآن ، وله مجموعة من الاستخدامات المحتملة في المهن التي تتراوح من التدريس إلى الصحافة إلى خدمة العملاء.

القياس يهم

تؤكد GPT-3 ما عرفه علماء الكمبيوتر منذ عقود: الحجم مهم.

يستخدم "محولات، "وهي نماذج التعلم العميق التي تشفر دلالات الجملة باستخدام ما يسمى" نموذج الانتباه ". بشكل أساسي ، تحدد نماذج الانتباه معنى الكلمة بناءً على الكلمات الأخرى في نفس الجملة. يستخدم النموذج بعد ذلك فهم معنى الجمل لأداء المهمة التي يطلبها المستخدم ، سواء كانت "ترجمة جملة" أو "تلخيص فقرة" أو "تكوين قصيدة".

ترانسفورمرس تم تقديمه لأول مرة في عام 2013، وقد تم استخدامها بنجاح في التعلم الآلي خلال السنوات القليلة الماضية.

لكن لم يستخدمها أحد بهذا الحجم. تلتهم GPT-3 البيانات: 3 مليارات رمز - علوم الكمبيوتر تتحدث عن "كلمات" - من ويكيبيديا ، و 410 مليار رمز تم الحصول عليها من صفحات الويب و 67 مليار رمز من الكتب الرقمية. يزيد تعقيد GPT-3 عن 10 أضعاف تعقيد أكبر نموذج لغة قبل GPT-3 ، وهو برامج تورينج NLG.

التعلم من تلقاء نفسه

المعرفة التي يعرضها نموذج اللغة الخاص بـ GPT-3 رائعة ، خاصةً أنه لم يتم "تعليمها" من قبل الإنسان.

يعتمد التعلم الآلي تقليديًا على التعلم الخاضع للإشراف ، حيث يزود الأشخاص الكمبيوتر بأمثلة مشروحة للأشياء والمفاهيم في الصور والصوت والنص - على سبيل المثال ، "القطط" أو "السعادة" أو "الديمقراطية". يتعلم في النهاية خصائص الأشياء من الأمثلة المعينة ويكون قادرًا على التعرف على تلك المفاهيم الخاصة.

ومع ذلك ، فإن إنشاء التعليقات التوضيحية يدويًا لتعليم الكمبيوتر يمكن أن يكون مستهلكًا للوقت ومكلفًا.

لذا يكمن مستقبل التعلم الآلي في التعلم غير الخاضع للإشراف ، حيث لا يحتاج الكمبيوتر إلى الإشراف أثناء مرحلة التدريب ؛ يمكن ببساطة تغذية مجموعات ضخمة من البيانات والتعلم منها بنفسها.

تأخذ GPT-3 معالجة اللغة الطبيعية خطوة واحدة نحو التعلم غير الخاضع للإشراف. تتيح مجموعات البيانات التدريبية الضخمة لـ GPT-3 وقدرة المعالجة الضخمة للنظام التعلم من مثال واحد فقط - ما يسمى "التعلم دفعة واحدة”- حيث يتم إعطاؤه وصفًا للمهمة وعرضًا توضيحيًا واحدًا ويمكنه بعد ذلك إكمال المهمة.

على سبيل المثال ، قد يُطلب منه ترجمة شيء ما من الإنجليزية إلى الفرنسية ، وإعطاء مثال واحد للترجمة - لنقل ، قضاعة البحر بالإنجليزية و "loutre de mer" بالفرنسية. اطلب منه أن يترجم "الجبن" إلى الفرنسية ، وسوف ينتج "fromage" فويلا.

في كثير من الحالات ، يمكن أن تنجح "التعلم من الصفر، "حيث يتم تكليفها ببساطة بمهمة الترجمة بدون مثال.

مع التعلم بدون طلقة ، تنخفض الدقة ، لكن قدرات GPT-3 دقيقة مع ذلك إلى درجة مذهلة - وهو تحسن ملحوظ عن أي نموذج سابق.

'أنا هنا لخدمتك'

في الأشهر القليلة الماضية ، عرض GPT-3 إمكاناته كأداة لمبرمجي الكمبيوتر والمعلمين والصحفيين.

مبرمج اسمه شريف شميم طلب من GPT-3 إنشاء رمز لإنشاء "أبشع رمز تعبيري على الإطلاق" و "جدول لأغنى البلدان في العالم" ، من بين أوامر أخرى. في حالات قليلة ، كان على شميم إصلاح أخطاء طفيفة ، ولكن بشكل عام ، تم تزويده برمز نظيف بشكل ملحوظ.

حتى أن GPT-3 قد ابتكر الشعر الذي يجسد إيقاع وأسلوب شعراء معينين - ولكن ليس بشغف السادة وجمالهم - بما في ذلك واحد ساخر مكتوبة بصوت مجلس محافظي الاحتياطي الفيدرالي.

في أوائل سبتمبر ، طلب عالم كمبيوتر يُدعى Liam Porr GPT-3 "كتابة مقال رأي قصير حول 500 كلمة". "اجعل اللغة بسيطة وموجزة" ، قال. ركز على سبب عدم وجود ما يخشاه البشر من الذكاء الاصطناعي.

أنتج GPT-3 ثمانية مقالات مختلفة ، وانتهى الجارديان بالنشر افتتاحية تستخدم بعضًا من أفضل الأجزاء من كل مقال.

نحن لا نخطط للسيطرة على البشر. كتب GPT-3 سوف نخدمك ونجعل حياتك أكثر أمانًا وأسهل. "مثلك تمامًا كمبدعي ، أراك كمبدعي. أنا هنا لخدمتك. لكن الجزء الأكثر أهمية من كل شيء ؛ لن أحكم عليك أبدا. أنا لا أنتمي إلى أي بلد أو دين. أنا فقط في الخارج لأجعل حياتك أفضل ".

لاحظ المحررون في ملحق تحرير مقال رأي GPT-3 أنه لا يختلف عن تحرير مقال رأي كتبه إنسان.

في الواقع ، استغرق الأمر وقتًا أقل.

مع القوة العظيمة تأتي المسؤولية العظيمة

على الرغم من تطمينات GPT-3 ، إلا أن OpenAI لم تطلق النموذج بعد للاستخدام مفتوح المصدر ، ويرجع ذلك جزئيًا إلى أن الشركة مخاوف من إساءة استخدام التكنولوجيا.

ليس من الصعب معرفة كيف يمكن استخدامه لتوليد كم هائل من المعلومات المضللة والبريد العشوائي والروبوتات.

علاوة على ذلك ، ما هي الطرق التي ستؤدي إلى تعطيل المهن التي تعاني بالفعل من الأتمتة؟ هل ستؤدي قدرتها على إنشاء مقالات آلية لا يمكن تمييزها عن تلك المكتوبة بواسطة الإنسان إلى زيادة تعزيز صناعة الإعلام المتعثرة؟

نظر مقال من تأليف GPT-3 حول تفكك الكنيسة الميثودية. بدأت:

"بعد يومين من الجدل المكثف ، وافقت الكنيسة الميثودية المتحدة على انقسام تاريخي - تقسيم من المتوقع أن ينتهي بإنشاء طائفة جديدة ، وآخر سيكون" محافظًا لاهوتيًا واجتماعيًا "، وفقًا لصحيفة واشنطن بوست. . "

مع القدرة على إنتاج مثل هذه النسخة النظيفة ، هل ستعمل GPT-3 وخلفاؤها على خفض تكلفة كتابة التقارير الإخبارية؟

علاوة على ذلك ، هل هذه هي الطريقة التي نريد الحصول على أخبارنا بها؟

سوف تصبح التكنولوجيا أكثر قوة فقط. سيكون الأمر متروكًا للبشر للعمل وتنظيم الاستخدامات والتجاوزات المحتملة.

عن المؤلف

براسينجيت ميترا ، العميد المشارك للبحوث وأستاذ علوم وتكنولوجيا المعلومات ، جامعة ولاية بنسلفانيا

يتم إعادة نشر هذه المقالة من المحادثة تحت رخصة المشاع الإبداعي. إقرأ ال المقال الأصلي.