كنت أتحسس 50 امتحاناً بمساعدة من الـ (آي آي)

في ربيع عام 2023 استخدمت الذكاء الاصطناعي كأداة عندما قمت بتقييم تقريبي 50 مهمة طلابية في 30-60 صفحة في الصفحة الواحدة. مهمة

وأشارت أجهزة استشعار أخرى مسبقاً إلى أنها قضت ما بين 30 و60 دقيقة في تقييم مهمة ما أو ما يصل مجموعه إلى 50 ساعة في جميع المهام.

باستخدام الذكاء الاصطناعي، أنا أقدر أنه يمكنني تقليل وقت التقييم لكل مشكلة إلى متوسط 15 دقيقة. المهام السيئة أخذت وقتا أقل المهام الجيدة التي كرستها لوقت أطول وأود أن أزعم فعلا أن استخدام الذكاء الاصطناعي في عملية التقييم قد أدى إلى زيادة الجودة وأدى إلى تقييم أكثر إنصافا للطلاب.

إليكم قصة كيف مضيت قدماً

ألف - ابحث عن أداة AI الصحيحة

قضيت الكثير من الوقت في إيجاد الأدوات المناسبة للآي آي لفرض الرقابة على مهام الطلاب

يظهر تطبيقات جديدة كل أسبوع، وكان من الصعب إيجاد بديل جيد. أخيراً، وجدت هوماتا-مُعدّات وثائقية . ويقوم بتطوير هذه الخدمة طالب سابق في ستانفورد وتستخدمها المؤسسات التعليمية في جميع أنحاء العالم. يدعي هوماتا أن استخدام الأداة يمكن أن يجعل البحث والتعلم 100x أسرع! ولا تستخدم بيانات خصوصية الهماتا والوثائق لتدريب النماذج. تُحذف جميع البيانات المرسلة إلى/من النموذج بعد 30 يوما.

في هوماتا، يمكنني تحميل الوثائق والدردشة مع الوثائق. بالرغم من أن الأمر استغرق وقتاً لتعلم كيفية استخدام الأداة بفعالية، فإنه بالتأكيد يستحق ذلك عندما أستطيع تقييم مشكلة 10-15 دقيقة، مقارنة بحد أدنى 30-60 دقيقة لكل مشكلة يدوياً!

باء - تحديد الإشارات الأساسية للنوعية وتقييم مجمل

قبل أن أبدأ باستخدام الذكاء الاصطناعي في عملية الرقابة، تم إرسالي إلى مهمة أن العديد من أجهزة الاستشعار قد اعتبرت كل منها مستقلة عن الأخرى أن تكون A. حللت المهمة "أ" لتحديد إشارات الجودة ذات الصلة الفكرة كانت أني أستطيع استخدام إشارات الجودة هذه لتقييم المشاكل المتبقية. (فكرت، في النقطة، أنني يمكن أن أعطي A لجميع المشاكل التي تبدو مثل مشكلة A.)

خلال عملي التحضيري ، استفادت من خبرتي وخبرتي في تحسين محرك البحث الى اقصى حد . ويمكن استخدام مبادئ تحسين محرك البحث كنقطة انطلاق لتقييم نوعية أي وثيقة، بما في ذلك تقديم طلب من الطلاب.

فالوثيقة المنظمة تنظيما جيدا والمزودة بعناوين ذات صلة والكلمات الرئيسية ذات الصلة وغيرها من إشارات الجودة تجعل من الأسهل على القارئ فهم محتواها - مما يزيد من فرصة إعطاء العرض طابعا أعلى.

وكما ينبغي تحسين الموقع الشبكي إلى أقصى حد بحيث يصنف في مرتبة عالية في محركات البحث، ينبغي أن يكون تقديم طلب الطالب أفضل اتصال ممكن مع القارئ (المعلم أو جهاز الاستشعار) بوضوح وفعالية.

عندما تتفحص خلال وثيقة طويلة، تحصل على انطباع سريع عن الجودة من خلال النظر في المحتوى مقابل إشارات الجودة.

ومن الممكن تماماً التلاعب بجهاز استشعار من خلال تكييف المهمة بحيث تلبي الإشارات المعروفة ذات النوعية الجيدة. أنا أقارن هذا التلاعب (أو التأثير) مع الطريقة التي تعمل بها الشركات لتحسين الموقع في جوجل. وإذا علم جميع الطلاب بهذه الإشارات، فإنها سترفع من نوعية المهام المقدمة وتنقذ أجهزة الاستشعار في جميع أنحاء العالم من الإحباط الشديد.

أنا أوصي أيضاً الجميع للتعرف على مبدأ الهرم وهو أيضاً في الأساس عن البنية الجيدة والاتصالات الجيدة.

لذا إلى استخدام AI!

جيم - اسأل عن أسئلة المستند باستخدام AI

بعد تعريف الإشارات الأساسية للجودة وتقييم كامل الوثائق، ذهب الطريق إلى "دردشة" مع الوثائق.

في البداية، كنت آمل أن تقوم الأداة الصحيحة للذكاء الاصطناعي بالعمل كله من أجلي، أي تقييم المشاكل وإعطائي درجات، على سبيل المثال "بناء على معايير التقييم ومجموعة المهام، ما هي الشخصية التي يجب أن أعطيها للمهمة؟"

كنت مخطئاً تماماً

الأمر ليس بهذه البساطة

سألت هوماتا عن أسباب المساعدة في كتابة التحفيزات الجيدة:

"مرحباً. أنا أختبر (هوماتا) لقد قمت برفع 48 تقرير كتبها الطلاب أفكر في استخدام (هوماتا) لتسخين نوعية التقارير هل لديك أي شفط للحث على أن أطلب من أجل الحصول على لمحة سريعة عن نوعية التقارير؟ "

حصلت على الرد التالي:

"مرحباً كارل، هذه قضية استخدام رواية وإبداع. ليس لدينا أي شفط للتقييم حتى يصل إلى الحجم في اللحظة على الرغم من أنه سيكون من الرائع أن نروي الأوراق على أساس واحد تلو الآخر إذا كان هناك معيار محدد للتقييم يمكنك أن تسأله ذلك. على سبيل المثال، "هل هذه الورقة تعبر عن x بالنسبة لـ Y؟"

مثلاً، هل يناقش الطالب دور [X] في تكوين [Y] ويقدم أسباباً لدعم استنتاجهم؟"

ثم سألت صاحب البلاغ السؤال التالي:

"أود أن أفعل ما يلي: رفع الطلب الذي يعتبر من "A" تقديم عالي الجودة استناداً إلى معايير التصنيف من قبل المقيّمين البشريين

أود أن أستخدم هذه الدرجة الأخرى

هل هذه حالة استخدام محتملة لـ(هوماتا)؟

حصلت على الرد التالي

"مرحبا كارل، نعم، هذا هو حالة استخدام محتمل وخلاقة جدا لنموذج تحليل الوثائق المتعددة."

ميج:

"هل يمكنك أن تمتص بعض التحفيزات التي يمكن استخدامها لاختبار هذا؟"

الجواب:

"بما أن هذه قضية استخدام جديدة لا أملك أي دوافع جزئية تأتي إلى ذهني. إذا كان لديك معايير كنت تستخدم لاعتبار الورقة "A"، فإن الوكر يمكنك تحويل مثل هذه المعايير إلى أسئلة لطرح وثائق أخرى. هذا أول شيء يخطر على بالك

استراتيجية تجريبية أخرى هي أن تطلب من هوماتا توليد السرعة نظراً إلى critiya الخاص بك. على الرغم من أنني كنت سأفكر في هذا الاتجاه

لقد فحصت العديد من العينات قبل أن تقودني البقشيش من الـ(هوماتا غروندر) في الاتجاه الصحيح

قرأت معايير التقييم للامتحان ثم حاولت تحويل المعايير الرئيسية إلى مجاملات معقولة

هذه كانت تجربة من أجلي

لقد فحصت عينات مختلفة

مثلاً المعيار:

"استخدم المنهج الدراسي وما تعلمته طوال إجازتك"

لقد تحولت إلى:

"هل استخدم الطالب المنهج التالي: ايفرن، آلتون، هانلون، فورو"

وينبغي ان يكون الجواب على هذه الناجعة سهلا نسبيا ، وقد فوجئت عندما لم ترد هماتا بشكل صحيح . عندما سألت هوماتا عن السبب، قيل لي أن نموذج الذكاء الاصطناعي يجب أن يكون قادرا على الاستجابة بالضبط للسرعة، ولكن النظام يجري تطويره وأنهم سوف يحسنون النموذج بناء على مدخلاتي.

ثم اختبرت هوماتا وهي تعمل جيدا لاستخراج المقتطفات ذات الصلة من الوثائق استنادا الى رقائقي .

في الواقع ، شعرت انه كلما كانت المهمة افضل ، كلما استطاع الهماتا ان يجيبوا على هذه الاسئلة . بالنسبة لمؤسس هوماتا لم تكن هذه مفاجأة

"أفضل العروض ستؤدى بشكل أفضل مع هوماتا لأن هناك سياق أكثر من الكتابة التي ستسحب منها"

كنت أراقبك كتبت 7 دفعات تشير إلى أجزاء مختلفة من التقارير. لكل تقرير استخدمت نفس التحفيزات واستعرضت كل مشكلة بصورة منهجية، وأقرأ النصوص، وحصلت بالتالي على لمحة عامة جيدة عن العروض المقدمة. كما ان هذه الطريقة جعلت من السهل مقارنة الوثائق بعضها ببعض .

دال - التقييم اليدوي

وبعد تقييم اكتمال الوثائق واستخدام الهماتا لتقييم مختلف الأجزاء المهنية من المهام، استمر الطريق لإجراء تقييم يدوي لجزء محدود من النص. القراءة من خلال مجموعة مختارة من النصوص تعطيكم بسرعة انطباعاً عن أسلوب النص في بقية الوثيقة. ويتعلق هذا الفرع بتقييم التدفق العام للغة الطالب.

الخطوة التالية

لا شك أن منظمة العفو الدولية مثيرة عندما يتعلق الأمر بتقييم مهام الطلاب. مع أداة الذكاء الاصطناعي الصحيحة ومجموعة من الإشارات الأساسية للجودة، يمكنك أن تقيّم بسرعة جودة الوثائق باستخدام الذكاء الاصطناعي لاستخراج المقتطفات ذات الصلة.

ويمكن للجمع بين التقييم اليدوي والدليل أن يقلل من الوقت والجهد اللازمين لتصحيح عدد كبير من المهام، مما يزيد من فعاليتها بالنسبة للطلاب والمعلمين على السواء. لذا دعونا نستمر في استكشاف كيف يمكن استخدام الذكاء الاصطناعي في التعليم لزيادة الفوائد إلى أقصى حد مع تقليل القيود.

مقالات صحفية حول هذا الموضوع:

• هكذا قام بمراقبة 50 إختبار باستخدام الذكاء الاصطناعي (كرونو، 28). حزيران/يونيه 2023
• استشعار ردود المحاضر الأقدم على الامتحانات مع معهد الذكاء الصناعي (VG, 27) حزيران/يونيه 2023

عدم الاحترام: عندما بدأت التقييم، قررت ألا أهتم بالتلاميذ الذين يستخدمون الذكاء الاصطناعي لكتابة المشاكل. أنا أفهم أيضاً أن استخدام الذكاء الاصطناعي لإثارة المهام قد يكون مثيراً للجدل، لكنني أعتقد أن جودة التقييم تتحسن!

ملاحظة هذه المقالة كتبتها، لكنني استخدمتها لتحسين بعض الجمل