اسم الباحث :
Khalil A Nagi(1) Elham Alzain (2) Ebrahim Naji (3)
DOI :
https://doi.org/10.35781/1637-000-098-007
ملخص البحث :
The aim of the study is to investigate the quality of ChatGPT translation and the effectiveness of using informed prompts to improve it. The research team built a dataset composed of various English complex sentence types (150complex sentences) that are selected from various news sites. The sentences were translated into Arabic using a default ChatGPT translation prompt (Translate the following sentences into Arabic). The translated sentences were annotated by three professional annotators. An error taxonomy was performed based on the Multidimensional Quality Metrics (MQM). The results of the error taxonomy showed a high error frequency that amounts to 2.73 errors per sentence which indicates that ChatGPT falls short when translating English complex sentences into Arabic and that it still needs to be trained effectively. The sentences whose translation outputs had the most errors were translated again using informed prompts that require the model to correct the original translation. Both the original and the new translation outputs were evaluated manually by the professional annotators and automatically using the BLEU metric. The study, therefore, identifies the effectiveness of the adopted prompt strategies in improving translation quality and recommends further research in the area of informed prompts.
Keywords: ChatGPT, prompts, error taxonomy, English-Arabic, translation output, complex sentences
هدفت هذه الدراسة إلى التحقق من جودة ترجمة ChatGPT وفعالية استخدام الموجهات المُستنيرة لتحسينها. قام فريق البحث ببناء مجموعة بيانات تتكون من أنواع مختلفة من الجمل الإنجليزية المركبة (150 جملة مركبة) تم اختيارها من مواقع إخبارية متنوعة. تمت ترجمة الجمل إلى اللغة العربية باستخدام موجه ترجمة افتراضي (ترجم الجمل التالية إلى العربية). ثم تم تحرير الجمل المترجمة من قبل ثلاثة محررين محترفين، وتم إجراء تصنيف للأخطاء بناءً على معايير الجودة متعددة الأبعاد (MQM). تُظهر نتائج تصنيف الأخطاء معدل خطأ مرتفع يبلغ 2.73 خطأ لكل جملة، مما يدل على أن ChatGPTلا يزال فيها قصور كبير عند ترجمة الجمل الإنجليزية المركبة إلى اللغة العربية ولا يزال بحاجة إلى التدريب بشكل فعال. تم بعد ذلك ترجمة الجمل التي تحتوي ترجمتها على أكبر عدد من الأخطاء مرة أخرى باستخدام موجهات مُستنيرة تطلب من ChatGPTتصحيح الترجمة الأصلية. كما تم تقييم كل من مخرجات الترجمة الأصلية والجديدة يدويًا من قبل المحررين المحترفين. وبالتالي، خلصت الدراسة إلى أن استراتيجيات المطالبات المستخدمة كانت فعالة في تحسين جودة الترجمة وأوصت بمزيد من البحث في مجال الموجهات المُستنيرة.
الكلمات المفتاحية: ChatGPT، الموجهات، تصنيف الأخطاء، اللغة الإنجليزية-اللغة العربية، الترجمة، الجمل المركبة
رجوع
تحميل البحث
