هدف این مطالعه بررسی خطاهای نگارشی ۱۶ دانش‌آموز ایرانی، شامل دختر و پسر در سطح متوسط، بود که از دو مؤسسه زبان در شهر رشت انتخاب شدند. این دانش‌آموزان کتاب American English File 3 را به عنوان منبع درسی خود مطالعه می‌کردند و پژوهشگران نیز مدرسین آن‌ها بودند. به آن‌ها مدلی از کتاب درسی داده شد تا پاسخی به یک نامه بنویسند که خود، پاسخ به نامه‌ای دیگر بود. در مجموع ۱۶ نمونه جمع‌آوری شد و این نمونه‌ها به صورت کیفی و کمی بر اساس طبقه‌بندی زبان‌شناختی خطاها معرفی شده توسط دکتر کشاورز (۲۰۱۳) تحلیل شدند. این تحلیل توسط انسان و همچنین ابزار هوش مصنوعی Perplexity انجام شد.

یافته‌ها نشان دادند که دانش‌آموزان انواع مختلفی از خطاها را با درجات متفاوتی از فراوانی مرتکب شدند. خطاهای صرفی-نحوی بیشترین فراوانی را داشتند و پس از آن خطاهای املایی، واژگانی-معنایی و آوایی قرار گرفتند. همچنین، سطح بالایی از همخوانی در نمره‌دهی بین ارزیاب انسانی و Perplexity مشاهده شد (آلفا = ۰٫۹۴). معلمان می‌توانند دقت و ثبات هوش مصنوعی را با عمق تفسیری و ذهنی ارزیابی انسانی ترکیب کنند تا بازخوردی پاسخ‌گوتر ارائه دهند که دقت زبانی و عاملیت یادگیرنده را تقویت کند.

در نهایت، این مطالعه از رویکردهای تلفیقی در ارزیابی زبان حمایت می‌کند تا از توسعه فناوری تحت نظارت عوامل انسانی بهره‌برداری شود. پژوهش‌های آینده می‌توانند ثبات طولی ارزیابی‌های انسانی و هوش مصنوعی را در زمینه‌های اجتماعی-فرهنگی مختلف و در سطوح گوناگون زبانی بررسی کنند.