سیستم های تشخیص محتوای تولید شده با ChatGPT به‌راحتی فریب می خورند!
محققان استنفورد دریافتند فریب دادن سیستم های تشخیص محتوای تولید شده با ChatGPT را می‌توان به راحتی دور زد.
متنی که اکنون می خوانید را یک انسان تایپ کرده اما شاید با متن‌های دیگری در اینترنت مواجه شوید که عامل انسانی آن ها را ننوشته باشد.
با ظهور برنامه‌های هوش مصنوعی مولد ازجمله ChatGPT و میدجورنی، اکنون عموم مردم می توانند به‌طور رایگان از آن‌ها برای تولید متن، تصویر و غیره بهره ببرند و بدین ترتیب تشخیص محتوایی که انسان‌ها تولید می‌کنند سخت‌تر شده است.
هوش مصنوعی، سیستم های کامپیوتری خودکار، الگوریتم‌ها و یادگیری ماشینی از مدت‌ها قبل در رسانه‌های اجتماعی، تحقیقات علمی، تبلیغات، کشاورزی و صنعت استفاده می‌شوند، اما ظهور ChatGPT به ایجاد رقابتی بسیار شدید منجر شد و حتی دانش‌آموزان از این ابزار برای تقلب بهره می‌برند و برخی دیگر برای نگارش مقالات علمی از هوش مصنوعی استفاده می‌کنند. به‌همین دلیل سیستم‌هایی برای تشخیص محتوای ساخته‌شده با هوش مصنوعی دردسترس قرار گرفته تا جلوی سؤاستفاده‌های احتمالی را بگیرد.
محققان دانشگاه استنفورد با انتشار مقاله‌ای در مجله‌ی Patterns نشان دادند که برنامه‌های تشخیص محتوای ایجادشده با هوش مصنوعی، چقدر قابل‌اعتماد هستند. این تیم تحقیقاتی درکمال تعجب دریافت که برخی از محبوب‌ترین ابزارهای شناسایی محتوای GPT، معمولاً نوشته‌های غیر انگلیسی را به‌عنوان متون هوش مصنوعی طبقه بندی می‌کنند.
محققان استنفورد ۹۱ مقاله‌ی تافل (آزمون انگلیسی به‌عنوان زبان خارجی) انجمن چینی و ۸۸ مقاله‌ای که دانش آموزان کلاس هشتم ایالات متحده نوشته‌اند را مورد بررسی قرار داد.
آن‌ها در مرحله‌ی بعد چندین برنامه‌ی آشکارساز محتوای تولیدشده با GPT ازجمله GPTZero را اجرا کرده و دریافتند فقط ۵٫۱ درصد از مقالات دانشجویان ایالات‌متحده به عنوان هوش منصوعی طبقه بندی شده‌اند.
ازطرف دیگر، مقالات تافل که انسان‌ها آن‌ها را نوشته بودند در ۶۱ درصد مواقع به‌اشتباه به‌عنوان متن ایجاد شده با هوش مصنوعی شناسایی شد. یکی از برنامه‌های مذکور ۹۷٫۹ درصد از مقالات تافل را به هوش مصنوعی نسبت داد.
محققان با بررسی عمیق تر، متوجه شدند برخی مقالات احتمالاً به دلیل تغییر متن به‌عنوان محتوای تولید شده با هوش مصنوعی طبقه بندی شده‌اند. پیش از این مشخص شده بود افراد غیرانگلیسی زبان در متن‌های انگلیسی خود از کلمات کم تری استفاده می‌کنند زیرا دایره‌ی لغات آن ها درمقایسه با افرادی که زبانشان انگلیسی است بسیار کوچک تر درنظر گرفته می شود و برنامه‌های آشکارساز محتوای هوش مصنوعی چنین متونی را به عنوان هوش مصنوعی در نظر می گیرند.
این یعنی اگر از متن ادبیتر استفاده کنید، ابزارهای مذکور آن را به‌عنوان محتوای ایجاد شده با هوش مصنوعی درنظر نمی‌گیرند.
ChatGPT و زبان ادبی
محققان استنفورد آزمایش دیگری انجام دادند و از هوش مصنوعی بهره گرفتند تا مشخص شود آیا نرم‌افزار های تشخیص دهنده ی نوع محتوا، متون موردنظر را به‌درستی به‌عنوان محتوای هوش مصنوعی شناسایی کرده‌اند یا خیر.
تیم محققان استنفورد از ChatGPT برای ایجاد پاسخ به درخواست های مقاله ی پذیرش کالج ایالات متحده استفاده کردند.
مقالات ایجاد شده با چت‌بات OpenAI ازطریق چندین ابزار آشکارساز منبع محتوا، مورد بررسی قرار گرفت. تیم تحقیقاتی دریافت نرمافزارهای موردبحث به‌طور متوسط ۷۰ درصد مقالات مذکور را به‌عنوان هوش مصنوعی علامت‌گذاری می‌کنند.
به هرحال درنهایت مشخص شد اگر متن مقاله را با زبان ادبیتر تغییر دهید، دیگر به‌عنوان هوش مصنوعی شناخته نمی‌شوند.
تیم تحقیقاتی در آزمایشی دیگر، مقالاتی ایجاد کرد که نرمافزارهای تشخیص محتوای GPT فقط در ۳٫۳ درصد از مواقع، متون ایجاد شده با هوش مصنوعی را به‌درستی تشخیص دادند. با ارائه‌ی چکیده های علمی نیز می‌توانید نتایج مشابهی از این نوع برنامه‌ها به‌دست آورید.
جیمز زو، دانشمند داده های زیست پزشکی دانشگاه استنفورد به عنوان یکی از نویسندگان مقاله ی فوق می‌گوید: «انتظار نداشتیم این آشکارسازها روی متن افراد و غیر انگلیسی زبان تا این حد ضعیف عمل کند یا به‌راحتی فریب بخورد.»
این تحقیقات سؤال مهمی در ذهن ایجاد می‌کند: اگر فریب دادن آشکارسازهای محتوای تولیدشده با هوش مصنوعی اینقدر آسان باشد، پس چنین ابزارهایی چه فایده‌ای دارند؟
چگونه به نتایج بهتر دست یابیم
تفاوتی ندارد که سیستم‌های تشخیص محتوای تولید شده با هوش مصنوعی در انجام اینکار فریب بخورند یا خودشان به‌درستی عمل نکنند؛ مهم این است که ابزارهای مذکور مشکل دارند. زو اشاره می‌کند مکانیزم امیدوارکننده برای نرمافزارهای تشخیص محتوای هوش مصنوعی می‌تواند مقایسه‌ی نوشته‌های متعدد درمورد موضوع خاصی مثل پاسخ های انسان و هوش مصنوعی باشد و سپس بررسی شود تا ببینیم آیا می‌توان متن‌ها را به‌درستی دسته‌بندی کرد یا خیر؛ و شاید این فرایند، رویکرد بهتر و کارآمدتری باشد.
ازطرفی محققان اعتقاد دارند ضعف برنامه‌های تشخیص محتوای GPT می‌تواند به خلاقیت و اصالت بیشتر در نوشتن متن‌ها منجر شود.
منبع: زومیت