قوانین جدید اینترنت ربات های آموزشی هوش مصنوعی را مسدود می کند

استانداردهای جدیدی برای گسترش پروتکل حذف ربات ها و تگ های متا روبات ها در حال توسعه است و به آن ها اجازه می دهد تمام خزنده های هوش مصنوعی را از استفاده از محتوای وب در دسترس عموم برای اهداف آموزشی مسدود کنند. این پیشنهاد که توسط کریشنا مدهاوان، مدیر محصول اصلی در هوش مصنوعی مایکروسافت، و فابریس کانل، مدیر محصول اصلی در مایکروسافت بینگ تهیه شده است، مسدود کردن همه خزنده های اصلی آموزش هوش مصنوعی را با یک قانون ساده که می تواند برای هر خزنده جداگانه اعمال شود، آسان می کند.

تقریباً همه خزنده های قانونی از برچسب های Robots.txt و Meta Robots پیروی می کنند که این پیشنهاد را برای ناشرانی که نمی خواهند محتوایشان برای اهداف آموزشی هوش مصنوعی استفاده شود، به رویایی تبدیل می کند.

کارگروه مهندسی اینترنت (IETF)

گروه ویژه مهندسی اینترنت (IETF) یک گروه استانداردسازی بین المللی اینترنت است که در سال 1986 تأسیس شد و توسعه و تدوین استانداردهایی را هماهنگ می کند که همه می توانند داوطلبانه با آن موافقت کنند. به عنوان مثال، پروتکل حذف روبات ها به طور مستقل در سال 1994 ایجاد شد و در سال 2019 گوگل پیشنهاد کرد که IETF آن را به عنوان یک استاندارد رسمی با تعاریف مورد توافق اتخاذ کند. در سال 2022، IETF یک پروتکل رسمی حذف روبات ها را منتشر کرد که آن را تعریف می کند و پروتکل اصلی را گسترش می دهد.

سه راه برای مسدود کردن ربات های آموزشی هوش مصنوعی

پیش نویس پیشنهادی برای مسدود کردن ربات های آموزشی هوش مصنوعی سه راه را برای مسدود کردن ربات ها پیشنهاد می کند:

1. پروتکل های Robots.txt
2. عناصر HTML متا روبات
3. هدر پاسخ لایه برنامه

1. Robots.Txt برای مسدود کردن ربات های هوش مصنوعی

پیش نویس پیشنهادی به دنبال ایجاد قوانین اضافی است که پروتکل محرومیت روبات ها (Robots.txt) را به ربات های آموزشی هوش مصنوعی گسترش می دهد. این امر باعث ایجاد نظم و ترتیبی می شود و به ناشران امکان انتخاب ربات هایی را می دهد که مجاز به خزیدن وب سایت آنها هستند.

پایبندی به پروتکل Robots.txt داوطلبانه است، اما همه خزنده های قانونی تمایل به اطاعت از آن دارند.

پیش نویس هدف قوانین جدید Robots.txt را توضیح می دهد:

در حالی که پروتکل حذف ربات ها به صاحبان سرویس اجازه می دهد تا کنترل کنند که چگونه، اگر اصلاً، کلاینت های خودکار شناخته شده به عنوان خزنده می توانند به URI های سرویس های خود مطابق با (RFC8288) دسترسی داشته باشند، این پروتکل کنترل هایی را در مورد نحوه بازگرداندن داده ها توسط آنها ارائه نمی کند. این سرویس ممکن است در آموزش مدل های پایه هوش مصنوعی مولد استفاده شود.

از توسعه دهندگان برنامه درخواست می شود که به این برچسب ها احترام بگذارند. با این حال، برچسب ها نوعی مجوز دسترسی نیستند."

یکی از ویژگی های مهم قوانین robots.txt جدید و عناصر HTML متا روبات ها این است که خزنده های آموزشی AI قانونی تمایل دارند به طور داوطلبانه با پیروی از این پروتکل ها موافقت کنند، کاری که همه ربات های قانونی انجام می دهند. این امر مسدود کردن ربات را برای ناشران ساده می کند.

قوانین Robots.txt پیشنهادی به شرح زیر است:

• DisallowAITraining – به تجزیه کننده دستور می دهد که از داده ها برای مدل زبان آموزش هوش مصنوعی استفاده نکند.
• AllowAITraining - به تجزیه کننده دستور می دهد که داده ها را می توان برای مدل زبان آموزش هوش مصنوعی استفاده کرد.

2. عنصر HTML (روبات های متا تگ)

دستورالعمل های متا روبات های پیشنهادی به شرح زیر است:

3. Application Layer Response Header

هدرهای پاسخ لایه برنامه توسط سرور در پاسخ به درخواست مرورگر برای یک صفحه وب ارسال می شوند. این پیشنهاد پیشنهاد می کند قوانین جدیدی را به سربرگ های پاسخ لایه برنامه برای روبات ها اضافه کنید:

"DisallowAITraining - به تجزیه کننده دستور می دهد که از داده ها برای مدل زبان آموزش هوش مصنوعی استفاده نکند.

AllowAITraining - به تجزیه کننده دستور می دهد که داده ها را می توان برای مدل زبان آموزش هوش مصنوعی استفاده کرد.

کنترل بیشتری را فراهم می کند

شرکت های هوش مصنوعی به دلیل استفاده از داده های در دسترس عموم به طور ناموفق در دادگاه شکایت کرده اند. شرکت های هوش مصنوعی تاکید کرده اند که استفاده منصفانه برای خزیدن در وب سایت های در دسترس عموم است، درست همانطور که موتورهای جستجو برای چندین دهه انجام داده اند.

این پروتکل های جدید به ناشران وب امکان کنترل خزنده هایی را می دهند که هدفشان مصرف داده های آموزشی است و این خزنده ها را با خزنده های جستجو همسو می کند.

پیشنهاد را در IETF بخوانید:

برنامه افزودنی پروتکل حذف ربات برای مدیریت استفاده از محتوای هوش مصنوعی

تصویر ویژه توسط Shutterstock/ViDI Studio