یادداشت فاش شده گوگل به شکست توسط هوش مصنوعی منبع باز اعتراف کرد

یک یادداشت فاش شده گوگل، خلاصه ای نقطه به نقطه از چرایی شکست گوگل از هوش مصنوعی منبع باز را ارائه می دهد و راه بازگشت به سلطه و مالکیت این پلتفرم را پیشنهاد می کند.

این یادداشت با اذعان به اینکه رقیب آنها هرگز OpenAI نبوده و همیشه منبع باز خواهد بود باز می شود.

نمی توان با متن باز رقابت کرد

علاوه بر این، آنها اعتراف می کنند که به هیچ وجه برای رقابت با منبع باز قرار ندارند و اذعان دارند که در حال حاضر مبارزه برای تسلط بر هوش مصنوعی را از دست داده اند.

آنها نوشتند:

«ما در OpenAI نگاه های زیادی بر روی شانه های خود انجام داده ایم. چه کسی از نقطه عطف بعدی عبور خواهد کرد؟ حرکت بعدی چه خواهد بود؟

اما حقیقت ناراحت کننده این است که ما موقعیتی برای پیروزی در این مسابقه تسلیحاتی نداریم و OpenAI نیز چنین نیست. در حالی که ما در حال دعوا بودیم، دسته سوم بی سر و صدا مشغول خوردن ناهار ما بودند.

البته من در مورد متن باز صحبت می کنم.

به بیان واضح، آنها به ما دست می زنند. چیزهایی که ما «مشکلات باز عمده» می دانیم امروز حل شده و در دست مردم است.»

بخش اعظم این یادداشت به توضیح نحوه پیشی گرفتن گوگل توسط منبع باز اختصاص دارد.

و حتی اگر گوگل یک مزیت جزئی نسبت به منبع باز دارد، نویسنده یادداشت اذعان می کند که در حال حذف شدن است و هرگز باز نخواهد گشت.

خود تحلیلی کارت‌های استعاری که خودشان داده‌اند به‌طور قابل‌توجهی ضعیف است:

«در حالی که مدل‌های ما هنوز از نظر کیفیت برتری کمی دارند، این شکاف به طرز شگفت‌آوری به سرعت کم می‌شود.

مدل‌های منبع باز سریع‌تر، قابل تنظیم‌تر، خصوصی‌تر، و پوند به پوند توانایی بیشتری دارند.

آنها کارهایی را با پارامترهای 100 و 13 میلیارد دلاری انجام می دهند که ما با 10 میلیون دلار و 540 میلیارد دلار درگیر هستیم.

و آنها این کار را در هفته ها انجام می دهند، نه ماه ها.

اندازه مدل زبان بزرگ یک مزیت نیست

شاید دلهره آورترین درک بیان شده در یادداشت این باشد که اندازه گوگل دیگر مزیتی محسوب نمی شود.

اندازه فوق‌العاده بزرگ مدل‌های آن‌ها اکنون به عنوان معایبی تلقی می‌شود و به هیچ وجه آن مزیت غیرقابل حلی نیست که آنها فکر می‌کردند.

یادداشت فاش شده مجموعه‌ای از رویدادها را فهرست می‌کند که نشان می‌دهد کنترل گوگل (و OpenAI) بر هوش مصنوعی ممکن است به سرعت به پایان برسد.

بیان می کند که تقریباً یک ماه پیش، در مارس 2023، جامعه منبع باز یک مدل زبان بزرگ مدل منبع باز فاش شده را به دست آورد که توسط متا به نام LLaMA توسعه یافته بود.

در عرض چند روز و چند هفته جامعه جهانی منبع باز تمام بخش‌های ساختمانی لازم برای ایجاد کلون‌های Bard و ChatGPT را توسعه دادند.

گام‌های پیچیده‌ای مانند تنظیم دستورالعمل و یادگیری تقویتی از بازخورد انسانی (RLHF) به سرعت توسط جامعه منبع باز جهانی، با قیمتی ارزان، تکرار شد.

• تنظیم دستورالعمل
  فرآیند تنظیم دقیق یک مدل زبان برای انجام کاری خاص که در ابتدا برای انجام آن آموزش ندیده بود.
• یادگیری تقویتی از بازخورد انسانی (RLHF)
  تکنیکی که در آن انسان‌ها به زبانی، خروجی را مدل‌سازی می‌کنند تا یاد بگیرد که کدام خروجی برای انسان رضایت‌بخش است.

RLHF تکنیکی است که توسط OpenAI برای ایجاد InstructGPT استفاده می‌شود، مدلی که زیربنای ChatGPT است و به مدل‌های GPT-3.5 و GPT-4 اجازه می‌دهد دستورالعمل‌ها را دریافت کنند و وظایف را کامل کنند.

RLHF آتشی است که منبع باز از آن گرفته شده است

مقیاس منبع باز گوگل را می ترساند

چیزی که گوگل را به ویژه می ترساند این واقعیت است که جنبش منبع باز می تواند پروژه های خود را به گونه ای مقیاس دهد که منبع بسته نمی تواند.

مجموعه داده پرسش و پاسخ مورد استفاده برای ایجاد کلون ChatGPT منبع باز، Dolly 2.0، به طور کامل توسط هزاران داوطلب کارمند ایجاد شده است.

گوگل و OpenAI تا حدی به پرسش و پاسخ‌هایی که از سایت‌هایی مانند Reddit حذف شده بودند، تکیه کردند.

ادعا می شود مجموعه داده پرسش و پاسخ منبع باز ایجاد شده توسط Databricks از کیفیت بالاتری برخوردار است زیرا افرادی که در ایجاد آن مشارکت داشته اند حرفه ای بوده اند و پاسخ هایی که آنها ارائه کرده اند طولانی تر و اساسی تر از آنچه در مجموعه داده های پرسش و پاسخ معمولی از یک مجموعه داده شده است. انجمن عمومی

در یادداشت فاش شده آمده است:

در ابتدای ماه مارس، جامعه متن باز اولین مدل پایه واقعاً توانمند خود را به دست آورد، زیرا LLaMA متا به عموم مردم درز کرد.

هیچ دستورالعمل یا تنظیم مکالمه و RLHF نداشت.

با این وجود، جامعه بلافاصله اهمیت آنچه به آنها داده شده بود را درک کردند.

طغیان عظیمی از نوآوری به دنبال داشت، با چند روز فاصله بین تحولات عمده…

اینجا هستیم، تقریباً یک ماه بعد، و انواعی با تنظیم دستورالعمل، کمی سازی، بهبود کیفیت، ارزیابی انسانی، چندوجهی، RLHF، و غیره و غیره وجود دارد که بسیاری از آنها بر روی یکدیگر ساخته می شوند.

مهمتر از همه، آنها مشکل پوسته پوسته شدن را تا حدی حل کرده اند که هر کسی بتواند سرهم بندی کند.

بسیاری از ایده های جدید از مردم عادی است.

مانع ورود برای آموزش و آزمایش از کل خروجی یک سازمان تحقیقاتی بزرگ به یک نفر، یک شبانه روز و یک لپ‌تاپ پرخاصیت کاهش یافته است.

به عبارت دیگر، چیزی که ماه ها و سال ها طول کشید تا گوگل و OpenAI آموزش ببینند و بسازند، برای جامعه متن باز چند روز طول کشید.

این باید یک سناریوی واقعاً ترسناک برای گوگل باشد.

این یکی از دلایلی است که من آنقدر در مورد جنبش AI منبع باز می نویسم زیرا واقعاً به نظر می رسد آینده هوش مصنوعی مولد در یک دوره زمانی نسبتاً کوتاه کجا خواهد بود.

منبع باز از لحاظ تاریخی از منابع بسته پیشی گرفته است

این یادداشت به تجربه اخیر با DALL-E OpenAI اشاره می کند، مدل یادگیری عمیقی که برای ایجاد تصاویر در مقابل انتشار پایدار منبع باز استفاده می شود، به عنوان پیشگویی از آنچه در حال حاضر برای هوش مصنوعی مولد مانند Bard و ChatGPT رخ می دهد.

Dall-e توسط OpenAI در ژانویه 2021 منتشر شد. Stable Diffusion، نسخه منبع باز، یک سال و نیم بعد در آگوست 2022 منتشر شد و در چند هفته کوتاه از محبوبیت Dall-E پیشی گرفت.

این نمودار جدول زمانی نشان می دهد که Stable Diffusion با چه سرعتی از Dall-E سبقت گرفت:

جدول زمانی Google Trends در بالا نشان می دهد که چگونه علاقه به مدل منبع باز Stable Diffusion از Dall-E در عرض سه هفته پس از انتشار فراتر رفت.

و اگرچه Dall-E برای یک سال و نیم منتشر شده بود، اما علاقه به Stable Diffusion به طور تصاعدی افزایش یافت در حالی که Dall-E OpenAI راکد ماند.

تهدید وجودی رخدادهای مشابه که بر Bard (و OpenAI) پیشی می‌گیرد، باعث کابوس‌های گوگل شده است.

فرآیند ایجاد مدل منبع باز برتر است

عامل دیگری که مهندسان گوگل را نگران می کند این است که فرآیند ایجاد و بهبود مدل های منبع باز سریع، ارزان است و کاملاً به یک رویکرد مشترک جهانی مشترک برای پروژه های منبع باز کمک می کند.

این یادداشت نشان می‌دهد که تکنیک‌های جدیدی مانند LoRA (تطبیق با رتبه پایین مدل‌های زبانی بزرگ)، امکان تنظیم دقیق مدل‌های زبان را در عرض چند روز با هزینه بسیار کم فراهم می‌کند، و LLM نهایی با LLM‌های بسیار گران‌تر قابل مقایسه است. توسط گوگل و OpenAI ایجاد شده است.

مزیت دیگر این است که مهندسان منبع باز می توانند به جای اینکه مجبور باشند از ابتدا شروع کنند، بر روی کارهای قبلی ایجاد کنند، تکرار کنند.

ساخت مدل های زبان بزرگ با میلیاردها پارامتر به روشی که OpenAI و Google انجام داده اند، امروز ضروری نیست.

این ممکن است نکته ای باشد که سم آلتون اخیراً به آن اشاره می کرد و اخیراً گفت که دوران مدل های بزرگ زبانی به پایان رسیده است.

نویسنده یادداشت گوگل رویکرد ارزان و سریع LoRA را برای ایجاد LLM در مقابل رویکرد بزرگ هوش مصنوعی فعلی مقایسه کرد.

نویسنده یادداشت نقص گوگل را منعکس می کند:

در مقابل، آموزش مدل‌های غول‌پیکر از ابتدا نه تنها پیش‌آموزش را دور می‌اندازد، بلکه هر گونه پیشرفت تکراری را که در بالا ایجاد شده است، دور می‌اندازد. در دنیای متن باز، زمان زیادی طول نمی کشد تا این پیشرفت ها غالب شوند و آموزش مجدد کامل را بسیار پرهزینه می کند.

ما باید در مورد اینکه آیا هر برنامه یا ایده جدید واقعاً به یک مدل کاملاً جدید نیاز دارد فکر کنیم.

…در واقع، از نظر ساعت مهندس، سرعت بهبود این مدل‌ها بسیار بیشتر از کاری است که ما می‌توانیم با بزرگترین مدل‌های خود انجام دهیم، و بهترین‌ها در حال حاضر تا حد زیادی از ChatGPT قابل تشخیص نیستند.

نویسنده با درک این نکته نتیجه می گیرد که آنچه آنها فکر می کردند مزیت آنها بود، مدل های غول پیکر آنها و هزینه های گزاف همزمان، در واقع یک نقطه ضعف بود.

ماهیت همکاری جهانی منبع باز کارآمدتر است و در نوآوری سریعتر است.

چگونه یک سیستم منبع بسته می تواند با خیل عظیم مهندسان در سراسر جهان رقابت کند؟

نویسنده نتیجه می گیرد که آنها نمی توانند رقابت کنند و رقابت مستقیم به قول آنها یک “گزاره بازنده” است.

این بحران، طوفانی است که خارج از گوگل در حال توسعه است.

اگر نمی توانید متن باز را شکست دهید به آنها بپیوندید

تنها دلداری که نویسنده یادداشت در متن باز می یابد این است که چون نوآوری های متن باز رایگان هستند، گوگل نیز می تواند از آن بهره ببرد.

در نهایت، نویسنده به این نتیجه می رسد که تنها رویکردی که برای گوگل باز است، مالکیت پلتفرم به همان شیوه ای است که بر پلتفرم های منبع باز کروم و اندروید تسلط دارند.

آنها به این نکته اشاره می کنند که متا چگونه از انتشار مدل زبان بزرگ LLaMA برای تحقیق سود می برد و چگونه هزاران نفر در حال حاضر کار خود را به صورت رایگان انجام می دهند.

شاید نکته مهم این یادداشت این باشد که گوگل ممکن است در آینده نزدیک سعی کند با انتشار پروژه های خود بر اساس منبع باز، سلطه منبع باز خود را تکرار کند و در نتیجه مالک پلتفرم شود.

این یادداشت نتیجه می گیرد که استفاده از منبع باز مناسب ترین گزینه است:

«گوگل باید خود را به عنوان یک رهبر در جامعه منبع باز معرفی کند و با همکاری و به جای نادیده گرفتن گفتگوهای گسترده تر، رهبری را به عهده بگیرد.

این احتمالاً به معنای انجام برخی اقدامات ناراحت کننده است، مانند انتشار وزن مدل برای انواع کوچک ULM. این لزوماً به معنای کنار گذاشتن برخی از کنترل‌ها بر مدل‌های ما است.

اما این سازش اجتناب ناپذیر است.

ما نمی توانیم امیدوار باشیم که هم نوآوری را هدایت کنیم و هم آن را کنترل کنیم.»

منبع باز با آتش AI راه می رود

هفته گذشته اشاره ای به افسانه یونانی قهرمان انسانی پرومتئوس کردم که آتش را از خدایان در کوه المپ دزدید و منبع باز پرومتئوس را در برابر “خدایان المپیا” گوگل و OpenAI قرار داد:

من توییت کرد:

«در حالی که گوگل، مایکروسافت و اوپن AI با یکدیگر دعوا می کنند و پشت کرده اند، آیا منبع باز با آتش خود کنار می رود؟»

افشای یادداشت گوگل این مشاهدات را تایید می‌کند، اما همچنین به تغییر استراتژی احتمالی گوگل برای پیوستن به جنبش منبع باز و در نتیجه مشارکت در آن و تسلط بر آن به همان روشی که با کروم و اندروید انجام دادند اشاره می‌کند.

یادداشت لو رفته گوگل را اینجا بخوانید:

گوگل «ما خندق نداریم و OpenAI هم نیست»