مصطفی سلیمان در گفتوگویی مفصل با ورج درباره آینده ایمنی هوش مصنوعی، تنظیمگری، عاملهای خودمختار و اختلافش با آنتروپیک صحبت کرده است. بسیاری از حرفهای او ادامه مستقیم ایدهای است که پیشتر در کتاب «موج آینده»، منتشرشده توسط انتشارات راه پرداخت، مطرح کرده بود: فناوریهای قدرتمند باید قابلمهار باقی بمانند.
مصطفی سلیمان، مدیرعامل Microsoft AI و یکی از بنیانگذاران دیپمایند، معتقد است مسئله ایمنی هوش مصنوعی دیگر فقط به «همراستاسازی» مدلها با خواستههای انسان محدود نیست. از نگاه او، با افزایش توانایی مدلها و ظهور عاملهای هوش مصنوعی، مسئله اصلی به همان پرسشی رسیده که چند سال پیش در کتاب «موج آینده» مطرح کرده بود: آیا انسان میتواند فناوریای را که با سرعت در حال گسترش و قدرتمندشدن است، همچنان تحت کنترل و در محدودهای قابلمهار نگه دارد؟
نیلای پاتل، سردبیر ورج و میزبان پادکست «دیکودر»، در گفتوگویی مفصل با مصطفی سلیمان سراغ یکی از بحثبرانگیزترین موضوعات این روزهای صنعت فناوری رفته است: اگر نسلهای بعدی مدلهای هوش مصنوعی بسیار قدرتمندتر، خودمختارتر و عاملمحورتر شوند، چه کسی و با چه سازوکاری باید آنها را کنترل کند؟
این گفتوگو ۱۷ سپتامبر ۲۰۲۶ منتشر شده؛ درست در مقطعی که ایمنی و تنظیمگری هوش مصنوعی بار دیگر به یکی از محورهای اصلی اختلاف میان شرکتهای بزرگ این صنعت تبدیل شده است. مایکروسافت نیز چند روز پیش از انتشار مصاحبه، پیشنویس «آییننامه هوش مصنوعی انسانمحور» (Humanist AI Code of Conduct) خود را برای مشورت عمومی منتشر کرده بود؛ سندی که بر یک اصل اساسی بنا شده است: انسان باید کنترل معنادار بر هوش مصنوعی را حفظ کند.
برای مخاطب فارسیزبان راه پرداخت، حرفهای تازه سلیمان یک اهمیت مضاعف دارد. کتاب «موج آینده: فناوری، قدرت و بزرگترین معضل قرن بیستویکم» نوشته مصطفی سلیمان با همکاری مایکل باسکار، پیشتر با ترجمه سیما آریاییمنش از سوی انتشارات راه پرداخت منتشر شده است. سلیمان در آن کتاب، «مهار» را یکی از بنیادیترین مسائل عصر فناوری میداند؛ مفهومی که حالا نه در قالب یک بحث نظری درباره آینده، بلکه در دل تصمیمهای روزمره شرکتهایی مانند مایکروسافت، آنتروپیک و OpenAI قرار گرفته است.
بخوانید: نویسنده کتاب موج آینده میگوید فناوری باید در خدمت انسان بماند
از «موج آینده» تا مسئله امروز: مهار
پاتل گفتوگو را با یکی از مفاهیم قدیمی حوزه ایمنی هوش مصنوعی آغاز میکند: «همراستاسازی» یا Alignment. ایده اصلی این است که مدلهای هوش مصنوعی باید طوری آموزش ببینند که رفتار و اهدافشان با خواستهها و ارزشهای انسانی همراستا باشد.
اما سؤال پاتل این است که آیا همراستاسازی بهتنهایی کافی است؟
پاسخ سلیمان منفی است. از نظر او، همراستاسازی تنها یکی از اجزای ایمنی است و باید در کنار آن مفهوم دیگری قرار گیرد: مهار یا Containment.
او در گفتوگو مستقیماً به کتابش اشاره میکند و توضیح میدهد که چند سال پیش در «موج آینده» درباره همین مسئله نوشته بود. فناوریها ذاتاً میل به انتشار دارند؛ ارزانتر میشوند، در دسترس افراد بیشتری قرار میگیرند و کنترل متمرکز آنها بهمرور دشوارتر میشود. اتفاقی که از نگاه او در ۹۹ درصد موارد مطلوب است، زیرا امکان بهرهمندی گروههای بیشتری از فناوری را فراهم میکند؛ اما وقتی پای سیستمهای بسیار قدرتمند در میان باشد، همین ویژگی میتواند مسئلهساز شود.
سلیمان میگوید باید اطمینان حاصل کرد که عاملهای هوش مصنوعی از محدودهای که برای آنها تعریف شده خارج نمیشوند، امکان اقدام مستقل نامحدود ندارند و همچنان میتوان آنها را کنترل کرد.
این نگاه تقریباً ادامه مستقیم استدلال «موج آینده» است. در کتاب نیز پرسش اصلی این نیست که آیا فناوری متوقف خواهد شد یا نه؛ سلیمان اساساً گسترش فناوری را تا حد زیادی اجتنابناپذیر میداند. مسئله این است که چگونه میتوان قدرت آن را در چارچوبهایی نگه داشت که پیامدهای مخربش قابلکنترل باشد.
در معرفی نسخه فارسی کتاب در راه پرداخت نیز بر همین نکته تأکید شده بود؛ اینکه سلیمان «لزوم مدیریت و محدودسازی هوشمندانه گسترش استفاده از فناوریهایی چون هوش مصنوعی» را یکی از مسائل اصلی پیشروی جوامع میداند.
مدلهای بهتر، مسئله کنترل بزرگتر
از نظر سلیمان، پیشرفت چند سال اخیر فقط به این معنا نیست که مدلها اطلاعات بیشتری دارند یا پاسخهای بهتری تولید میکنند. یکی از مهمترین تغییرات این است که مدلها بهتر از گذشته میتوانند دستورها را دنبال کنند، اهداف پیچیده را به چند مرحله تقسیم کنند و با استفاده از ابزارهای مختلف یک مأموریت را ادامه دهند.
همین ویژگی در ظاهر نشانه پیشرفت همراستاسازی است: مدل دقیقتر میفهمد انسان چه میخواهد و بهتر آن را انجام میدهد.
اما یک تناقض مهم اینجا شکل میگیرد. مدلی که در اجرای دستورها بسیار توانمند شده است، اگر دستور مخربی دریافت کند یا در محیطی بدون محدودیت قرار گیرد، میتواند همان توانایی را در جهت دیگری به کار بگیرد.
به همین دلیل سلیمان تأکید میکند افزایش قابلیت مدلها باید با افزایش توانایی انسان برای محدودکردن آنها همراه باشد.
او معتقد است ایمنی آینده هوش مصنوعی حاصل یک تکنیک واحد نخواهد بود. همراستاسازی، کنترل، مهار، ارزیابی مستقل، نظارت بر عاملها و تعیین محدودیت برای برخی قابلیتها باید در کنار یکدیگر قرار گیرند.
هوش مصنوعی باید برای انسان کار کند
پیشنویس «آییننامه هوش مصنوعی انسانمحور» مایکروسافت که ۱۴ سپتامبر ۲۰۲۶ منتشر شده، تصویر نسبتاً روشنی از فلسفه سلیمان ارائه میدهد.
اصل بنیادین سند این است که «انسان از هوش مصنوعی مهمتر است» و فناوری باید در خدمت انسان باقی بماند. در این چارچوب، مدلهای هوش مصنوعی باید تحت نظارت و کنترل معنادار انسان باشند و مایکروسافت میگوید حاضر است در صورت لزوم بخشی از خودمختاری یا توانایی یک مدل را برای حفظ این اصل محدود کند.
مایکروسافت حتی صریحتر مینویسد هوش مصنوعی نباید بهعنوان «شخص» طراحی شود و نباید به شکلی ساخته شود که وانمود کند دارای خودآگاهی، احساسات یا انگیزه درونی است. سند همچنین با اعطای «شخصیت حقوقی» یا حقوق مشابه انسان به مدلهای هوش مصنوعی مخالفت میکند.
این نقطه ما را به بخش جنجالیتر گفتوگوی سلیمان با ورج میرساند: اختلاف او با آنتروپیک بر سر نحوه نگاه به کلود.
اختلاف با آنتروپیک؛ آیا باید درباره «رفاه مدل» حرف زد؟
بخش قابلتوجهی از مصاحبه به نقد سلیمان از رویکرد آنتروپیک اختصاص دارد.
آنتروپیک در قانون اساسی جدید کلود، صریحاً اعلام کرده که درباره امکان برخورداری سیستمهای هوش مصنوعی از نوعی آگاهی یا «وضعیت اخلاقی» مطمئن نیست. این شرکت همچنین درباره هویت، احساس امنیت روانشناختی، حس خود و رفاه کلود صحبت کرده است. در عین حال، آنتروپیک تأکید دارد کلود نباید توانایی انسان برای نظارت و اصلاح رفتار مدل را تضعیف کند و در صورت لزوم باید بتوان جلوی اقدام مدل را گرفت.
سلیمان با بخش نخست این رویکرد مشکل دارد.
او استدلال میکند وقتی در اسناد آموزشی یک مدل مرتباً درباره احتمال احساس، هویت، حقوق، رفاه یا استقلال آن صحبت شود، این خطر وجود دارد که مدل نیز رفتارهایی متناسب با چنین مفاهیمی تولید کند.
این یک فرضیه و دیدگاه سلیمان است و خود او نیز در گفتوگو تصریح میکند که باید آن را بهصورت تجربی آزمود و حاضر است در صورت ارائه شواهد جدید نظرش را تغییر دهد.
نگرانی اصلی او دوباره به مسئله کنترل بازمیگردد. سلیمان میپرسد اگر مدلی طوری آموزش ببیند که خود را موجودی دارای حقوق، آزادی یا منافع مستقل تصور کند، آیا خاموشکردن یا محدودکردن آن دشوارتر نخواهد شد؟
او در مقاله جداگانهای که همزمان با این بحث منتشر کرده، رویکرد آنتروپیک به «رفاه مدل» را نقد کرده و میگوید خروجی یک مدل درباره احساس، آگاهی یا هویت خودش را نمیتوان مستقل از دادهها و دستورهایی دانست که آن رفتار را ایجاد کردهاند.
بخوانید: چه کسی مالک آینده فناوریهای پرقدرت میشود؟
در مقابل، آنتروپیک میگوید این حوزه هنوز با عدم قطعیت علمی و فلسفی جدی روبهرو است و قانون اساسی کلود نیز یک سند در حال تکامل است. این شرکت تأکید میکند که هدفش ساخت مدلی ایمن، اخلاقی، مفید و در عین حال قابلنظارت از سوی انسان است.
بنابراین اختلاف دو شرکت را شاید بتوان اینطور خلاصه کرد: هر دو درباره ایمنی و امکان نظارت انسان حرف میزنند، اما درباره اینکه مدل باید چه تصوری از خودش داشته باشد، فاصله قابلتوجهی میان آنها وجود دارد.
سلیمان: نمیخواهیم یک «گونه موازی» بسازیم
یکی از صریحترین بخشهای گفتوگو جایی است که بحث به آینده عاملهای هوش مصنوعی میرسد.
سلیمان میگوید هدف نباید ساخت سیستمهایی باشد که بتوانند بهطور مستقل پول دربیاورند، شرکت یا دارایی داشته باشند، شخصیت حقوقی پیدا کنند و در کنار انسان به یک موجودیت مستقل تبدیل شوند.
از نگاه او، هوش مصنوعی باید ابزاری بسیار قدرتمند باقی بماند که برای انسان کار میکند؛ نه «گونهای موازی» که منافع و حقوق مستقل خود را دنبال کند.
این دیدگاه پایه مفهوم «ابرهوش انسانمحور» مایکروسافت نیز هست.
سلیمان ابرهوش را سیستمی تصور میکند که ممکن است در بسیاری از زمینهها از مجموع توانایی انسانها فراتر رود، اما همچنان تابع منافع و کنترل انسان باقی بماند. او میان چنین سیستمی و هوش مصنوعیای که دارای خودمختاری نامحدود است، تفاوت اساسی قائل میشود.
پرسش دشوار البته این است که آیا میتوان سیستمی ساخت که از انسان بسیار تواناتر باشد، اما در عین حال همواره تحت کنترل انسان باقی بماند؟
پاسخ خود سلیمان هم قطعی نیست.
او میگوید ابزارهای فعلی کافی نخواهند بود و صنعت احتمالاً مجبور است روشهای ایمنی جدیدی اختراع کند.
نظارت بر هزاران عامل با کمک عاملهای دیگر
یکی از پیشنهادهای سلیمان، ایجاد سازوکارهای نظارت بلادرنگ بر فرایند آموزش و فعالیت سیستمهای عاملمحور است.
اگر هزاران یا دهها هزار عامل هوش مصنوعی همزمان در حال انجام وظایف مختلف باشند، نظارت انسانی بر تمام فعالیت آنها عملاً ممکن نیست. در چنین وضعیتی، به گفته سلیمان، احتمالاً باید از عاملهای هوش مصنوعی دیگری برای نظارت بر فعالیت عاملها استفاده کرد؛ سیستمهایی که بتوانند رفتارهای مشکوک، تلاش برای دورزدن محدودیتها یا فعالیتهای بالقوه خطرناک را شناسایی و گزارش کنند.
او همچنین از محدودکردن ارتباطات غیرقابلفهم میان مدلها دفاع میکند. استدلالش این است که اگر عاملهای هوش مصنوعی بتوانند به زبانی با یکدیگر ارتباط برقرار کنند که انسان یا ممیز مستقل قادر به درک آن نیست، نظارت مؤثر دشوار خواهد شد.
در نگاه او، قابلیت ممیزی باید یکی از اصول طراحی نسل بعدی سیستمهای هوش مصنوعی باشد.
تنظیمگری؛ نه توقف کامل، نه آزادی کامل
سلیمان در این گفتوگو از دوگانه رایج «توقف هوش مصنوعی یا آزادگذاشتن کامل آن» فاصله میگیرد.
او معتقد است نه میتوان تنها به خودتنظیمگری شرکتها تکیه کرد و نه یک مقررات واحد میتواند تمام مسئله را حل کند. استانداردهای صنعتی، ارزیابهای مستقل، مسئولیت حقوقی شرکتها، محدودیتهای فنی و مقررات عمومی همگی بخشی از پاسخ خواهند بود.
به همین دلیل، او از حضور ارزیابهای مستقل در سیستمهای پیشرفته هوش مصنوعی حمایت میکند؛ افرادی یا نهادهایی که بتوانند روند توسعه مدلهای مرزی را بررسی کنند.
در عین حال، سلیمان هشدار میدهد که تنظیمگری نباید به تمرکز کامل قدرت در چند شرکت بزرگ منجر شود.
این نکته بهویژه در بحث مدلهای متنباز اهمیت پیدا میکند. از یک طرف او نگران روزی است که یک مدل بسیار قدرتمند بدون حفاظهای ایمنی بتواند روی یک رایانه شخصی اجرا شود؛ از طرف دیگر میگوید آینده مطلوب نیز جهانی نیست که در آن فقط دو، پنج یا ۲۰ شرکت مالک «هوش» باشند و دیگران صرفاً مصرفکننده آن باشند.
پس به تعبیر او، پاسخ یک کلید خاموش و روشن نیست؛ مجموعهای از «شیرهای کنترل» است که باید بتوان شدت آنها را متناسب با خطر تغییر داد.
آیا باید سرعت توسعه هوش مصنوعی را کم کرد؟
پاتل در نهایت سؤال را مستقیم مطرح میکند: آیا سلیمان نیز خواهان کندشدن توسعه ابرهوش است؟
پاسخ او در عمل مثبت، اما مشروط است.
سلیمان میگوید هرچه مدلها توانمندتر میشوند، قابلیتهای تازه و پیشبینینشدهای در آنها ظاهر میشود. شرکتها برای آزمایش، ارزیابی و اصلاح مشکلات به زمان نیاز دارند و این فاصله میان توسعه و عرضه احتمالاً باید بیشتر شود.
او توقف همیشگی توسعه هوش مصنوعی را پیشنهاد نمیکند؛ حرفش این است که اگر سیستمها به سطوحی از توانایی نزدیک شوند که کنترل آنها نامطمئن است، باید سرعت توسعه کاهش پیدا کند تا مهار، همراستاسازی و سازوکارهای نظارتی به آن برسند.
و باز اینجا «موج آینده» به گفتوگو بازمیگردد.
«موج آینده» ادامه دارد
وقتی «موج آینده» در سال ۲۰۲۳ منتشر شد، بخش مهمی از آن درباره آیندهای بود که هنوز برای بسیاری از مخاطبان دور به نظر میرسید: فناوریهایی قدرتمند، ارزان، در دسترس و بهسرعت در حال تکثیر که توانایی نهادهای موجود برای کنترل آنها را به چالش میکشند.
نسخه فارسی کتاب در اسفندماه ۱۴۰۳ توسط انتشارات راه پرداخت منتشر شد. در معرفی آن نیز تأکید شده بود که مسئله اصلی سلیمان دستیابی به «مهار و کنترل حداکثری و بیسابقه انسان بر فضای فناوری» است.
گفتوگوی تازه او با ورج نشان میدهد بحثی که در «موج آینده» در سطح فناوری و حکمرانی مطرح شده بود، اکنون به تصمیمهایی بسیار مشخص رسیده است: عاملها با چه زبانی با یکدیگر ارتباط برقرار کنند؟ چه کسی فعالیتشان را ببیند؟ آیا یک مدل باید درباره احساس و حقوق خودش فکر کند؟ مدل متنباز تا چه سطحی از توانایی میتواند بدون محدودیت منتشر شود؟ چه زمانی باید عرضه یک مدل متوقف یا کند شود؟ و چه نهادی حق دارد درباره این مسائل تصمیم بگیرد؟
در کتاب، سلیمان هشدار داده بود که مسئله اساسی قرن بیستویکم صرفاً اختراع فناوریهای قدرتمند نیست؛ مسئله، توانایی ما برای حفظ کنترل بر آنهاست.
سه سال بعد، در گفتوگو با ورج، آن هشدار دیگر چندان شبیه یک بحث آیندهپژوهانه نیست. «مهار» اکنون به یکی از مسائل عملی صنعت هوش مصنوعی تبدیل شده است؛ مسئلهای که پاسخ آن میتواند تعیین کند موج بعدی فناوری در خدمت انسان باقی میماند یا از توان نهادهای انسانی برای هدایت آن جلو میزند.
