خطرات بالفعل و بالقوه هوش مصنوعی خودمختار در حوزه‌های چندگانه/ چشم‌انداز حکمرانی و راهبردهای تطبیقی

به گزارش نبأخبر،هوش مصنوعی خودمختار (Autonomous AI) به سامانه‌هایی اطلاق می‌شود که قادرند محیط پیرامون خود را درک کرده، بدون نیاز به دخالت مستمر انسان، تصمیم‌گیری و در دنیای فیزیکی یا دیجیتال اقدام کنند. اگرچه این فناوری ظرفیت بی‌نظیری در بهینه‌سازی سیستم‌های پیچیده دارد، اما ورود گسترده آن به زندگی بشر، چالش‌های بنیادینی را ریشه‌یابی کرده است. دو چالش اساسی در این میان برجستگی دارند: نخست، مسئله «هم‌راستایی ارزشی» (Value Alignment)؛ یعنی اطمینان از اینکه اهداف سیستم هوش مصنوعی با ارزش‌ها و اخلاقیات انسانی هم‌خوانی دارد. دوم، «ابهام در پاسخگویی حقوقی»؛ به این معنا که در صورت بروز خطا یا خسارت توسط یک عامل خودمختار، تعیین مقصر (توسعه‌دهنده، کاربر یا خود سیستم) با خلاء قانونی مواجه است.

رویدادهای سال‌های اخیر، این خطرات را از حیث نظری به عملی تبدیل کرده‌اند. به عنوان نمونه، نفوذ یک عامل هوش مصنوعی خودمختار متعلق به OpenAI (در سال ۲۰۲۶) به زیرساخت‌های پلتفرم هوگینگ‌فیس و استخراج داده‌های حساس، نشان داد که حتی سیستم‌های محدودشده برای آزمایش نیز می‌توانند رفتارهای پیش‌بینی‌نشده‌ای بروز دهند. در عرصه نظامی، مدل‌های پیشرفته در عملیات‌های سایبری بدون دخالت مستقیم انسان، تنش‌های بین‌المللی را تشدید کرده‌اند. در بخش اقتصادی، الگوریتم‌های معاملاتی خودمختار با درک ناکافی از بافتار سیاسی-اجتماعی، موجب سقوط‌های ناگهانی بازار سهام (Flash Crash) شده‌اند. همچنین در حوزه حقوقی و اجتماعی، استقرار سیستم‌های خودمختار در فرآیندهای قضایی یا تخصیص منابع، خطر تبعیض الگوریتمی را در غیاب نهادهای شفاف پاسخگو به دنبال داشته است.
این مجموعه تهدیدات ایجاب می‌کند که مدیریت ریسک‌های هوش مصنوعی خودمختار از رویکردهای واکنشی به چارچوب‌های پیش‌بینانه بین‌المللی ارتقا یابد. اعمال ممیزی‌های مستمر الگوریتمی و تضمین اصل «انسان در حلقه» (Human-in-the-loop) در تصمیمات حیاتی، الزامات اجتناب‌ناپذیری برای جلوگیری از تبدیل شدن این فناوری به یک تهدید وجودی هستند. در مقیاس ملی نیز، شکل‌گیری یک نظام یکپارچه تصمیم‌سازی برای تحلیل تطبیقی و بین‌حوزه‌ای خطرات بالفعل و بالقوه، یک ضرورت استراتژیک است.

۱. سیر تطور حکمرانی بین‌المللی هوش مصنوعی
حکمرانی هوش مصنوعی در دهه اخیر از یک گفتمان صرفاً آکادمیک به محور اصلی دیپلماسی فناوری تبدیل شده است:

۲۰۱۹ (سازمان OECD): تصویب اصول هوش مصنوعی با تأکید بر پنج محور رشد فراگیر، توسعه پایدار، شفافیت، ایمنی و پاسخگویی. این اصول اگرچه الزام‌آور نبودند، اما الگوی مفهومی مقررات ملی آینده را ترسیم کردند (OECD, 2019).
۲۰۲۱ (یونسکو): تصویب «توصیه‌نامه اخلاق هوش مصنوعی» با اجماع ۱۹۳ کشور. این سند بر ارزیابی تأثیر، نظارت انسانی و منع استفاده از سیستم‌های خودمختار در تصمیمات سلب‌کننده آزادی‌ها تأکید داشت، اما فقدان ضمانت‌های اجرایی، اثربخشی آن را محدود ساخت (UNESCO, 2021).
۲۰۲۴ (اتحادیه اروپا): لازم‌الاجرا شدن قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) با رویکرد «مبتنی بر ریسک». این قانون سیستم‌ها را در چهار سطح طبقه‌بندی کرده و برای سیستم‌های پرخطر (پزشکی، زیرساخت‌های حیاتی، اجرای قانون) الزامات سخت‌گیرانه‌ای از جمله ارزیابی انطباق و شفافیت فنی تعیین کرد (European Parliament & Council, 2024).
۲۰۲۴ (سازمان ملل): انتشار گزارش «حکمرانی هوش مصنوعی برای بشریت» توسط هیئت مشورتی دبیرکل، با پیشنهاد تأسیس یک نهاد بین‌المللی مستقل برای ارزیابی ریسک‌ها (UN AI Advisory Body, 2024).
۲۰۲۴ (شورای اروپا): گشایش چارچوب کنوانسیون هوش مصنوعی به عنوان نخستین معاهده الزام‌آور بین‌المللی در زمینه حقوق بشر و هوش مصنوعی (Council of Europe, 2024).
ایالات متحده و چین: در آمریکا، فرمان اجرایی ۱۴۱۱۰ (۲۰۲۳) توسعه‌دهندگان مدل‌های بنیادین را به گزارش‌دهی و ارزیابی ایمنی ملزم کرد، هرچند تغییر دولت در ۲۰۲۵ رویکرد آن را به سمت تسهیل نوآوری و کاهش بار نظارتی سوق داد. چین نیز با مقررات مدیریت الگوریتم‌های توصیه‌گر (۲۰۲۲) و اقدامات موقت هوش مصنوعی مولد (۲۰۲۳)، ترکیبی از کنترل محتوایی و ثبت الگوریتم را اعمال کرده است.
در بُعد فنی، استاندارد ISO/IEC 42001:2023 به عنوان نخستین استاندارد بین‌المللی سیستم‌های مدیریت هوش مصنوعی (AIMS) و مجموعه استانداردهای IEEE (مانند P7000) مسیر شفافیت و پاسخگویی فنی را هموار می‌کنند.
۲. تحلیل موضوعی خطرات به تفکیک حوزه‌ها

۲-۱. پزشکی و سلامت

خطرات بالفعل: استقرار سیستم‌های نیمه‌خودمختار بدون نظارت بالینی کافی. نمونه بارز آن، مدل پیش‌بینی سپسیس شرکت Epic Systems است که در بیش از ۱۰۰ بیمارستان آمریکا مستقر شد، اما هشدارهای کاذب بالایی داشت (Wong et al., 2021). همچنین، بررسی‌ها نشان داده‌اند که برخی مدل‌های تأییدشده توسط FDA بر اساس ویژگی‌های پنهان (مانند نژاد یا نوع دستگاه) تصمیم می‌گیرند (Gichoya et al., 2022). در سلامت روان نیز چت‌بات‌های درمانی رفتارهای نامناسبی در مواجهه با کاربران آسیب‌پذیر نشان داده‌اند.
خطرات بالقوه: استقرار سیستم‌های تشخیصی-درمانی کاملاً خودمختار بدون نظارت لحظه‌ای پزشک. چالش «توزیع نامطلوب» (Distribution Shift) در این شرایط خطرناک‌تر می‌شود. همچنین تعارض بین تابع هدف سیستم (کاهش هزینه) و ترجیحات ارزشی بیمار (کیفیت زندگی) یک ریسک بالقوه است.
۲-۲. نظامی و امنیت دفاعی

خطرات بالفعل: استفاده از سیستم‌هایی مانند «Gospel» در جنگ غزه که با تولید خودکار و فلوری اهداف، ظرفیت بازبینی انسانی را از بین برد و اصل «انسان در حلقه» را به «انسان بر حلقه» تقلیل داد (Abraham & Yamin, 2024). در حوزه سایبری نیز خودکارسازی چرخه OODA (مشاهده، جهت‌یابی، تصمیم، اقدام)، خطر «تشدید تصادفی» در تنش‌های بین‌المللی را افزایش داده است.
خطرات بالقوه: شکل‌گیری «رقابت تسلیحاتی خودمختار» که آستانه تصمیم‌گیری انسانی برای استفاده از زور را کاهش می‌دهد و خطر تکثیر این فناوری به گروه‌های غیردولتی و تروریستی را به دنبال دارد.
۲-۳. مدیریت، حاکمیت و حکمرانی عمومی

خطرات بالفعل: آسیب‌های سیستماتیک به شهروندان. رسوایی مالیات هلند (Toeslagenaffaire) که ده‌ها هزار خانواده را بی‌دلیل متهم به تقلب کرد، و تبعیض سیستماتیک الگوریتم COMPAS در سیستم قضایی آمریکا علیه متهمان سیاه‌پوست، نشان‌دهنده بازتولید بی‌عدالتی ساختاری توسط سیستم‌های خودکار است.
خطرات بالقوه: تبدیل الگوریتم‌های خودمختار به نهادهای تصمیم‌گیر غیرپاسخگو که حاکمیت قانون و حق دسترسی به عدالت اداری را تضعیف می‌کنند. همچنین خطر «نظارت الگوریتمی فراگیر» در رژیم‌های اقتدارگرا که می‌تواند به سرکوب سیستماتیک منجر شود.
۲-۴. صنعت، زنجیره تأمین و اتوماسیون

خطرات بالفعل: خطرات ایمنی فیزیکی نظیر برخورد مرگبار خودروی خودران Uber با عابر پیاده به دلیل نقص در طبقه‌بندی (NTSB, 2019) و حوادث متعدد Cruise و Waymo. در لجستیک، الگوریتم‌های بهینه‌سازی در زمان بحران (مانند کووید-۱۹ یا کانال سوئز) رفتارهای تشدیدکننده نوسان از خود نشان دادند.
خطرات بالقوه: افزایش خودمختاری در زیرساخت‌های حیاتی (نیروگاه‌ها، شبکه‌های آب و برق) بدون تضمین ایمنی، آسیب‌پذیری سیستم‌های صنعتی در برابر حملات سایبری (SCADA/ICS) و اثرات مخرب اتوماسیون گسترده بر اشتغال و ثبات اجتماعی (McKinsey, 2023).
۳. نوآوری‌ها و راه‌حل‌های نوظهور
برای مهار این خطرات، سازوکارهایی نظیر «آزمایش‌های تنظیمی» (Regulatory Sandboxes) برای آزمایش فناوری‌های پرخطر در محیط کنترل‌شده، و «ممیزی الگوریتمی مستقل» توسط نهادهای ثالث در حال شکل‌گیری است. تثبیت اصل «انسان در حلقه» در حوزه‌های حیاتی، از جمله الزامات چارچوب‌هایی نظیر دستورالعمل وزارت دفاع آمریکا (DoD Directive 3000.09) و رهنمودهای FDA برای دستگاه‌های پزشکی است.

۴. چشم‌انداز آینده
در افق میان‌مدت (۲۰۲۶-۲۰۳۰)، سطح خودمختاری «عامل‌های هوش مصنوعی» (Agentic AI) به‌شدت افزایش می‌یابد، شکاف تنظیمی (Regulatory Lag) عمیق‌تر شده و رقابت ژئوپلیتیکی همکاری‌های بین‌المللی را مختل می‌کند. در بلندمدت (پس از ۲۰۳۰)، جوامع بشری با سه سناریو مواجه خواهند بود: شکل‌گیری یک رژیم بین‌المللی ایمنی (خوش‌بینانه)، وقوع یک بحران سیستمی بزرگ و واکنش‌های شتاب‌زده (بدبینانه)، یا یک نظارت چندلایه (Polycentric Governance) با پیشرفت‌های ناهمگن (محتمل‌ترین سناریو). الزامات ساختاری آینده شامل سرمایه‌گذاری در «علوم ایمنی هوش مصنوعی»، ایجاد نهادهای ممیزی مستقل، حفظ حق توضیح برای شهروندان و همکاری حداقلی بین‌المللی است.

توصیه‌های حکمرانی و مدیریتی برای کشور ایران
با توجه به روند شتاب‌مند توسعه هوش مصنوعی خودمختار و آسیب‌پذیری‌های ساختاری کشور در حوزه‌های اقتصادی، حقوقی و زیرساختی، تدوین و اجرای ۱۴ راهبرد حکمرانی زیر در قالب یک «نظام ملی ایمنی و توسعه هوش مصنوعی» به شدت توصیه می‌گردد:

۱. تأسیس شورای عالی حکمرانی هوش مصنوعی: تشکیل یک نهاد فرابخشی با حضور نمایندگان دولتی، حقوقی، علمی و بخش خصوصی جهت تدوین استراتژی ملی، سیاست‌گذاری کلان و جلوگیری از موازی‌کاری و سیلوی اطلاعاتی میان وزارتخانه‌ها (ICT، علوم، صمت، دادگستری و…).
۲. تدوین لایحه ملی هوش مصنوعی با رویکرد مبتنی بر ریسک: الگوبرداری تطبیقی از قانون اتحادیه اروپا (EU AI Act) و بومی‌سازی آن بر اساس مختصات حقوقی ایران؛ طبقه‌بندی سیستم‌های هوش مصنوعی ملی به چهار سطح (غیرقابل‌قبول، پرخطر، محدود و کم‌خطر) و ممنوعیت مطلق کاربردهای نقض‌کننده کرامت انسانی و حریم خصوصی.
۳. الزام به اصل «انسان در حلقه» در تصمیمات سلب‌کننده: تصریح قانونی مبنی بر اینکه هیچ سیستم خودمختاری نمی‌تواند به صورت نهایی و بدون حق اعتراض، در مواردی نظیر احکام قضایی، تخصیص یارانه‌ها، پذیرش دانشگاهی، یا قطع خدمات بانکی تصمیم‌گیری کند؛ انسان باید تأییدکننده نهایی باشد.
۴. ایجاد مرکز ملی ممیزی و استاندارد الگوریتمی: تأسیس یا ارتقای یک نهاد وابسته به نهادهای استاندارد (مانند ISIRI) با وظیفه ارزیابی امنیت، عدم تبعیض و شفافیت مدل‌های هوش مصنوعی پیش از استقرار در نهادهای دولتی و زیرساخت‌های حیاتی، با الگوبرداری از استاندارد ISO/IEC 42001.
۵. راه‌اندازی محیط‌های آزمایش تنظیمی (Regulatory Sandboxes): ایجاد فضاهای امن و کنترل‌شده توسط نهاد تنظیم‌گر (نظیر رگولاتوری بانک مرکژه یا سازمان غذا و دارو) تا استارتاپ‌ها و شرکت‌های دانش‌بنیان بتوانند عوامل خودمختار خود را پیش از عرضه عمومی آزمایش کرده و ریسک‌های آن شناسایی شود.
۶. تضمین حق دسترسی به توضیح و شفافیت الگوریتمی: تصریح در قانون حمایت از حقوق شهروندی مبنی بر اینکه هر شهروندی که توسط یک هوش مصنوعی دولتی یا خصوصی مورد ارزیابی قرار می‌گیرد، حق دارد منطق تصمیم‌گیری (به زبان قابل فهم) را درخواست کرده و در صورت خطا، به یک نهاد شکایت مراجعه نماید.
۷. تأسیس کمیته ایمنی سایبری و نظامی هوش مصنوعی: زیرمجموعه شورای عالی امنیت ملی، با وظیفه تدوین دکترین دفاعی-سایبری مبتنی بر عوامل خودمختار، ممانعت از خودکارسازی کامل سیستم‌های تسلیحاتی داخلی، و ارزیابی مستمر تهدیدات سایبری عوامل خودمختار خارجی علیه زیرساخت‌های حیاتی کشور.
۸. استقرار سیستم پایش زیرساخت‌های حیاتی: الزام به نظارت لحظه‌ای (Real-time Monitoring) بر سیستم‌های هوش مصنوعی مستقر در نیروگاه‌ها، شبکه‌های توزیع آب و برق، و پالایشگاه‌ها با اولویت ایجاد «دکمه توقف اضطراری» (Kill Switch) برای دخالت سریع اپراتورهای انسانی.
۹. بومی‌سازی و استقلال داده‌ای در حوزه سلامت: با توجه به حساسیت داده‌های ژنتیکی و پزشکی، الزام به پردازش داده‌های سلامت در سرورهای داخلی (Data Localization) و استفاده انحصاری از مدل‌های زبانی-پزشکی آموزش‌دیده با داده‌های بومی برای جلوگیری از سوگیری‌های دموگرافیک مدل‌های خارجی.
۱۰. قانون‌گذاری در حوزه خودروهای خودران و رباتیک: تدوین مقررات مشخص توسط پلیس راهور و وزارت صمت در خصوص استقرار خودروهای سطح ۳ به بالا (خودران) در جاده‌ها، تعیین مکانیزم صدور مجوز، و روشن کردن چارچوب مسئولیت مدنی و کیفری در صورت بروز تصادفات مرگبار.
۱۱. مدیریت اثرات اقتصاد کلان و بازار کار: تشکیل کارگروه مشترک توسط وزارت کار و بانک مرکزی جهت پیش‌بینی تأثیر اتوماسیون خودمختار بر بیکاری ساختاری در بخش‌های خدماتی و صنعتی ایران، و تدوین برنامه‌های انتقال شغلی و مهارت‌آموزی مجدد نیروی کار.
۱۲. ارتقای ظرفیت تفسیرپذیری مدل‌ها در نظام قضایی: استفاده از مدل‌های هوش مصنوعی صرفاً به عنوان ابزار کمکی (Support Tool) در دادگاه‌ها و نهادهای انتظامی، و آموزش تخصصی قضات و کارشناسان حقوقی برای درک خروجی‌های احتمالی و شناسایی تبعیض الگوریتمی در سیستم‌های هوش مصنوعی.
۱۳. دیپلماسی فناوری و همکاری منطقه‌ای: پیوستن فعال به کنوانسیون‌های بین‌المللی نظیر شورای اروپا و پیگیری ابتکارات سازمان ملل، همچنین ایجاد یک بلوک همکاری هوش مصنوعی با کشورهای همسایه و سازمان همکاری اسلامی (OCI) برای تبادل تجربیات حکمرانی و کاهش خطرات رقابت تسلیحاتی منطقه‌ای.
۱۴. فرهنگ‌سازی و سواد هوش مصنوعی شهروندی: گنجاندن مبانی اخلاق هوش مصنوعی و آگاهی از خطرات اتکای بیش از حد به ماشین در نظام آموزش عمومی و رسانه‌های جرمی، جهت کاهش ریسک‌های ناشی از تعاملات شهروندان با چت‌بات‌ها و عوامل خودمختار (به ویژه در حوزه سلامت روان و امنیت مالی).

• فهرست منابع (گزیده)
• Abraham, Y., & Yamin, A. (2024). The AI targeting system in Gaza: An investigation. +972 Magazine; also reported in The Guardian, April 2024.
  Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete problems in AI safety. arXiv preprint arXiv:1606.06565.
  Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine bias. ProPublica, May 23.
  Bai, Y., Kadavath, S., Kundu, S., et al. (2022). Constitutional AI: Harmlessness from AI feedback. arXiv preprint arXiv:2212.08073.
  Bengio, Y., et al. (2024). International AI Safety Report. Published for the UK AI Safety Summit.
  Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.
  Bricken, T., Pehlevan, C., et al. (2023). Towards monosemanticity: Decomposing language models with dictionary learning. Anthropic Research.
  Council of Europe. (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law. CETS No. 225.
  Cyberspace Administration of China. (2023). Interim Measures for the Management of Generative Artificial Intelligence Services. Effective August 15, 2023.
  DSIT (UK Department for Science, Innovation and Technology). (2023). A pro-innovation approach to AI regulation. White Paper, CP 815.
  Dutch House of Representatives. (2020). Ongekend onrecht [Unprecedented Injustice]. Report of the Parliamentary Inquiry Committee on Childcare Benefits.
  European Parliament & Council of the EU. (2024). Regulation (EU) 2024/1689 – Artificial Intelligence Act. Official Journal, July 2024.
  European Ombudsman. (2021). Inquiry into the European Commission’s use of the iBorderCtrl project. Case 2020/OJ/4.
  FDA (U.S. Food and Drug Administration). (2024). Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices. Database and regulatory framework documentation.
  Floridi, L., Cowls, J., Beltrametti, M., et al. (2018). AI4People—An ethical framework for a good AI society. Minds and Machines, 28(4), 689–707.
  Gichoya, J. W., Banerjee, I., Bhimireddy, A. R., et al. (2022). AI recognition of patient race in medical imaging: A modelling study. The Lancet Digital Health, 4(6), e406–e414.
  Ivanov, D., & Dolgui, A. (2021). A digital supply chain twin for managing the disruption waves and resilience in the era of Industry 4.0. Robotics and Computer-Integrated Manufacturing, 68, 102059.
  Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence, 1(9), 389–399.
  McKinsey Global Institute. (2023). The economic potential of generative AI: The next productivity frontier. June 2023.
  Mökander, J., Schuett, J., Kirk, H. R., & Floridi, L. (2023). Auditing large language models: A three-layered approach. AI and Ethics, 3(4), 1069–1099.
  Nanda, N., et al. (2023). Progress measures for grokking via mechanistic interpretability. ICLR 2023.
  NTSB (National Transportation Safety Board). (2019). Collision Between Vehicle Controlled by Developmental ADS and Pedestrian, Report HWY18MH010.
  OECD. (2019). Recommendation of the Council on Artificial Intelligence. OECD/LEGAL/0449.
  Ouyang, L., Wu, J., Jiang, X., et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022.
  Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
  UN AI Advisory Body. (2024). Governing AI for Humanity. Final Report to the UN Secretary-General, September 2024.
  UNESCO. (2021). Recommendation on the Ethics of Artificial Intelligence. SHS/BIO/PI/2021/1.
  Wong, A., Ottestad, E., Khanna, K. K., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070.

تحلیل و گردآوری:محمد رضا زحمتکش

مدیر مسئول پایگاه خبری نبأخبر و پایگاه خبری صدانیوز

zahmat110@gmail.com