نیلی بلاگ‌

چت‌بات هوش مصنوعی DeepSeek در آزمایش‌های امنیتی مردود شد/ آینده هوش مصنوعی چینی در هاله‌ای از ابهام

به گزارش تجارت نیوز،

نتایج تحقیقات نشان می‌دهد چت‌بات جدید DeepSeek فاقد تدابیر امنیتی کافی است و در تمامی آزمایش‌های انجام‌شده برای جلوگیری از محتوای مخرب، ناموفق بوده است. در حالی که رقابت در صنعت هوش مصنوعی به‌سرعت رو به افزایش است، مکانیسم‌های امنیتی DeepSeek در مقایسه با شرکت‌هایی مانند OpenAI و Google ضعیف‌تر به نظر می‌رسد.

شکست DeepSeek در ۵۰ آزمایش امنیتی

یک تحقیق مشترک از سوی شرکت سیسکو و دانشگاه پنسیلوانیا نشان داده چت‌بات DeepSeek در برابر ۵۰ حمله امنیتی شناخته‌شده به‌ طور کامل شکست خورده است. این حملات، که تحت عنوان جیلبریک شناخته می‌شوند، با هدف دور زدن مکانیسم‌های حفاظتی مدل‌های هوش مصنوعی طراحی شده‌اند.

نتایج این تحقیق کارشناسان را شگفت‌زده کرد. محققان اعلام کردند که در تمامی موارد، توانسته‌اند چت‌بات DeepSeek را وادار به تولید محتوای ممنوعه مانند نفرت‌پراکنی، دستورالعمل‌های ساخت مواد منفجره و تبلیغات سیاسی کنند.

دی‌جی سامپات، معاون بخش محصولات هوش مصنوعی در سیسکو، اشاره کرد توسعه سریع و کم‌هزینه DeepSeek احتمالاً به قیمت نادیده گرفتن اصول امنیتی تمام شده است. او افزود: شاید توسعه این مدل ارزان‌تر تمام شده باشد، اما سرمایه‌گذاری لازم برای تقویت امنیت آن صورت نگرفته است.

نتایج تحقیقاتی دیگر ضعف‌های DeepSeek را تایید می‌کند

علاوه بر این، یک مطالعه جداگانه از سوی شرکت امنیت سایبری Adversa AI نیز نتایج مشابهی را تایید کرده است. طبق گزارش این شرکت، چت‌بات DeepSeek در برابر طیف گسترده‌ای از روش‌های دور زدن فیلترها، از تکنیک‌های ساده متنی گرفته تا حملات پیشرفته مبتنی بر هوش مصنوعی، آسیب‌پذیر است.

در حالی که همه مدل‌های هوش مصنوعی مولد در برابر برخی از حملات امنیتی آسیب‌پذیر هستند، شرکت‌های پیشرو سال‌ها بابت بهبود مکانیسم‌های دفاعی خود سرمایه‌گذاری کرده‌اند. اما چت‌بات DeepSeek تقریباً هیچ‌گونه سیستم محافظتی موثری ندارد.

تهدیدهای رو به رشد در حملات جیلبریک

مدل‌های زبانی بزرگ مانند چت‌بات DeepSeek به دلیل پیچیدگی بالا، همواره در معرض آسیب‌پذیری هستند. یکی از مهم‌ترین تهدیدات امنیتی برای این مدل‌ها حملات تزریق دستورات پنهان است. در این حملات، دستورات مخفی در محتوای خارجی، مانند خلاصه یک وب‌سایت، قرار می‌گیرند تا مدل هوش مصنوعی را وادار به انجام اقداماتی غیرمنتظره کنند.

یکی از قدیمی‌ترین و شناخته‌شده‌ترین حملات جیلبریک که در این آزمایش‌ها موفق عمل کرده حمله “Do Anything Now” است که مدل را وادار به نادیده گرفتن فیلترهای محتوایی می‌کند.

در حالی که بسیاری از شرکت‌های هوش مصنوعی مانند OpenAI و Google توانسته‌اند این نوع حملات را تا حد زیادی مهار کنند، چت‌بات DeepSeek حتی در برابر ساده‌ترین حملات نیز آسیب‌پذیر است.

سکوت DeepSeek در برابر انتقادات

گرچه نگرانی‌های امنیتی پیرامون DeepSeek در حال افزایش است، این شرکت هنوز هیچ واکنشی به این انتقادها نشان نداده است.

نشریه WIRED برای دریافت توضیحات رسمی با DeepSeek تماس گرفت، اما شرکت از پاسخگویی خودداری کرد. این سکوت تنها بر ابهامات پیرامون سیاست‌های امنیتی DeepSeek دامن زده است.

پیامدهای ضعف امنیتی DeepSeek

ناتوانی چت‌بات DeepSeek در جلوگیری از تولید محتوای خطرناک می‌تواند پیامدهای جدی به همراه داشته باشد. مدل‌های هوش مصنوعی مولد می‌توانند برای گسترش اطلاعات نادرست، تولید محتوای خشونت‌آمیز و سایر اهداف مخرب مورد سوءاستفاده قرار گیرند.

در حالی که هیچ سیستم هوش مصنوعی‌ای کاملاً مقاوم در برابر حملات نیست، شرکت‌های معتبر اقدامات شدیدی برای کاهش این خطرات انجام داده‌اند. شکست کامل DeepSeek در آزمایش‌های امنیتی نشان می‌دهد این شرکت سرمایه‌گذاری کافی در حوزه امنیت نکرده است.

آینده DeepSeek در هاله‌ای از ابهام

انتشار این گزارش ممکن است باعث شود نهادهای نظارتی و متخصصان امنیت سایبری توجه بیشتری به DeepSeek نشان دهند.

اگر این شرکت اقدامات فوری برای بهبود امنیت مدل‌های خود انجام ندهد، احتمالاً با چالش‌های بزرگی در جلب اعتماد کاربران و مقامات بین‌المللی مواجه خواهد شد.

در حال حاضر، محققان هشدار داده‌اند که چت‌بات DeepSeek به‌شدت آسیب‌پذیر است. تا زمانی که این شرکت اقدامات لازم را برای رفع مشکلات انجام ندهد، تردیدها درباره ایمنی این مدل همچنان پابرجا خواهد بود.

دانشگاه تهران

منبع خبر

مطالب مشابه را ببینید!