محققان با استفاده از یک کاغذ و قلم سیستم هوش مصنوعی AI vision را فریب دادند

هفته گذشته محققان در OpenAI کشف کردند که سیستم بینایی ماشینی دو ماهه آنها را می توان با قلم و کاغذ فریب داد تا اشیا را اشتباه شناسایی کند که باعت تریدید در کنترل رایانه بر فعالیت های پرخطر مانند رانندگی اتومبیل ، شده است.

تسلا مدل X در عرض چند دقیقه قابل سرقت است

آزمایشگاه هوش مصنوعی مقاله ای را در 4 مارس منتشر کرد که نشان داد سیستم جدید آنها می تواند با شناسایی یک سیب به عنوان iPod با پیوست کردن یک یادداشت به سیب با کلمه iPod روی آن فریب بخورد.

آزمایشگاه هوش مصنوعی مقاله ای را در 4 مارس منتشر کرد که نشان داد سیستم جدید آنها می تواند با شناسایی یک سیب به عنوان iPod با پیوست کردن یک یادداشت به سیب با کلمه iPod روی آن فریب بخورد.

در آزمایش دیگری ، این سیستم یک اره برقی را به عنوان قلک هنگامی که علائم دلار بر روی عکس اضافه شد تشخیص داد.

علیرغم این خطاها ، OpenAI همچنان در مورد سیستم بینایی آزمایشی ماشین خود ، CLIP ، خوشبین است.

محققان این شرکت در یک وبلاگ توضیح دادند که وجود نورون های چند حالته را در CLIP کشف کرده است. در مغز انسان ، این سلول های عصبی به خوشه های مفاهیم انتزاعی متمرکز بر یک موضوع مشترک سطح بالا پاسخ می دهند ، نه هر ویژگی بصری خاص.

این محقق نوشت: “کشف ما از نورون های چند حالته در CLIP به ما می فهماند که چه مکانیسمی مشترک در سیستم های دید مصنوعی و طبیعی وجود دارد – انتزاع”.

آیا جنگنده  F-35 Stealth  از هک شدن در امان است؟

سطح جدید حمله

با این حال ، توانایی سیستم در پیوند دادن کلمات و تصاویر در یک سطح انتزاعی ، بردار جدیدی از حمله را ایجاد می کند که قبلاً در سیستم های بینایی ماشین دیده نشده است.

محققان خاطرنشان کردند: “با بهره گیری از توانایی مدل در خواندن متن به صورت قوی ، در می یابیم که حتی عکس هایی از متن دست نوشته شده نیز اغلب می توانند این مدل را فریب دهند.”

چنین حملاتی که از “تصاویر خصمانه” استفاده می کنند ، علیه سیستم های بینایی ماشین های تجاری استفاده شده اند ، اما با استفاده از CLIP ، آنها به فناوری بیش از یک قلم و کاغذ نیاز ندارند.

نقص طراحی در سیستم های بینایی ماشین مانند CLIP غیر معمول نیست.

جاناتان اسپرینگ ، تحلیلگر بخش CERT در انستیتوی مهندسی نرم افزار در دانشگاه کارنگی ملون در پیتسبورگ ، اظهار داشت: “این بسیار معمول است که سیستم های یادگیری ماشین اشکالاتی در نحوه طبقه بندی اشیا دارند.”

وی به TechNewsWorld گفت: “شما همیشه نمی توانید آنچه را که یک رایانه انجام می دهد پیش بینی کنید حتی اگر می دانید برای چه برنامه ریزی شده است.”

حواس پرتی ماشین را فریب دهید

Vilas Dhar ، رئیس بنیاد پاتریک جی مک گاورن ، مستقر در بوستون ، که کار آنها روی بررسی تأثیر هوش مصنوعی و علم داده در جامعه است متمرکز است ، توضیح داد که بشر به طور کامل نمی فهمد که چگونه جهان را از طریق محرک های بصری پردازش می کند ، اما در تلاش است تا یک ماشین را یاد بگیرد که چگونه این کار را انجام دهد.

حملات خصمانه علیه سیستم های یادگیری ماشین – هر آنچه باید بدانید

وی به TechNewsWorld گفت: “این بدان معناست که ما از میانبرها استفاده می کنیم.” “به جای اینکه به سیستم یک سیب را به عنوان یک شی مفهومی ، با معنی ذاتی آموزش دهیم ، ما آن را مانند پیکربندی پیکسل ها ، الگویی که از طریق زمینه معنی می یابد ، تلقی می کنیم.”

وی ادامه داد: “این روش در بیشتر مواقع کار می کند ، اما وقتی زمینه بخشی از مجموعه آموزش نباشد ، می تواند به طرز چشمگیری شکست بخورد.” “وقتی سیستم های بینایی ماشین را بدون معنی آموزش می دهیم ، از واقعیت ماشین ها که به طور یکپارچه در محیط واقعی ساخته شده ما حرکت می کنند ، فاصله می گیریم.”

Kjell Carlsson ، یک تحلیلگر اصلی در تحقیقات فارستر ، در مورد حواس پرتی با فریب داستانهای ماشین هشدار داد.

وی به TechNewsWorld گفت: “کاملاً مهم است که افراد محدودیت های این مدل ها را بررسی کنند ، اما این واقعیت که شما می توانید یک مدل را فریب دهید ، به خودی خود چیز مفیدی نمی گوید.”

وی ادامه داد: “به عنوان مثال فریب مردم بسیار خارق العاده است.” “مردم به طور سیستماتیک فکر می کنند افرادی که عینک دارند هوشمند هستند و ما حدود 86 میلیارد نورون بیولوژیکی در اختیار داریم.”

کلاهبرداری ظریف

مایک جود ، مدیر تحقیق برای نظارت تصویری و برنامه های دید در IDC ، توضیح داد که سیستم های بینایی ماشین را می توان با دستکاری در داده های آموزش داده شده  شده به شبکه را فریب داد.

وی به TechNewsWorld گفت: “انجام همان کار با انسان ممکن است.”

وی ادامه داد: “با یک سیستم بینایی ماشین ، این کار می تواند بسیار ظریف تر باشد.” “شما می توانید نشانه هایی در تصویر داشته باشید که چشم انسان قادر به درک آنها نباشد اما کامپیوتر می تواند آن را درک کند زیرا فقط به پیکسل ها نگاه می کند.”

وی افزود: “هر سیستم بینایی ماشینی می تواند هک شود”. “در هر سیستمی ایراداتی وجود دارد که می تواند با حمله صحیح مورد سو استفاده قرار گیرد.”

وی گفت: “این از برخی نگرانی های مردم درباره برنامه های بینایی ماشین پشتیبانی می کند.”

برای اتومبیل های خودران بسیار مهم است

یکی از موارد مورد استفاده ویژه ، استفاده از بینایی ماشین در وسایل نقلیه خودران است.

سام ابولسامید ، تحلیلگر اصلی تحرک الکترونیکی در Guidehouse Insights ، یک شرکت اطلاعاتی بازار در دیترویت ، اظهار داشت: “بینایی ماشین برای اتومبیل های خودران کاملاً مهم است.”

وی به TechNewsWorld گفت: “این امر حیاتی است زیرا این سیستم برای تصمیم گیری در مورد اینکه چه کاری باید انجام دهد ، نه تنها باید مکانهایی را که در اطراف وسیله نقلیه قرار دارند بلکه آن چیزها را نیز طبقه بندی کند.”

وی افزود: “اگر کیسه ای پلاستیکی از جاده عبور کند ، این خطر نیست ، اما اگر کودکی در جاده باشد ، این یک خطر بزرگ است.”

وی توضیح داد که یک وسیله نقلیه باید معنای آنچه حسگرها مشاهده می کنند را بفهمد ، بنابراین طبقه بندی دقیق مواردی که شناسایی می شوند برای ایمن و قابل اعتماد بودن سیستم رانندگی خودکار کاملاً مهم است.

وی ادعا کرد که سیستم های رانندگی خودکار که بیش از حد به بینایی ماشین وابسته هستند ، چندان قابل اعتماد نیستند.

وی گفت: “سیستم های بینایی ماشین هنوز هم ایرادات زیادی دارند ، خصوصاً آنهایی که به هوش مصنوعی و شبکه های عصبی وابسته هستند.” “سیستم های درک موفق برای رانندگی خودکار همه از چندین سیستم برای درک محیط اطراف خودرو استفاده می کنند.”

وی ادامه داد: “آنها از ترکیبی از بینایی ماشین و حسگرهای قطعی استفاده می کنند که موقعیت و فاصله اجسام را اندازه گیری می کنند.” “شما به رادار ، لیدار و تصویربرداری حرارتی نیاز دارید تا بتوانید دید دقیق از آنچه در آنجاست را بدست آورید.”

اگرچه سیستم CLIP OpenAI به عنوان “پیشرفته ترین” توصیف شده است ، اما ابولسامید در توصیف بدبین بود. وی در پاسخ گفت: “هر سیستم بینایی ماشینی که فریب یک یادداشت را بخورد ، پیشرفته نیست.”
افزودن امنیت و قابلیت اطمینان

اسپرینگ خاطرنشان کرد که روشهایی برای ایمن تر و قابل اعتمادتر کردن سیستمهای بینایی ماشین وجود دارد.

وی گفت: “تخت های آزمایشی در دسترس افرادی است که می خواهند مدل های یادگیری ماشینی خود را آموزش دهند و حمله آنها را دشوارتر می کند ، اما هرگز از شر همه حملات خلاص نخواهد شد.”

وی ادامه داد: “ما همچنین به یک سیستم اجتماعی در بالای سیستم فنی نیاز داریم که بتوانیم آنچه را که مردم در مورد فریب این سیستم ها می دانند ، مدیریت کنیم و اگر نقص هایی با تأثیر زیاد وجود داشته باشد ، به راه هایی برای به روزرسانی آنها نیاز داریم تا از شر این نقص خلاص شویم.” . “این شبیه روشی است که به طور کلی آسیب پذیری ها را در نرم افزار مدیریت می کنیم.”

وی افزود: “پس از آن ، عمق دفاع وجود دارد ، بنابراین شما سیستم هایی در اختیار دارید که به سیستم یادگیری ماشین کمک می کند تا از راه هایی که احتمال شکست یا فریب وجود دارد ، برآید.” “بعضی اوقات ممکن است یک انسان بر سیستم نظارت کند. گاهی اوقات ممکن است محدودیت های فیزیکی یک روبات یا ماشین باشد که اجازه نمی دهد کارهای خاصی انجام دهد.”

لینک مطلب

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

*

code