محققان دانشگاه پرینستون ابزاری را ابداع کرده اند که تعصبات احتمالی را در مجموعه ای از تصاویر مورد استفاده برای آموزش سیستم های هوش مصنوعی پرچم گذاری می کند.
این کار بخشی از یک تلاش بزرگتر برای اصلاح و جلوگیری از تعصباتی است که به سیستم های هوش مصنوعی نفوذ کرده است ، از خدمات اعتباری گرفته تا برنامه های مجازات دادگاه.
اگرچه منابع تعصب در سیستم های هوش مصنوعی متنوع است ، اما یک دلیل عمده ، تصاویر کلیشه ای موجود در مجموعه های زیادی از تصاویر جمع آوری شده از منابع آنلاین است که مهندسان از آنها برای توسعه بینایی رایانه استفاده می کنند ، شاخه ای از هوش مصنوعی که به رایانه ها اجازه می دهد افراد ، اشیا و اقدامات را تشخیص دهند. از آنجا که اساس بینایی رایانه بر روی این مجموعه داده ها بنا شده است ، تصاویری که کلیشه ها و تعصبات جامعه را منعکس می کنند می توانند ناخواسته بر روی مدل های بینایی رایانه تأثیر بگذارند.
برای کمک به جلوگیری از این مشکل در منبع آن ، محققان در آزمایشگاه هوش مصنوعی پرینستون ابزاری منبع باز ایجاد کرده اند که به طور خودکار تعصبات بالقوه را در مجموعه داده های بصری کشف می کند. این ابزار به سازندگان مجموعه داده ها و کاربران اجازه می دهد قبل از استفاده از مجموعه های تصاویر برای آموزش مدل های بینایی رایانه ، موارد کم بازنمایی یا نمایش کلیشه ای را اصلاح کنند. در کارهای مرتبط ، اعضای آزمایشگاه ویژوال AI مقایسه روش های موجود برای جلوگیری از تعصبات را در خود مدل بینایی رایانه منتشر کردند و یک رویکرد جدید و موثرتر را برای کاهش تعصب پیشنهاد کردند.
اولین ابزار ، به نام REVISE (آشکارسازی تجسمهای تجربی) ، از روشهای آماری برای بازرسی مجموعه داده ها برای سوگیری های احتمالی یا مسائل بازنمایی در سه بعد استفاده می کند: مبتنی بر شی ، جنسیت و مبتنی بر جغرافیا. REVISE که ابزاری کاملاً خودکار است ، کارهای قبلی را انجام می دهد که شامل فیلتر کردن و متعادل سازی تصاویر مجموعه داده ها به روشی است که جهت بیشتری از کاربر می خواهد. این مطالعه در تاریخ 24 آگست در کنفرانس مجازی اروپا در مورد چشم انداز رایانه ارائه شد.
REVISE با استفاده از حاشیه نویسی تصویر و اندازه گیری های موجود مانند شمارش اشیا، ، همزیستی اشیا و افراد ، و کشور مبدا تصاویر ، محتوای یک مجموعه داده را جمع بندی می کند. در میان این اندازه گیری ها ، ابزار الگوهایی را نشان می دهد که با توزیع های متوسط متفاوت هستند.
به عنوان مثال ، در یکی از مجموعه داده های آزمایش شده ، REVISE نشان داد که تصاویر شامل افراد و گلها بین زن و مرد متفاوت است: نرها بیشتر در مراسم یا جلسات با گل ظاهر می شوند ، در حالی که ماده ها تمایل دارند در صحنه های صحنه دار یا نقاشی ظاهر شوند. (تجزیه و تحلیل محدود به حاشیه نویسی منعکس کننده جنسیت دودویی ادراک شده افراد در تصاویر بود.)
اولگا روساکوفسکی ، استادیار علوم کامپیوتر و مدیر اصلی گفت: هنگامی که این ابزار این نوع اختلافات را نشان داد ، پس این سوال مطرح می شود که آیا این یک واقعیت کاملاً بی ضرر است ، یا اگر اتفاق عمیق تری رخ می دهد ، و این بسیار دشوار است که خودکار شود. " محقق آزمایشگاه ویژوال AI روساکوفسکی در نوشتن این مقاله با دانشجوی کارشناسی ارشد آنجلینا وانگ و آرویند نارایانان ، دانشیار علوم کامپیوتر فعالیت کرد.
به عنوان مثال ، REVISE نشان داد که اشیایی که شامل هواپیما ، تخت و پیتزا هستند به احتمال زیاد در تصاویر از جمله یک شی معمولی در یکی از مجموعه داده ها ، در تصاویر بزرگ هستند. چنین موضوعی ممکن است کلیشه های جامعه را تداوم ندهد ، اما برای آموزش مدل های بینایی رایانه می تواند مشکل ساز باشد. به عنوان یک راه حل ، محققان پیشنهاد می کنند تصاویر هواپیماهایی را جمع آوری کنند که دارای برچسب کوه ، صحرا یا آسمان نیز هستند.
با این وجود ، کم نمایش بودن مناطق جهان در مجموعه داده های بینایی رایانه منجر به سوگیری در الگوریتم های AI می شود. مطابق با تجزیه و تحلیل قبلی ، محققان دریافتند که برای کشورهای مبدا تصاویر (با جمعیت نرمال) ، ایالات متحده و کشورهای اروپایی در مجموعه داده ها بیش از حد نمایان هستند. فراتر از این ، REVISE نشان داد که برای تصاویر سایر مناطق جهان ، زیرنویس های تصویری اغلب به زبان محلی نبوده و این نشان می دهد که بسیاری از آنها توسط گردشگران ثبت شده اند و به طور بالقوه منجر به منظره ای از یک کشور می شوند.
روساکوفسکی گفت:
محققانی که روی کشف جسم تمرکز دارند ممکن است از موارد انصاف در بینایی رایانه چشم پوشی کنند. وی گفت: "با این حال ، این تجزیه و تحلیل جغرافیایی نشان می دهد که تشخیص اشیا هنوز هم می تواند کاملاً استثنایی باشد و بر مناطق مختلف و افراد نابرابر تأثیر بگذارد."
آنجلینا وانگ ، دانشجوی ارشد علوم کامپیوتر ، گفت:
تصاویر بیشتر از اینترنت گرفته می شوند و مردم همیشه متوجه نمی شوند که تصاویر آنها (در مجموعه داده ها) مورد استفاده قرار می گیرند. ما باید تصاویر را از گروه های متنوع تری از افراد جمع آوری کنیم ، اما وقتی این کار را می کنیم ، باید مراقب باشیم که تصاویر را به شکلی محترمانه دریافت می کنیم.
ویسنته اوردونز رومن ، استادیار علوم کامپیوتر در دانشگاه ویرجینیا که درگیر مطالعات نبوده است گفت:
"در بینایی رایانه برخی چالشهای خاص در مورد بازنمایی و انتشار کلیشه ها وجود دارد. آثاری از قبیل آزمایشگاه هوش مصنوعی پرینستون به روشن شدن و توجه جامعه بینایی رایانه کمک می کند تا برخی از این موارد را ارائه دهد و راهکارهایی برای کاهش آنها ارائه دهد. "
یک مطالعه مرتبط از Visual AI Lab روش هایی را برای جلوگیری از یادگیری مدل های بینایی رایانه ای که ممکن است تعصبات را منعکس کند ، مانند فعالیت های بیش از حد پیش بینی مانند پخت و پز در تصاویر زنان ، یا برنامه نویسی رایانه در تصاویر مردان ، بررسی کرد. نشانه های تصویری مانند سیاه و سفید بودن گورخرها یا بازیکنان بسکتبال که اغلب پیراهن می پوشند ، در دقت مدل ها نقش دارد ، بنابراین ایجاد مدل های موثر و جلوگیری از همبستگی های مشکل ساز یک چالش مهم در این زمینه است.
در تحقیق ارائه شده در ماه ژوئن در کنفرانس بین المللی مجازی بینایی رایانه و شناسایی الگو ، دانشجوی کارشناسی ارشد مهندسی برق زیو وانگ و همکارانش چهار روش مختلف را برای کاهش سوگیری در مدل های بینایی کامپیوتر مقایسه کردند.
آنها دریافتند که یک روش مشهور معروف به آموزش خصمانه ، یا "انصاف از طریق نابینایی" ، به عملکرد کلی مدل های تشخیص تصویر آسیب می رساند. در آموزش خصومت ، مدل نمی تواند اطلاعات مربوط به متغیر محافظت شده را در نظر بگیرد - در این مطالعه ، محققان از جنسیت به عنوان یک مورد آزمایشی استفاده کردند. یک رویکرد متفاوت ، معروف به آموزش مستقل از دامنه ، یا "انصاف از طریق آگاهی" ، در تجزیه و تحلیل تیم بسیار بهتر عمل کرد.
روساکوفسکی گفت:
"اساساً این روش می گوید که ما برای جنسهای مختلف فعالیتهای متفاوتی خواهیم داشت ، و بله ، این پیش بینی به جنسیت وابسته خواهد بود ، بنابراین ما فقط می خواهیم آن را بپذیریم."
تکنیک مشخص شده در مقاله با در نظر گرفتن ویژگی محافظت شده جدا از سایر نشانه های بصری ، تعصبات احتمالی را کاهش می دهد. زیووانگ گفت: "اینکه چگونه ما واقعاً به مسئله تعصب رسیدگی می کنیم ، مسئله عمیق تری است ، زیرا البته که می توانیم این مسئله را در خود داده ها نیز ببینیم."
وی گفت: "اما در دنیای واقعی ، انسانها می توانند ضمن آگاهی از تعصبات ما قضاوتهای خوبی انجام دهند" و می توان مدلهای بینایی رایانه را تنظیم كرد تا به روشی مشابه كار كنند.
منبع : sciencedaily
محققان دانشگاه پرینستون ابزاری را ابداع کرده اند که تعصبات احتمالی را در مجموعه ای از تصاویر مورد استفاده برای آموزش سیستم های هوش مصنوعی پرچم گذاری می کند.
این کار بخشی از یک تلاش بزرگتر برای اصلاح و جلوگیری از تعصباتی است که به سیستم های هوش مصنوعی نفوذ کرده است ، از خدمات اعتباری گرفته تا برنامه های مجازات دادگاه.
اگرچه منابع تعصب در سیستم های هوش مصنوعی متنوع است ، اما یک دلیل عمده ، تصاویر کلیشه ای موجود در مجموعه های زیادی از تصاویر جمع آوری شده از منابع آنلاین است که مهندسان از آنها برای توسعه بینایی رایانه استفاده می کنند ، شاخه ای از هوش مصنوعی که به رایانه ها اجازه می دهد افراد ، اشیا و اقدامات را تشخیص دهند. از آنجا که اساس بینایی رایانه بر روی این مجموعه داده ها بنا شده است ، تصاویری که کلیشه ها و تعصبات جامعه را منعکس می کنند می توانند ناخواسته بر روی مدل های بینایی رایانه تأثیر بگذارند.
برای کمک به جلوگیری از این مشکل در منبع آن ، محققان در آزمایشگاه هوش مصنوعی پرینستون ابزاری منبع باز ایجاد کرده اند که به طور خودکار تعصبات بالقوه را در مجموعه داده های بصری کشف می کند. این ابزار به سازندگان مجموعه داده ها و کاربران اجازه می دهد قبل از استفاده از مجموعه های تصاویر برای آموزش مدل های بینایی رایانه ، موارد کم بازنمایی یا نمایش کلیشه ای را اصلاح کنند. در کارهای مرتبط ، اعضای آزمایشگاه ویژوال AI مقایسه روش های موجود برای جلوگیری از تعصبات را در خود مدل بینایی رایانه منتشر کردند و یک رویکرد جدید و موثرتر را برای کاهش تعصب پیشنهاد کردند.
اولین ابزار ، به نام REVISE (آشکارسازی تجسمهای تجربی) ، از روشهای آماری برای بازرسی مجموعه داده ها برای سوگیری های احتمالی یا مسائل بازنمایی در سه بعد استفاده می کند: مبتنی بر شی ، جنسیت و مبتنی بر جغرافیا. REVISE که ابزاری کاملاً خودکار است ، کارهای قبلی را انجام می دهد که شامل فیلتر کردن و متعادل سازی تصاویر مجموعه داده ها به روشی است که جهت بیشتری از کاربر می خواهد. این مطالعه در تاریخ 24 آگست در کنفرانس مجازی اروپا در مورد چشم انداز رایانه ارائه شد.
REVISE با استفاده از حاشیه نویسی تصویر و اندازه گیری های موجود مانند شمارش اشیا، ، همزیستی اشیا و افراد ، و کشور مبدا تصاویر ، محتوای یک مجموعه داده را جمع بندی می کند. در میان این اندازه گیری ها ، ابزار الگوهایی را نشان می دهد که با توزیع های متوسط متفاوت هستند.
به عنوان مثال ، در یکی از مجموعه داده های آزمایش شده ، REVISE نشان داد که تصاویر شامل افراد و گلها بین زن و مرد متفاوت است: نرها بیشتر در مراسم یا جلسات با گل ظاهر می شوند ، در حالی که ماده ها تمایل دارند در صحنه های صحنه دار یا نقاشی ظاهر شوند. (تجزیه و تحلیل محدود به حاشیه نویسی منعکس کننده جنسیت دودویی ادراک شده افراد در تصاویر بود.)
اولگا روساکوفسکی ، استادیار علوم کامپیوتر و مدیر اصلی گفت: هنگامی که این ابزار این نوع اختلافات را نشان داد ، پس این سوال مطرح می شود که آیا این یک واقعیت کاملاً بی ضرر است ، یا اگر اتفاق عمیق تری رخ می دهد ، و این بسیار دشوار است که خودکار شود. " محقق آزمایشگاه ویژوال AI روساکوفسکی در نوشتن این مقاله با دانشجوی کارشناسی ارشد آنجلینا وانگ و آرویند نارایانان ، دانشیار علوم کامپیوتر فعالیت کرد.
به عنوان مثال ، REVISE نشان داد که اشیایی که شامل هواپیما ، تخت و پیتزا هستند به احتمال زیاد در تصاویر از جمله یک شی معمولی در یکی از مجموعه داده ها ، در تصاویر بزرگ هستند. چنین موضوعی ممکن است کلیشه های جامعه را تداوم ندهد ، اما برای آموزش مدل های بینایی رایانه می تواند مشکل ساز باشد. به عنوان یک راه حل ، محققان پیشنهاد می کنند تصاویر هواپیماهایی را جمع آوری کنند که دارای برچسب کوه ، صحرا یا آسمان نیز هستند.
با این وجود ، کم نمایش بودن مناطق جهان در مجموعه داده های بینایی رایانه منجر به سوگیری در الگوریتم های AI می شود. مطابق با تجزیه و تحلیل قبلی ، محققان دریافتند که برای کشورهای مبدا تصاویر (با جمعیت نرمال) ، ایالات متحده و کشورهای اروپایی در مجموعه داده ها بیش از حد نمایان هستند. فراتر از این ، REVISE نشان داد که برای تصاویر سایر مناطق جهان ، زیرنویس های تصویری اغلب به زبان محلی نبوده و این نشان می دهد که بسیاری از آنها توسط گردشگران ثبت شده اند و به طور بالقوه منجر به منظره ای از یک کشور می شوند.
روساکوفسکی گفت:
محققانی که روی کشف جسم تمرکز دارند ممکن است از موارد انصاف در بینایی رایانه چشم پوشی کنند. وی گفت: "با این حال ، این تجزیه و تحلیل جغرافیایی نشان می دهد که تشخیص اشیا هنوز هم می تواند کاملاً استثنایی باشد و بر مناطق مختلف و افراد نابرابر تأثیر بگذارد."
آنجلینا وانگ ، دانشجوی ارشد علوم کامپیوتر ، گفت:
تصاویر بیشتر از اینترنت گرفته می شوند و مردم همیشه متوجه نمی شوند که تصاویر آنها (در مجموعه داده ها) مورد استفاده قرار می گیرند. ما باید تصاویر را از گروه های متنوع تری از افراد جمع آوری کنیم ، اما وقتی این کار را می کنیم ، باید مراقب باشیم که تصاویر را به شکلی محترمانه دریافت می کنیم.
ویسنته اوردونز رومن ، استادیار علوم کامپیوتر در دانشگاه ویرجینیا که درگیر مطالعات نبوده است گفت:
"در بینایی رایانه برخی چالشهای خاص در مورد بازنمایی و انتشار کلیشه ها وجود دارد. آثاری از قبیل آزمایشگاه هوش مصنوعی پرینستون به روشن شدن و توجه جامعه بینایی رایانه کمک می کند تا برخی از این موارد را ارائه دهد و راهکارهایی برای کاهش آنها ارائه دهد. "
یک مطالعه مرتبط از Visual AI Lab روش هایی را برای جلوگیری از یادگیری مدل های بینایی رایانه ای که ممکن است تعصبات را منعکس کند ، مانند فعالیت های بیش از حد پیش بینی مانند پخت و پز در تصاویر زنان ، یا برنامه نویسی رایانه در تصاویر مردان ، بررسی کرد. نشانه های تصویری مانند سیاه و سفید بودن گورخرها یا بازیکنان بسکتبال که اغلب پیراهن می پوشند ، در دقت مدل ها نقش دارد ، بنابراین ایجاد مدل های موثر و جلوگیری از همبستگی های مشکل ساز یک چالش مهم در این زمینه است.
در تحقیق ارائه شده در ماه ژوئن در کنفرانس بین المللی مجازی بینایی رایانه و شناسایی الگو ، دانشجوی کارشناسی ارشد مهندسی برق زیو وانگ و همکارانش چهار روش مختلف را برای کاهش سوگیری در مدل های بینایی کامپیوتر مقایسه کردند.
آنها دریافتند که یک روش مشهور معروف به آموزش خصمانه ، یا "انصاف از طریق نابینایی" ، به عملکرد کلی مدل های تشخیص تصویر آسیب می رساند. در آموزش خصومت ، مدل نمی تواند اطلاعات مربوط به متغیر محافظت شده را در نظر بگیرد - در این مطالعه ، محققان از جنسیت به عنوان یک مورد آزمایشی استفاده کردند. یک رویکرد متفاوت ، معروف به آموزش مستقل از دامنه ، یا "انصاف از طریق آگاهی" ، در تجزیه و تحلیل تیم بسیار بهتر عمل کرد.
روساکوفسکی گفت:
"اساساً این روش می گوید که ما برای جنسهای مختلف فعالیتهای متفاوتی خواهیم داشت ، و بله ، این پیش بینی به جنسیت وابسته خواهد بود ، بنابراین ما فقط می خواهیم آن را بپذیریم."
تکنیک مشخص شده در مقاله با در نظر گرفتن ویژگی محافظت شده جدا از سایر نشانه های بصری ، تعصبات احتمالی را کاهش می دهد. زیووانگ گفت: "اینکه چگونه ما واقعاً به مسئله تعصب رسیدگی می کنیم ، مسئله عمیق تری است ، زیرا البته که می توانیم این مسئله را در خود داده ها نیز ببینیم."
وی گفت: "اما در دنیای واقعی ، انسانها می توانند ضمن آگاهی از تعصبات ما قضاوتهای خوبی انجام دهند" و می توان مدلهای بینایی رایانه را تنظیم كرد تا به روشی مشابه كار كنند.
منبع : sciencedaily