سوگیری در هوش مصنوعی

او دکتره

توی فارسی «او» نه مرده نه زن. حالا این دو تا جمله رو بدید به یه ابزار ترجمه:

ما چیزی درباره‌ی مرد یا زن بودن نگفتیم؛ ولی ترجمه یکی رو انتخاب کرد. چون توی متن‌هایی که ازشون یاد گرفته، «دکتر» بیشتر کنار «he» اومده و «پرستار» کنار «she». به این کج شدن می‌گن «سوگیری».

سوگیری یعنی چی

سوگیری یعنی یه کجی منظم و تکرارشونده، که به نفع یه گروه و به ضرر یه گروه دیگه تموم می‌شه. فرض کنید یه کیسه تیله دارید که بیشترش یه جوره. هر بار دست کنید، به احتمال زیاد همون جور درمیاد:

مدل هم همینه. اون چیزی رو که توی داده بیشتر دیده، بیشتر تکرار می‌کنه. داده رو توی درس داده دیدیم.

از کجا میاد

چهار راه اصلی:

یه نمونه‌ی نزدیک به خودمون: بیشتر داده‌ی مدل‌های زبانی انگلیسیه، برای همین نگاه انگلیسی‌زبون‌ها رو پررنگ‌تر می‌کنن؛ اینو توی درس هوش مصنوعی و زبان فارسی دیدیم.

سه نمونه‌ی واقعی

توی هر سه، ابزار همون کجی‌ای رو تکرار کرد که توی داده یا طراحی‌ش بود؛ و چون ماشین بود، اول کمتر کسی بهش شک کرد.

«ماشینه، پس بی‌طرفه»؟

خیلی‌ها فکر می‌کنن چون یه ماشین تصمیم گرفته، حتما بی‌طرفه؛ حتی گاهی بیشتر از یه کارشناس بهش اعتماد می‌کنن. ولی ماشین همون داده‌ای رو تکرار می‌کنه که بهش دادن. بدتر اینکه گاهی یه حلقه درست می‌شه:

تصمیم کج، داده‌ی کج‌تری می‌سازه؛ مدل بعدی از همون یاد می‌گیره و کج‌تر می‌شه. برای همینه که توی تصمیم‌های مهم درباره‌ی آدم‌ها، مثل استخدام، آخرش یه آدم باید نگاه کنه و مسئولیتش رو بپذیره.

چی کار کنیم

شما که ازش استفاده می‌کنید:

1. جزئیات رو خودتون بگید. اگه مهمه، بنویسید «دکتر، که یه خانمه»؛ نذارید مدل حدس بزنه.
2. نگاه‌های دیگه رو هم بخواید. «این موضوع رو از نگاه یه آدم توی یه کشور دیگه، یا یه گروه دیگه، هم بگو.»
3. به جواب‌های یه‌طرفه شک کنید. مخصوصا درباره‌ی گروه‌های آدم‌ها.

کسی که ابزار رو می‌سازه یا توی کارش به کار می‌بره:

1. داده رو از گروه‌های مختلف جمع کنه، نه فقط یه گروه.
2. ابزار رو روی گروه‌های مختلف جدا امتحان کنه؛ مثل امتحان با نمونه‌های واقعی توی درس مهندسی پرامپت.
3. بنویسه داده از کجا اومده و ابزار برای چه کاریه، تا بقیه بدونن کجا ممکنه کجی بمونه.