آموزشتست نرمافزار و سنجش هوش مصنوعی
تست نرمافزار و سنجش هوش مصنوعی: از کجا شروع کنیم
جواب کوتاه
این مسیر، دو نیمه داره. نیمهی اول، تست نرمافزار معمولیه: اینکه تست چیه، چه اصلهایی داره، انواعش، طراحی مورد آزمون، و تست خودکار که با هر تغییر کد خودش اجرا میشه. نیمهی دوم، سنجش هوش مصنوعیه: چون جواب مدل هر بار کمی فرق میکنه، تست معمولی کافی نیست، و باید با یه مجموعهی سوال آزمون، معیار نمره، و گاهی قضاوت آدم، کیفیتش رو بسنجیم. مسیر، نه ایستگاه داره و آخرش دو پروژه. پیشنیاز، کمی برنامهنویسی پایه با پایتون یا تایپاسکریپته؛ همهی تمرینها روی کامپیوتر خودتون، با ابزارهای رایگان. و یه جمله که کل مسیر روش ساخته شده: تست، وجود خطا رو نشون میده، نه نبودنش رو؛ پس هدف، اعتماد کافیه، نه اثبات بینقصی.
یه بازرس ساختمون، و یه آشپز
یه بازرس ساختمون رو تصور کنید. یه فهرست بررسی داره: سیمکشی درسته؟ لولهها نشت نمیکنن؟ پلهها محکمن؟ هر خونهای که میبینه، با همون فهرست، میسنجه؛ و هر مورد، یا درسته یا غلط. این، تصویر تست نرمافزار معمولیه: یه برنامه، با یه ورودی، باید یه خروجی مشخص بده.
حالا یه آشپز رو تصور کنید، که هر بار یه خورش میپزه، طعمش کمی فرق میکنه. نمیتونه با یه فهرست درست یا غلط بسنجدش؛ باید بچشه، با یه معیار بسنجه که خوبه یا نه، و چند بار امتحان کنه. این، تصویر سنجش هوش مصنوعیه. این مسیر، هر دو کار رو یاد میده؛ اول بازرس، بعد آشپز.
کل مسیر، در یه جمله
اگه فقط یه جمله از این مسیر یادتون بمونه، این باشه: تست، وجود خطا رو نشون میده، نه نبودنش رو. این، اولین اصل از هفت اصلیه که سرفصل استاندارد جهانی تست نرمافزار میگه؛ و هر چیزی که توی این مسیر یاد میگیرید، از همین شروع میشه.
یعنی هر چقدر هم تست کنید، نمیتونید ثابت کنید یه برنامه هیچ خطایی نداره. فقط میتونید احتمال اینکه خطایی پیدانشده بمونه رو کم کنید، و به اندازهی کافی، بهش اعتماد کنید. برای هوش مصنوعی، که جوابش هر بار فرق میکنه، این جمله، حتی مهمتره.
چرا اصلا تست
سرفصل رسمی، با یه جملهی ساده شروع میکنه: بیشتر آدمها، یه بار با نرمافزاری که درست کار نکرده، سر و کار داشتن؛ و نرمافزاری که درست کار نکنه، میتونه باعث از دست رفتن پول، وقت یا اعتبار بشه، و توی موارد شدید، حتی آسیب جانی. تست، کیفیت نرمافزار رو میسنجه و خطر خراب شدنش، موقع استفادهی واقعی، رو کم میکنه.
یه دلیل سادهتر هم داره: پیدا کردن یه خطا، پیش از اینکه به دست کاربر برسه، خیلی ارزونتر و کمدردسرتر از پیدا کردنش بعد از اونه. درس چهارم همین مسیر، کامل دربارهی همینه؛ و درس دوم، دقیق میگه تست چیه.
تست، دنبال چیه
سرفصل رسمی، فهرستی از هدفهای رایج تست داره؛ و جالبه که پیدا کردن خطا، فقط یکی از اونهاست. چند تای دیگه: سنجیدن نیازمندیها، طراحی و کد، پیش از اجرا؛ کم کردن خطر کیفیت ناکافی؛ بررسی اینکه نیازمندیهای گفتهشده انجام شدن؛ دادن اطلاعات به آدمهای درگیر، تا تصمیم آگاهانه بگیرن؛ و ساختن اعتماد به کیفیت.
همون سند میگه این هدفها، بسته به شرایط، فرق میکنن؛ مثلا بسته به اینکه چی رو تست میکنید، خطرها چیان، و کسبوکار چه فشاری داره، مثل زمان رسیدن به بازار. یعنی تست، یه کار ثابت و یکسان نیست؛ یه کار فکریه که هر بار، از هدف شروع میشه. درس دوم، این هدفها رو کامل باز میکنه.
دو نیمهی مسیر
نیمهی اول، یعنی ایستگاههای یک تا پنج، تست نرمافزار معمولیه؛ همون کار بازرس. اینکه تست چیه، چه انواعی داره، چطور مورد آزمون خوب طراحی کنیم، چطور تست رو خودکار کنیم، و چطور تست، بخشی از روش کار روزانه بشه.
نیمهی دوم، یعنی ایستگاههای شش تا نه، سنجش هوش مصنوعیه؛ همون کار آشپز. چرا مدلها سنجش جدا لازم دارن، روشهای سنجیدن خروجی، از بررسی قطعی تا قضاوت آدم و داوری با یه مدل دیگه، و پایش بعد از انتشار. نیمهی دوم، روی نیمهی اول ساخته میشه؛ پس ترتیب رو نگه دارید.
سه کلمه، پیش از شروع
توی زبان روزمره، به هر مشکلی توی نرمافزار، باگ میگیم. ولی سرفصل رسمی، سه چیز رو از هم جدا میکنه، که از همین اول، بدونیدشون. اشتباه (Error): کاری که یه آدم غلط انجام میده. نقص (Defect)، که بهش باگ هم میگن: نتیجهی اون اشتباه، توی کد یا سند. و خرابی (Failure): وقتی اون نقص اجرا میشه و برنامه، کاری که باید رو نمیکنه، یا کاری که نباید رو میکنه.
یعنی یه زنجیرهست: آدم اشتباه میکنه، اشتباه یه نقص میسازه، و نقص، ممکنه یه روز یه خرابی بشه. درس دوم، این زنجیره رو کامل باز میکنه؛ فعلا فقط بدونید که توی این مسیر، این سه کلمه، سه معنی جدا دارن.
این مسیر، برای کیه
این مسیر، برای چند دسته آدمه. برنامهنویسهایی که میخوان کدشون رو، با اطمینان بیشتری، منتشر کنن. کسایی که میخوان تست نرمافزار، کار اصلیشون بشه. و کسایی که اپ با مدل زبانی میسازن، و میخوان بدونن اپشون واقعا چقدر خوب کار میکنه.
اگه هیچکدوم نیستید، ولی کنجکاوید که چرا نرمافزارها گاهی خراب میشن، و آدمها چطور جلوش رو میگیرن، باز هم ایستگاه اول، که بی کد پیش میره، به دردتون میخوره. سرفصل رسمی هم میگه هر کسی توی یه پروژه، میتونه با مهارت تست، به موفقیتش کمک کنه.
پیشنیازها
برای ایستگاه اول، هیچ پیشنیازی لازم نیست؛ همهش مفهومه. از ایستگاه دوم به بعد، کمی برنامهنویسی پایه لازمه؛ یعنی بدونید متغیر، تابع، شرط و حلقه چیه. اگه نمیدونید، اول مسیر مفاهیم برنامهنویسی کتابخونه رو برید.
برای تمرینهای کدی، یکی از دو زبان کافیه: پایتون، یا تایپاسکریپت. هر دو مسیر کامل توی کتابخونه دارن، و هر کدوم، یه درس دربارهی نوشتن تست. برای نیمهی دوم، خوندن مسیر ساختن اپ با مدل زبانی، دستکم تا ایستگاه دوم، خیلی کمک میکنه؛ چون سنجش، معنیش وقتی روشن میشه که یه اپ داشته باشید.
ابزارها
همهی تمرینها، روی کامپیوتر خودتون، با ابزارهای رایگان و متنباز انجام میشن؛ هیچ سرویس پولی یا حساب کاربری لازم نیست. برای پایتون، اجراکنندهی تستی که مسیر پایتون معرفی میکنه؛ برای تایپاسکریپت، اجراکنندهی تست خودش. و برای نیمهی دوم، یه مدل زبانی محلی، که مسیر ساختن اپ با مدل زبانی نصبش رو یاد میده.
و یه ابزار مهمتر از همه: یه دفترچه. سرفصل رسمی میگه تست، بیشتر یه کار فکریه، که دانش، تحلیل، و فکر نقادانه میخواد. پیش از هر تست، فکر کردن به اینکه چی رو و چرا تست میکنید، از هر ابزاری مهمتره.
ایستگاه یک: شروع
پنج درس، که همین درس اولشه. بعدش: تست نرمافزار چیه، هفت اصل تست، هزینهی خطا و اینکه چرا زودتر پیدا کردن ارزونتره، و کیفیت نرمافزار چیه. همه، بی کد؛ و پایهی همهی ایستگاههای بعدی.
این ایستگاه، به یه سوال جواب میده: تست، واقعا چه چیزی رو ثابت میکنه، و چه چیزی رو نه؟ اگه این رو درست بفهمید، بقیهی مسیر، خیلی راحتتر جا میافته.
ایستگاه دو: انواع تست
هفت درس. نقشهای از انواع تست: تست واحد، که کوچیکترین تیکهی کد رو جدا میسنجه؛ تست یکپارچگی، که تیکهها رو کنار هم؛ تست سرتاسری، که مسیر کامل کاربر رو؛ هرم تست، که میگه از هر کدوم چقدر؛ تست غیرکارکردی، مثل سرعت و امنیت؛ و تست رگرسیون، که مطمئن میشه تغییر تازه، چیز قبلی رو خراب نکرده.
سرفصل رسمی، تستها رو، هم بر اساس سطح، و هم بر اساس هدف، دستهبندی میکنه؛ این ایستگاه، هر دو دستهبندی رو، ساده، نشون میده.
ایستگاه سه: طراحی تست
پنج درس. چون طبق سرفصل رسمی، تست کامل ممکن نیست، باید انتخاب کنید چی رو تست کنید. این ایستگاه، روشهای انتخاب رو یاد میده: یه مورد آزمون خوب چی داره، دستهبندی همارز و مقدار مرزی، جدول تصمیم، تست اکتشافی، و فرق تست جعبه سیاه و جعبه سفید.
این، شاید مهارتآموزترین ایستگاه مسیر باشه؛ چون یاد میگیرید با چند تست کم و درست، بیشترین خطا رو پیدا کنید، نه با هزار تست تصادفی.
ایستگاه چهار: تست خودکار
شش درس. تستی که با هر تغییر کد، خودش اجرا میشه: تست خودکار چیه، اولین تست واحد با پایتون و تایپاسکریپت، شبیهساز و جایگزین، پوشش کد و اینکه کی گمراهکنندهست، تست ناپایدار، و اجرای خودکار تست با هر تغییر.
اینجا، اولین بار کد تست مینویسید؛ روی کامپیوتر خودتون، با ابزار رایگان. هر درس، یه تمرین کوچیک داره که اجراش میکنید و نتیجهش رو میبینید.
یه نکتهی مهم: تست خودکار، جای فکر کردن رو نمیگیره؛ فقط تکرار رو از دوش شما برمیداره. یعنی همون تستهایی که توی ایستگاه سه، با فکر، طراحی کردید، اینجا، یه بار نوشته میشن و هزار بار، بی زحمت، اجرا میشن. اگه تست بدی رو خودکار کنید، فقط یه تست بد رو، سریعتر، اجرا کردید.
ایستگاه پنج: روش کار
چهار درس. تست، بخشی از ساختنه، نه کاری بعد از اون: TDD، یعنی اول تست بعد کد؛ اینکه هر خطایی که پیدا میشه، یه تست میگیره؛ گزارش خطای خوب؛ و بازبینی کدی که هوش مصنوعی نوشته.
این درس آخر، پل نیمهی اول و دومه: کدی که یه مدل مینویسه هم، مثل هر کد دیگه، باید تست بشه؛ شاید حتی با دقت بیشتر.
ایستگاه شش: سنجش مدل هوش مصنوعی
شش درس، و شروع نیمهی دوم. چرا هوش مصنوعی سنجش جدا لازم داره، سنجش مدل یادگیری ماشین، ارزیابی مدل زبانی و اپهاش، ساختن مجموعهی سنجش، آلودگی دادهی آزمون، و بنچمارکها و حدشون.
این ایستگاه، همون آشپزه: یاد میگیرید چطور یه چیزی رو بسنجید که جوابش هر بار کمی فرق میکنه، و یه جواب درست تکی نداره.
ایستگاه هفت: روشهای سنجش خروجی
شش درس. از سادهترین تا پیچیدهترین: بررسی قطعی شکل و قانون و عدد، مدل زبانی بهعنوان داور، سنجش انسانی و راهنمای نمره، معیار نمره، سنجش RAG با جدا کردن بازیابی و جواب، و سنجش ایجنت.
قاعدهی کلی این ایستگاه، همون قاعدهی مهندسیه: اول سادهترین روشی که کار میکنه؛ فقط وقتی کافی نبود، روش پیچیدهتر.
ایستگاه هشت: پایش و ایمنی
چهار درس. سنجش، با انتشار تموم نمیشه: پایش مدل توی محیط واقعی، کهنه شدن مدل وقتی دنیا عوض میشه، تیم قرمز که عمدا حمله میکنه تا ضعفها رو پیدا کنه، و مدیریت ریسک هوش مصنوعی.
این ایستگاه، به یه حقیقت ساده میرسه: کاربرهای واقعی، همیشه، کارهایی میکنن که هیچ تستی پیشبینیش نکرده بود؛ پس چشم، باید بعد از انتشار هم باز بمونه.
ایستگاه نه: پروژهها
دو پروژه، و یه درس آخر. پروژهی اول: تست کامل یه ماژول کوچیک، با همهی چیزهایی که توی نیمهی اول یاد گرفتید. پروژهی دوم: ساختن یه مجموعهی سنجش، برای یه دستیار مدل زبانی. و آخر، اینکه بعد از این مسیر، کجا برید.
این دو پروژه، اگه کامل انجام بشن، چیزیان که میتونید به یه کارفرما نشون بدید؛ یعنی دلیل واقعی که بلدید.
چرا هوش مصنوعی یه نیمهی جدا داره
تست معمولی، روی یه فرض ساخته شده: با یه ورودی مشخص، یه خروجی مشخص انتظار داریم، و اگه خروجی فرق کرد، یه نقص هست. ولی یه مدل زبانی، با همون ورودی، هر بار کمی متفاوت جواب میده؛ و خیلی وقتها، چند جواب متفاوت، همه درستن.
پس نمیشه فقط گفت خروجی برابر فلانه یا نه. باید معیار داشت: جواب، به سوال ربط داره؟ از سندها اومده یا ساختگیه؟ لحنش درسته؟ و باید روی یه دسته سوال، چند بار، سنجید. این، یه مهارت تازهست؛ ولی روی همون پایههای تست معمولی ساخته میشه.
یه تستر خوب، چه مهارتهایی داره
سرفصل رسمی، چند مهارت رو برای تست، خیلی مهم میدونه:
- دانش تست، مثل روشهای طراحی مورد آزمون.
- دقت، حوصله، کنجکاوی، توجه به جزئیات، و کار منظم؛ برای پیدا کردن خطاهایی که سخت پیدا میشن.
- مهارت ارتباط، گوش دادن فعال، و کار تیمی.
- فکر تحلیلی، فکر نقادانه، و خلاقیت.
- دانش فنی، برای استفادهی درست از ابزارها.
- شناختن حوزهی کار، برای فهمیدن حرف کاربرها.
دقت کنید که فقط دو تا از این شش مورد، فنیان. یعنی تست، به همون اندازه که کد میخواد، آدمشناسی و حوصله هم میخواد؛ و خبر خوب اینه که هر دو، با تمرین، بهتر میشن.
تستر، معمولا خبر بد میده
سرفصل رسمی، یه نکتهی خیلی انسانی هم داره: تسترها، معمولا آورندهی خبر بدن؛ و آدمها، طبیعتا، آورندهی خبر بد رو سرزنش میکنن. نتیجهی تست، ممکنه مثل نقد محصول، و حتی نقد سازندهش، شنیده بشه. همون سند میگه بعضیها، تست رو یه کار ویرانگر میبینن، در حالی که به موفقیت پروژه، خیلی کمک میکنه.
برای همین، سرفصل میگه خبر خطاها و خرابیها، باید سازنده گفته بشه. یعنی به جای «کدت خرابه»، بگید «با این ورودی، این اتفاق افتاد، و انتظار داشتم اون یکی بشه». ایستگاه پنج، یه درس کامل دربارهی گزارش خطای خوب داره؛ ولی همین حالا یادتون باشه: هدف، پیدا کردن خطاست، نه مقصر.
کیفیت، کار همهی تیمه
سرفصل رسمی، یه روش کار به اسم رویکرد همهی تیم (Whole Team Approach) رو توضیح میده، که از یه روش توسعهی نرمافزار به اسم برنامهنویسی مفرط (Extreme Programming) اومده. توی این رویکرد، هر عضو تیم که دانش و مهارت لازم رو داره، میتونه هر کاری بکنه، و همه، مسئول کیفیتن.
یعنی تستر، یه نگهبان جدا، ته خط تولید، نیست؛ کنار برنامهنویسها و نمایندههای کسبوکار کار میکنه، به ساختن تستهای پذیرش کمک میکنه، و دربارهی روش تست خودکار، با برنامهنویسها توافق میکنه. ولی همون سند میگه این رویکرد، همیشه مناسب نیست؛ مثلا برای سیستمهایی که خرابیشون به آدم آسیب میزنه، استقلال بیشتر تست لازمه.
درسها چطورن
هر درس، یه تصویر ساده از زندگی روزمره داره، که موضوع رو جا بندازه؛ بعد، توضیح قدم به قدم؛ یه جواب کوتاه که اگه کسی پرسید، بگید؛ چند باور رایج اشتباه؛ یه مثال؛ و یه تمرین امروز. آخر هر درس، یه آزمون کوچیک هست، که هر بار، از بین سی سوال، پونزده تا رو میپرسه.
همهی حرفهای این مسیر دربارهی تست، از سرفصل رسمی و جهانی تست نرمافزار گرفته شده؛ و هر جا ابزاری معرفی میشه، از سند رسمی خودش. اگه یه جا، چیزی رو با تجربهی خودتون متفاوت دیدید، همون سند رو ببینید.
روزی چقدر وقت
هر درس، حدود نیم ساعت خوندن داره، و تمرینش، بسته به درس، از ده دقیقه تا یه ساعت. اگه روزی یه درس برید، کل مسیر، چند ماه طول میکشه؛ و این خوبه، چون تست، مهارتیه که با تکرار جا میافته، نه با خوندن تند.
یه پیشنهاد: هر چی یاد میگیرید، همون روز، روی یه کد واقعی امتحان کنید؛ حتی یه کد کوچیک که خودتون نوشتید. تست کردن کد خودتون، اولش کمی ناخوشاینده، چون خطاهاتون رو نشون میده؛ ولی دقیقا برای همین، بهترین تمرینه.
چند اشتباه رایج تازهکارها
اینها، اشتباههاییان که بیشتر تازهکارها میکنن:
- فکر کردن به اینکه تست، فقط اجرای برنامهست؛ سرفصل رسمی میگه کارهای دیگهای هم داره.
- تست کردن فقط حالتهای خوب، نه حالتهای خراب.
- نوشتن تستهای زیاد و تصادفی، به جای چند تست درست.
- فکر کردن به اینکه تست سبز، یعنی برنامه بینقصه.
- سنجیدن یه اپ هوش مصنوعی با یه بار امتحان دستی.
هر کدوم از اینها، یه درس توی مسیر داره؛ ولی دونستنشون از همین اول، خیلی جلوتون میندازه.
از هوش مصنوعی کمک بگیرید؟
یه مدل زبانی، میتونه پیشنهاد تست بده، یا یه تست اولیه بنویسه؛ و این، کمک خوبیه. ولی دو احتیاط داره. یک، تستی که مدل مینویسه، ممکنه همون فرضهای غلط کد رو تکرار کنه؛ یعنی هر دو با هم غلط باشن، و تست سبز بشه. دو، فکر کردن به اینکه چی باید تست بشه، کار شماست؛ اگه بسپریدش به مدل، یاد نمیگیرید.
پس توی این مسیر، اول خودتون فکر کنید و بنویسید؛ بعد، اگه خواستید، از مدل بپرسید چه حالتی رو جا انداختید. ایستگاه پنج، یه درس کامل دربارهی بازبینی کدی داره که هوش مصنوعی نوشته.
بعد از این مسیر
کسی که این مسیر رو تموم کنه، میتونه کد خودش رو با اطمینان تست کنه، تست خودکار بنویسه، یه خطا رو درست گزارش بده، و کیفیت یه اپ مدل زبانی رو با عدد بسنجه. این، هم برای برنامهنویس، و هم برای کسی که میخواد تست، شغلش بشه، یه پایهی محکمه.
و این مسیر، با چند مسیر دیگهی کتابخونه، جفت میشه: با مسیرهای پایتون و تایپاسکریپت، برای کد؛ و با مسیر ساختن اپ با مدل زبانی، که یه ایستگاه کامل دربارهی سنجش داره و از همینجا کمک میگیره.
جواب کوتاه
اگه کسی پرسید «از کجا تست نرمافزار و سنجش هوش مصنوعی رو یاد بگیرم»:
از چرای تست شروع کنید: تست، وجود خطا رو نشون میده، نه نبودنش رو. بعد انواع تست، طراحی مورد آزمون، و تست خودکار با پایتون یا تایپاسکریپت. بعد سنجش هوش مصنوعی، که چون جواب مدل هر بار فرق میکنه، با مجموعهی سوال آزمون و معیار نمره انجام میشه. همه روی کامپیوتر خودتون، با ابزار رایگان؛ و آخرش دو پروژه.
چند باور رایج
- «تست، ثابت میکنه برنامه درسته.» فقط وجود خطا رو نشون میده.
- «تست، فقط اجرای برنامهست.» طبق سرفصل رسمی، کارهای دیگه هم داره.
- «تست، کار آخر پروژهست.» هر چی زودتر، ارزونتر.
- «هوش مصنوعی رو هم مثل کد معمولی تست میکنیم.» جوابش هر بار فرق میکنه؛ سنجش جدا.
- «تست، فقط کار تستره.» هر کسی توی تیم.
یه مثال
یه برنامهنویس، یه فرم ثبتنام ساخت؛ با چند اسم و ایمیل امتحانش کرد، همه کار کرد، و منتشرش کرد. فردای اون روز، یه کاربر با یه ایمیل خیلی طولانی ثبتنام کرد، و کل صفحه از کار افتاد. برنامهنویس، فقط حالتهای خوب رو امتحان کرده بود.
این مسیر، دقیقا برای همینه. ایستگاه سه، یاد میده حالتهای مرزی، مثل ورودی خیلی کوتاه یا خیلی بلند، رو پیدا کنید؛ ایستگاه چهار، یاد میده تستشون رو خودکار کنید؛ و ایستگاه پنج، یاد میده که این خطا، از این به بعد، یه تست ثابت بگیره، تا دیگه هیچوقت برنگرده.
تمرین امروز
امروز، بی کد، مثل یه بازرس فکر کنید.
- یه برنامه که هر روز استفاده میکنید رو انتخاب کنید؛ مثلا یه برنامهی پیامرسان.
- سه بار که این برنامه درست کار نکرد رو یادتون بیارید.
- برای هر کدوم، حدس بزنید اشتباه، نقص و خرابی چی بوده.
- پنج حالتی که فکر میکنید سازندهش احتمالا تست نکرده، بنویسید.
- و یه جمله بنویسید: چرا هیچ تستی، نمیتونست ثابت کنه این برنامه بینقصه.
درس بعدی، دقیق میگه تست نرم افزار چیه.
جمعبندی. آنچه از این درس با خودتان میبرید.
- دو نیمه: تست نرمافزار معمولی، و سنجش خروجی هوش مصنوعی.
- نه ایستگاه، از چرای تست تا پایش و دو پروژهی آخر.
- پیشنیاز: برنامهنویسی پایه با پایتون یا تایپاسکریپت.
- تمرینها روی کامپیوتر خودتون، با ابزار رایگان.
- تست وجود خطا رو نشون میده، نه نبودنش رو.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو میبینید: چند تا درست، چند تا نادرست.