آموزشتست نرمافزار و سنجش هوش مصنوعی
هزینهی خطا: چرا زودتر ارزانتر است
جواب کوتاه
خطایی که دیرتر پیدا بشه، گرونتره؛ چون هر چی بعد از اون ساخته شده، باید شکافته و دوباره ساخته بشه. گزارش رسمی موسسهی ملی استاندارد و فناوری (NIST) دربارهی هزینهی اقتصادی تست ناکافی، که سال ۲۰۰۲ منتشر شد، یه جدول نمونه داره: خطایی که توی مرحلهی نیازمندی و طراحی ساخته بشه، اگه همونجا پیدا بشه، یک واحد هزینه داره؛ اگه توی کدنویسی و تست واحد، ۵ برابر؛ توی تست سیستم، ۱۰ برابر؛ توی آزمایش با مشتری، ۱۵ برابر؛ و بعد از انتشار، ۳۰ برابر. همون گزارش، هزینهی سالانهی زیرساخت ناکافی تست رو، برای کل اقتصاد یه کشور بزرگ، حدود ۲۲.۲ تا ۵۹.۵ میلیارد دلار تخمین زد، که بیش از نیمش رو، کاربرها میدادن. برای همین، سرفصل جهانی تست میگه تست زودتر، وقت و پول رو نجات میده، و توصیه میکنه تست، از همون بازبینی نیازمندیها شروع بشه.
یه سنگ کج، زیر دیوار
فرض کنید معمار، توی نقشه، جای یه دیوار رو کمی اشتباه کشیده. اگه همون موقع، روی کاغذ، پیداش کنه، با یه پاککن درست میشه. اگه بعد از ریختن پی پیدا بشه، باید پی رو شکست. اگه بعد از بالا رفتن دیوارها، باید دیوار و پی رو با هم خراب کرد. و اگه بعد از نشستن خانواده توی خونه، باید همه رو بیرون کرد، و کل کار رو از نو انجام داد.
یه اشتباه، چهار قیمت خیلی متفاوت. نرمافزار هم، دقیقا همینه. توی درس قبل دیدیم که یکی از هفت اصل تست، میگه تست زودتر، وقت و پول رو نجات میده؛ این درس، این اصل رو، با عدد و دلیل، باز میکنه.
ادعای این درس، در یه جمله
هر چی یه نقص، دیرتر پیدا بشه، درست کردنش گرونتره. این، فقط یه حس نیست؛ پژوهشهای چند دهه، و یه گزارش رسمی دولتی، که پایینتر میبینیمش، با عدد، نشونش دادن.
و یه نتیجهی سادهتر: بیشترین صرفهجویی، از پیدا کردن نقصها، توی همون مرحلهای میاد که ساخته شدن. یعنی بهترین زمان برای پیدا کردن یه نقص توی نیازمندی، موقع نوشتن نیازمندیه؛ نه موقع تست کردن برنامهی کامل.
این درس، با یه سوال ساده شروع میشه، که هر کس توی یه تیم نرمافزاری، باید بتونه جوابش رو بده: «چرا وقت بذاریم و این نیازمندی رو بازبینی کنیم، وقتی میتونیم همین الان شروع به نوشتن کد کنیم؟» آخر درس، با عدد و دلیل، جوابش رو دارید.
چرا دیرتر، گرونتره
گزارش رسمی NIST، یعنی موسسهی ملی استاندارد و فناوری (National Institute of Standards and Technology)، یه نهاد دولتی مرجع، دلیلش رو ساده میگه: نرمافزاری که تا اون لحظه ساخته شده، باید شکافته و دوباره نوشته بشه، تا خطایی که زودتر وارد شده، درست بشه.
مثل یه شال بافتنی، که یه گرهی غلط، توی ردیفهای اولش داره. اگه زود ببینید، فقط یه ردیف رو میشکافید. اگه وقتی شال تموم شده ببینید، باید همهی ردیفهای بعدی رو هم بشکافید. هر چی روی یه نقص ساخته بشه، موقع درست کردن، باید از نو ساخته بشه.
گزارش NIST دربارهی هزینهی تست ناکافی
سال ۲۰۰۲، موسسهی NIST، یه گزارش برنامهریزی منتشر کرد، به اسم «پیامدهای اقتصادی زیرساخت ناکافی برای تست نرمافزار». این گزارش، بر پایهی نظرسنجی از سازندهها و کاربرهای نرمافزار، توی دو صنعت، یعنی خودروسازی و هوافضا، و خدمات مالی، ساخته شد؛ و نتیجههاش، برای کل اقتصاد یه کشور بزرگ، تعمیم داده شد.
یه نکتهی مهم: این گزارش، قدیمیه؛ و دنیای نرمافزار، از اون موقع، خیلی عوض شده. پس عددهاش رو، بهعنوان یه تصویر از اندازهی مسئله ببینید، نه یه قیمت دقیق امروزی. ولی الگوی اصلیش، یعنی گرونتر شدن با دیرتر شدن، از اون موقع، توی سرفصل جهانی تست هم، بهعنوان یه اصل، تکرار شده.
جدول نمونهی هزینهی نسبی
گزارش NIST، یه جدول داره که خودش، صاف، روش نوشته «فقط مثال». این جدول، هزینهی درست کردن خطایی رو نشون میده که توی مرحلهی جمع کردن نیازمندی و طراحی ساخته شده، بسته به اینکه کی پیدا بشه:
- توی همون مرحلهی نیازمندی و طراحی: ۱ واحد.
- توی کدنویسی و تست واحد: ۵ واحد.
- توی یکپارچه کردن و تست سیستم: ۱۰ واحد.
- توی آزمایش با مشتریهای اول: ۱۵ واحد.
- بعد از انتشار محصول: ۳۰ واحد.
گزارش میگه واحد، یه مقدار نرمالشدهست، که میتونه به ساعت کار آدم، یا پول، تبدیل بشه. یعنی یه خطای طراحی، که بعد از انتشار پیدا بشه، توی این مثال، سی برابر خطاییه که روی کاغذ پیدا میشد.
این جدول رو، دقیق بخونید
دو احتیاط، پیش از اینکه این عددها رو جایی نقل کنید. یک، خود گزارش میگه این جدول، فقط مثاله؛ نه یه قانون که برای هر پروژهای، دقیقا همین عددها رو بده. توی یه پروژه، شاید نسبت، کمتر باشه؛ توی یکی دیگه، خیلی بیشتر.
دو، عددها، هزینهی سازنده رو میگن؛ نه هزینهای که کاربر، به خاطر خطا، میده. اون هزینه، که پایینتر میبینیمش، جداست، و گاهی، خیلی بیشتره. پس پیام درست این جدول، یه عدد دقیق نیست؛ یه جهته: هزینه، با دیرتر شدن، بالا میره، و بالا رفتنش، میتونه خیلی زیاد باشه.
جدول کاملتر: هر جا ساخته بشه
گزارش NIST، یه جدول کاملتر هم داره، باز با برچسب «فقط مثال»، که نشون میده هر جا خطا ساخته بشه، الگو همونه. مثلا خطایی که توی کدنویسی ساخته بشه، اگه همونجا پیدا بشه، ۱ واحد؛ اگه توی تست سیستم، ۱۰؛ توی آزمایش با مشتری، ۲۰؛ و بعد از انتشار، ۳۰.
گزارش، از همین جدول، یه نتیجهی کلی میگیره: مهم نیست خطا کی ساخته بشه؛ همیشه، درست کردنش، هر چی جلوتر توی مسیر ساختن پیدا بشه، گرونتره. یعنی این قاعده، فقط برای خطاهای طراحی نیست؛ برای کد، و حتی برای خطاهای مرحلهی یکپارچه کردن هم، هست.
پژوهشهای قدیمیتر
گزارش NIST، دو پژوهش قدیمیتر رو هم، توی یه جدول، کنار هم گذاشته. یکی، پژوهشی از سال ۱۹۷۶، که هزینه رو از کمتر از یه واحد توی مرحلهی نیازمندی، تا دهها برابر توی مرحلههای آخر تست، نشون میده. و یکی از سال ۱۹۹۵، که بیشترین عددش، برای خطاهای پیداشده بعد از انتشار، صدها برابره.
این عددها، از پروژهها و صنعتهای خیلی متفاوت اومدن، و با هم، دقیقا مقایسهپذیر نیستن. ولی هر سه، یه جهت رو نشون میدن. و جالبه که سرفصل جهانی تست هم، برای اصل «تست زودتر»، به یه منبع از سال ۱۹۸۱ اشاره میکنه؛ یعنی این حرف، چند دههست که، با دادههای مختلف، تکرار شده.
هزینه، برای کل یه کشور
گزارش NIST، یه عدد بزرگتر هم داره: هزینهی سالانهی زیرساخت ناکافی برای تست نرمافزار، برای کل اقتصاد یه کشور بزرگ. طبق جدول خلاصهی گزارش، این هزینه، حدود ۵۹.۵ میلیارد دلار تخمین زده شد؛ و بخشی از اون، یعنی حدود ۲۲.۲ میلیارد دلار، با بهبودهای شدنی توی زیرساخت تست، قابل کم کردن بود.
همون گزارش میگه این دو عدد، به ترتیب، حدود ۰.۶ و ۰.۲ درصد تولید ناخالص داخلی ۱۰ هزار میلیارد دلاری همون کشور، در اون زمان، بودن. یعنی تست ناکافی، فقط یه مشکل تیمهای نرمافزاری نیست؛ یه هزینهی واقعی برای کل اقتصاده.
برای اینکه این عدد رو حس کنید: یه هزینهی سالانه، به اندازهی بیش از نیم درصد کل تولید یه کشور بزرگ، فقط به خاطر اینکه ابزار و روشهای تست، به اندازهی کافی خوب نبودن.
کی این هزینه رو میده
شاید جالبترین بخش گزارش NIST، اینه که کی این هزینه رو میده. طبق گزارش، حدود ۴۰ درصد این هزینه رو سازندههای نرمافزار میدادن، و حدود ۶۰ درصدش رو، کاربرها. گزارش میگه سهم کاربرها، به شکل کارهایی بود که برای دوری از خطا و کم کردن آسیبش، انجام میدادن.
یعنی وقتی یه سازنده، تست رو کم میکنه تا صرفهجویی کنه، بیشتر هزینه، از جیب خودش نمیره؛ از جیب کاربرهاش میره: وقتی که صرف دور زدن خطا میکنن، کاری که از نو انجام میدن، و دادهای که از دست میدن. و کاربر ناراضی، دیر یا زود، یه سازندهی دیگه پیدا میکنه.
هزینه، فقط پول نیست
سرفصل جهانی تست، فهرستی از پیامدهای خطر محصول داره، که نشون میده هزینهی یه نقص، چقدر میتونه فراتر از پول بره: نارضایتی کاربر؛ از دست رفتن درآمد، اعتماد و اعتبار؛ آسیب به دیگران؛ هزینهی بالای نگهداری و فشار روی پشتیبانی؛ مجازات قانونی؛ و در موارد شدید، آسیب فیزیکی، جراحت یا حتی مرگ.
و یه هزینهی دیگه، که سرفصل جای دیگهای میگه: اگه آدمهای درگیر، توی ساختن، کم دخیل باشن، ممکنه محصول، چیزی که اونها میخواستن نشه؛ و این، به دوبارهکاری گرون، تاخیر، مقصرتراشی، و حتی شکست کامل پروژه میرسه.
چرا کیفیت نرمافزار، سخت سنجیده میشه
گزارش NIST، یه دلیل ریشهای هم برای مشکلهای کیفیت نرمافزار میگه: سختی تعریف و اندازهگیری کیفیت. گزارش، ویژگیهای رایج کیفیت رو، مثل کارکرد، قابلیت اطمینان، کاربردپذیری، کارایی، نگهداریپذیری و جابهجاییپذیری، نام میبره؛ و میگه این معیارها، بیشتر ذهنیان و اندازهگیری دقیق رو پشتیبانی نمیکنن.
و یه جملهی مهمتر، از همون گزارش: حتی با تست زیاد، سازندههای نرمافزار، واقعا نمیدونن محصولشون چطور کار میکنه، تا وقتی که با موقعیتهای واقعی روبهرو بشه. این، همون اصل یک تسته، از زبون یه گزارش اقتصادی؛ و همون دلیلیه که پایش بعد از انتشار، که ایستگاه هشت یاد میده، لازمه.
نرمافزار، کنار وسایل خونه
گزارش NIST، توی خلاصهش، یه مقایسهی جالب رو از یه مجلهی کامپیوتری نقل میکنه، که خودش از سابقهی تعمیر ۱۳ نوع کالا، جمع شده بود: حدود ۲۲ درصد کامپیوترهای شخصی، هر سال خراب میشدن؛ در حالی که این عدد، برای دستگاه ویدیو حدود ۹ درصد، برای تلویزیون بزرگ و خشککن لباس حدود ۷ درصد، و برای یخچال حدود ۸ درصد بود.
این عددها، از اول دههی ۲۰۰۰ان، و دربارهی کل کامپیوترن، نه فقط نرمافزار. ولی گزارش، این رو آورده تا نشون بده کیفیت محصولات نرمافزاری، از نگاه مردم، با بقیهی کالاهای روزمره، فاصله داشت. و همون گزارش، دلیلهایی مثل راهبردهای بازاریابی، مسئولیت محدود سازندهها، و کم شدن بازده تست و رفع اشکال رو، کنار مشکل اندازهگیری، نام میبره.
یه هزینهی پنهون دیگه: دیر رسیدن
گزارش NIST، یه هزینهی دیگه رو هم نام میبره، که توی هیچ جدولی جا نمیشه: زمان رسیدن به بازار. میگه نبود روشهای استاندارد تست، زمان رسوندن محصول به بازار رو بیشتر میکنه؛ و زمان بیشتر، معمولا یعنی فرصتهای از دست رفته. یه محصولی که دیر برسه، ممکنه کل شانس درآمدش رو از دست بده.
گزارش، صادقانه میگه این فرصتهای از دست رفته، میتونن به اندازهی خرابیهای بعد از انتشار آسیب بزنن؛ ولی بهسختی اندازهگیری میشن. یعنی تست بد، دو جور دیرتون میکنه: یه بار، چون آخر کار، با یه کوه نقص روبهرو میشید؛ و یه بار، چون هر بار، باید تست رو از صفر بسازید.
اثر موجی یه نقص
یه دلیل دیگهی گرون شدن، اثر موجیه. درس دوم دیدیم که سرفصل رسمی میگه نقصی که توی مرحلههای اول پیدا نشه، معمولا به محصولات معیوب بعدی میرسه. یه نیازمندی غلط، روی طراحی اثر میذاره؛ طراحی غلط، روی چند بخش از کد؛ و هر بخش کد، روی تستها و سندهاش.
مثل سنگی که توی آب میندازید: موجها، دایرهدایره، بزرگتر میشن. پس درست کردن دیر یه نقص، یعنی درست کردن همهی موجهاش؛ و گاهی، حتی پیدا کردن همهی موجها، سخته؛ و چندتاشون، بی اینکه کسی بفهمه، میمونن.
راه حل: جابهجایی به چپ
سرفصل جهانی تست، به اصل تست زودهنگام، اسم جابهجایی به چپ (Shift Left) هم میده؛ و چند کار خوب براش پیشنهاد میکنه: بازبینی نیازمندیها از نگاه تستر، که معمولا ابهام، ناقص بودن و ناسازگاری پیدا میکنه؛ نوشتن مورد آزمون پیش از نوشتن کد؛ اجرای خودکار تست با هر تغییر، برای بازخورد سریع؛ تحلیل ایستای کد پیش از تست پویا؛ و شروع تستهای غیرکارکردی، از همون سطح تست واحد، هر جا ممکنه.
همون سند، دو هشدار هم داره. یک، جابهجایی به چپ، یعنی تست زودتر، نه اینکه تستهای دیرتر، فراموش بشن. دو، ممکنه اول کار، آموزش، تلاش یا هزینهی بیشتری بخواد، که انتظار میره بعدا، با صرفهجویی بیشتر، جبران بشه؛ و برای همین، آدمهای درگیر، باید از این ایده، قانع و همراه باشن.
بازبینی: ارزونترین تست
اگه فقط یه کار از این درس رو انجام بدید، بازبینی باشه. سرفصل جهانی تست، فهرستی از نقصهایی داره که با تست ایستا، راحتتر یا ارزونتر پیدا میشن: نقصهای نیازمندی، مثل ناسازگاری، ابهام، تناقض، جا افتادن، نادرستی و تکرار؛ نقصهای طراحی؛ بعضی نقصهای کد؛ انحراف از استانداردها؛ و حتی بعضی آسیبپذیریهای امنیتی.
و همون سند، صاف میگه: هرچند بازبینی، هزینه داره، کل هزینهی پروژه، معمولا خیلی کمتر از وقتیه که هیچ بازبینیای انجام نشه؛ چون وقت کمتری صرف درست کردن نقصها، دیرتر، میشه. یه ساعت خوندن دقیق یه نیازمندی، با دو نفر دیگه، میتونه هفتهها دوبارهکاری رو نجات بده.
تحلیل ایستا: یه بازبین خستگیناپذیر
سرفصل جهانی تست میگه بعضی نقصهای کد، با تحلیل ایستا، کارآمدتر از تست پویا پیدا میشن؛ و نتیجه، معمولا نقص کمتر توی کد، و تلاش کلی کمتر برای ساختنه. مثالهای سند: متغیرهایی که مقدار ندارن، کدی که هیچوقت اجرا نمیشه یا تکراریه، و پیچیدگی زیاد کد.
ابزارهای تحلیل ایستا، کد رو، بی اجرا، میخونن؛ و میشه گذاشتشون که با هر ذخیره، یا هر تغییر، خودکار اجرا بشن. این، یعنی بعضی نقصها، چند ثانیه بعد از نوشته شدن، پیدا میشن؛ ارزونترین لحظهی ممکن. مسیرهای پایتون و تایپاسکریپت کتابخونه، هر کدوم، این ابزارها رو برای زبان خودشون معرفی میکنن.
بازخورد زود و مکرر
سرفصل جهانی تست، یه بخش جدا دربارهی بازخورد زود و مکرر از آدمهای درگیر داره. میگه بازخورد زود، مشکلهای کیفیت رو زود آشکار میکنه؛ و بازخورد مکرر، جلوی سوءتفاهم دربارهی نیازمندیها رو میگیره، و کمک میکنه تغییرها، زودتر فهمیده و انجام بشن.
این، یه شکل دیگه از همون اصله: به جای اینکه شش ماه بسازید و بعد نشون بدید، هر دو هفته، یه چیز کوچیک، به آدمهای واقعی نشون بدید. اگه اشتباه میرید، بعد از دو هفته میفهمید، نه بعد از شش ماه.
همهچیز رو زود تست نکنید؛ پرخطرها رو
یه سوال طبیعی: اگه زودتر ارزونتره، پس همهچیز رو، همون اول، کامل تست کنیم؟ نه؛ اصل دو میگه تست کامل ممکن نیست. جواب، خطره. سرفصل جهانی تست، خطر رو با دو عامل تعریف میکنه: احتمال اینکه اتفاق بیفته، و آسیبی که اگه بیفته، میزنه.
پس سرمایهگذاری زودهنگام رو، روی جاهایی بذارید که هم احتمال خطا بالاست، و هم آسیبش زیاد. سرفصل میگه تحلیل خطر محصول، بهتره از همون اول چرخهی ساختن شروع بشه؛ یعنی خود این تحلیل هم، یه کار زودهنگامه.
یه ترازو: کمی امروز، خیلی فردا
کل این درس، یه ترازوئه. یه طرف، هزینهی کمی که امروز، برای بازبینی، تست زودهنگام و تحلیل ایستا، میدید؛ که ملموسه، و همه میبیننش. طرف دیگه، هزینهی خیلی بیشتری که فردا، برای شکافتن و دوباره ساختن، میدید؛ که پنهونه، و تا وقتی اتفاق نیفته، کسی نمیبینه.
مشکل اینه که آدمها، طبیعتا، هزینهی ملموس امروز رو، از هزینهی پنهون فردا، بزرگتر میبینن. برای همین، تیمها، تحت فشار زمان، اول از همه، تست رو کم میکنن. این درس، و عددهای گزارش NIST، برای اینه که این ترازو رو، درست ببینید، و بتونید برای بقیه هم، توضیحش بدید.
پنج عادت کوچیک، برای پیدا کردن زودتر
لازم نیست کل روش کار یه تیم رو عوض کنید تا از این درس سود ببرید. این پنج عادت کوچیک، از فردا، شروعشدنیان:
- پیش از نوشتن هر قابلیت، سه سوال دربارهی نیازمندیش بپرسید.
- پیش از نوشتن یه تابع، یه یا دو مثال ورودی و خروجیش رو بنویسید.
- یه ابزار تحلیل ایستا رو، روی ویرایشگرتون، روشن نگه دارید.
- هر تغییر رو، پیش از ادغام، یه نفر دیگه بخونه.
- هر نقصی که دیر پیدا شد، بپرسید چرا زودتر پیدا نشد.
هیچکدوم از اینها، بیشتر از چند دقیقه وقت نمیگیره؛ ولی هر کدوم، یه نقص رو، یه یا دو مرحله، جلوتر پیدا میکنه؛ و طبق جدول نمونهی NIST، هر مرحله، چند برابر صرفهجوییه.
این حرف، برای هوش مصنوعی هم درسته
توی اپهای مدل زبانی هم، همین الگو هست. اگه پیش از ساختن، یه مجموعهی سوال آزمون، با جوابهای خوب، بنویسید، از همون اول میفهمید که مدل، کجا ضعیفه. اگه بعد از انتشار بفهمید، یعنی یه کاربر، یه جواب ساختگی گرفته، بهش اعتماد کرده، و آسیب دیده.
و یه هزینهی خاص هوش مصنوعی: پرامپتها، زمینه و انتخاب مدل، روی هم ساخته میشن. اگه دیر بفهمید مدلی که انتخاب کردید، برای کارتون مناسب نیست، باید همهی پرامپتها و سنجشها رو، با مدل تازه، از نو انجام بدید. نیمهی دوم این مسیر، یاد میده این سنجشها رو، از روز اول، بسازید.
جواب کوتاه
اگه کسی پرسید «چرا تست زودتر ارزونتره»:
چون هر چی روی یه نقص ساخته بشه، موقع درست کردن، باید شکافته و دوباره ساخته بشه. توی جدول نمونهی گزارش رسمی NIST، خطای طراحی اگه همونجا پیدا بشه ۱ واحد، و بعد از انتشار ۳۰ واحد هزینه داره. همون گزارش، هزینهی سالانهی تست ناکافی در کل اقتصاد اون کشور رو تا حدود ۵۹.۵ میلیارد دلار تخمین زد، که حدود ۶۰ درصدش رو کاربرها میدادن. راه حل: بازبینی و تست، از همون اول.
چند باور رایج
- «تست زود، فقط وقت رو هدر میده.» گرونترین خطا، خطای دیره.
- «جدول NIST، قیمت دقیق هر پروژهست.» خود گزارش میگه فقط مثال.
- «هزینهی خطا رو سازنده میده.» طبق NIST، حدود ۶۰ درصد کاربرها.
- «جابهجایی به چپ، یعنی تست آخر لازم نیست.» زودتر، نه به جای دیرتر.
- «بازبینی، گرونتر از نکردنشه.» کل هزینه، معمولا خیلی کمتر.
یه مثال
یه تیم، یه اپ رزرو هتل ساخت. نیازمندی میگفت «کاربر، تاریخ ورود و خروج رو انتخاب میکنه». هیچکس نپرسید ساعت ورود، به وقت کجا حساب میشه. کد نوشته شد، طراحی شد، تست شد، و منتشر شد. چند ماه بعد، مسافرهایی که از کشورهای دیگه رزرو میکردن، اتاقشون رو یه روز اشتباه میگرفتن.
درست کردنش، یعنی عوض کردن دیتابیس، کد، رابط، تستها، و درست کردن هزاران رزرو قبلی، بهعلاوهی عذرخواهی از مسافرها. یه سوال توی بازبینی نیازمندی، که پنج دقیقه وقت میگرفت، همهی اینها رو نجات میداد. این، همون سی برابر جدول NIST ـه؛ شاید هم خیلی بیشتر.
تمرین امروز
امروز، یه نقص رو، روی خط زمانی، دنبال کنید.
- یه خطای نرمافزاری که خودتون دیدید یا ساختید رو یادتون بیارید.
- حدس بزنید این خطا، توی کدوم مرحله ساخته شده بود.
- بنویسید اگه همونجا پیدا میشد، درست کردنش چقدر کار داشت.
- بنویسید چون دیرتر پیدا شد، چه چیزهایی باید عوض میشدن.
- یه سوال بنویسید که اگه اول کار پرسیده میشد، جلوش رو میگرفت.
درس بعدی، میگه کیفیت نرم افزار، دقیقا چیه.
جمعبندی. آنچه از این درس با خودتان میبرید.
- خطای دیرتر، گرونتره؛ چون باید کار انجامشده شکافته بشه.
- جدول نمونهی NIST: ۱، ۵، ۱۰، ۱۵ و ۳۰ برابر، از طراحی تا بعد از انتشار.
- هزینهی سالانه برای کل اقتصاد اون کشور: حدود ۲۲.۲ تا ۵۹.۵ میلیارد دلار.
- بیش از نیم هزینه رو کاربرها میدادن، نه سازندهها.
- راه حل: جابهجایی به چپ؛ بازبینی و تست، از اول کار.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو میبینید: چند تا درست، چند تا نادرست.