گفتگوی صوتی با مدل

یعنی چی

وقتی با یه دستیار حرف می‌زنید، سه تا کار پشت هم انجام می‌شه.

اول، یه «گوش»: سیستمی که صدای شما رو می‌شنوه و می‌نویسه. به این می‌گن تشخیص گفتار. دوم، «مغز»: همون مدل زبانی که توی این مسیر شناختیم، که متن رو می‌خونه و جواب رو می‌نویسه. سوم، «دهن»: سیستمی که جواب نوشته‌شده رو بلند می‌خونه. به این می‌گن ساخت گفتار، یا «متن به گفتار».

توی درس ساده‌ی هوش مصنوعی صوتی دیدیم این ابزارها چه کارهایی می‌کنن. این درس می‌ره سراغ اینکه گوش و دهن از درون چطور کار می‌کنن. مغز رو که از قبل می‌شناسیم.

صدا به عدد

صدا برای کامپیوتر فقط یه موجه که بالا و پایین می‌ره. پیش از هر کاری، باید به عدد تبدیل بشه.

یه پژوهش تشخیص گفتار ۲۰۲۲ قدم‌ها رو این‌طوری می‌گه. اول، صدا رو ثانیه‌ای ۱۶ هزار بار اندازه می‌گیرن؛ یعنی هر ثانیه صدا ۱۶ هزار عدده. بعد این عددها رو به پنجره‌های ۲۵ میلی‌ثانیه‌ای می‌برن که هر ۱۰ میلی‌ثانیه یکی جلو می‌رن؛ یعنی ۱۰۰ پنجره در ثانیه. برای هر پنجره، ۸۰ عدد حساب می‌کنن که می‌گه توی اون لحظه چقدر از هر بازه‌ی صدای زیر و بم هست. به این جدول می‌گن طیف‌نگار.

اون مدل صدا رو به تکه‌های ۳۰ ثانیه‌ای می‌برید؛ یعنی هر تکه ۳۰۰۰ پنجره. این همون کاریه که توی درس مدل‌های چندحالته با عکس دیدیم: یه چیز پیوسته رو به تکه‌های کوچیک می‌برن تا مدل بتونه مثل دنباله‌ای از توکن‌ها بخونتش.

گوش دادن

«گوش» چطور یاد می‌گیره این طیف‌نگار یعنی «سنگک دارید»؟ همون پژوهش ۲۰۲۲ یه کار ساده کرد: مدل رو فقط با این آموزش داد که از روی صدا، متن نوشته‌شده‌ش رو پیش‌بینی کنه؛ روی ۶۸۰ هزار ساعت صدا از اینترنت که متنش رو هم داشتن. همون فکر پیش‌بینی تکه‌ی بعد، فقط این بار ورودی صداست و خروجی متن.

نتیجه این بود که مدل، بی هیچ آموزش اضافه برای یه آزمون خاص، روی آزمون‌های رایج خوب کار کرد و به دقت و پایداری آدم نزدیک شد. معیار رایج سنجیدنش هم «نرخ خطای کلمه»ست: از هر صد کلمه، چند تا اشتباه نوشته شده.

نرخ خطا رو حساب کنیم

«نرخ خطای کلمه» رو گفتیم؛ بیاید یه بار با دست حسابش کنیم. سه جور اشتباه هست.

گوش ممکنه یه کلمه رو جا بندازه، یه کلمه رو با یه کلمه‌ی دیگه عوض کنه، یا یه کلمه‌ای که گفته نشده اضافه کنه. ویکی‌پدیا می‌گه این سه تا رو جمع می‌کنن و تقسیم بر تعداد کلمه‌های جمله‌ی اصلی می‌کنن. توی مثال ساختگی ما، «تا» جا افتاده، «یازده» شده «دوازده»، و یه «دیگه» اضافه شده؛ سه خطا توی یه جمله‌ی پنج‌کلمه‌ای، یعنی ۶۰ درصد. جالبه که این عدد می‌تونه از ۱۰۰ درصد هم بیشتر بشه، وقتی کلمه‌های اضافه زیاد باشن. و ببینید چطور فقط یه کلمه‌ی عوض‌شده، یعنی ساعت یازده به جای دوازده، معنی رو کامل عوض می‌کنه؛ برای همین عددها و اسم‌ها رو همیشه توی متن نوشته‌شده چک کنید.

زبان‌ها

از اون ۶۸۰ هزار ساعت، ۱۱۷ هزار ساعت مال ۹۶ زبان دیگه بود. یعنی بیشتر داده مال یه زبان بود و بقیه‌ی زبان‌ها سهم خیلی کمتری داشتن.

پژوهشگرها رابطه‌ی داده و خطا رو برای هر زبان اندازه گرفتن و یه قانون ساده دیدن: با هر ۱۶ برابر داده‌ی بیشتر برای یه زبان، نرخ خطای کلمه تقریبا نصف می‌شد. یعنی زبانی که داده‌ی کمتری داره، بیشتر اشتباه نوشته می‌شه. همون چیزی که توی درس قانون‌های مقیاس دیدیم، این بار برای صدا. اگه گاهی دستیار صدای فارسیتون رو بدتر از انگلیسی می‌نویسه، یه دلیلش همینه؛ درس مدل زبانی و زبان فارسی این رو بیشتر باز می‌کنه.

حرف زدن

حالا قدم سوم: جواب نوشته‌شده چطور صدا می‌شه؟ ویکی‌پدیا می‌گه یه سیستم «متن به گفتار» دو بخش داره.

بخش جلو اول متن رو مرتب می‌کنه: عددها و اختصارها رو به کلمه‌ی کامل تبدیل می‌کنه، مثلا «۱۱» رو به «یازده». بعد مشخص می‌کنه هر کلمه چطور تلفظ می‌شه، و آهنگ جمله چیه: کجا صدا بالا می‌ره، کجا کش میاد. بخش عقب اینا رو به صدای واقعی تبدیل می‌کنه. از سال ۲۰۱۶ مدل‌های یادگیری عمیق نشون دادن می‌تونن موج خام صدا رو مستقیم از روی طیف‌نگار بسازن. کیفیت یه صدای ساختگی رو با دو چیز می‌سنجن: چقدر شبیه صدای آدمه، و چقدر راحت فهمیده می‌شه.

صدا به صدا، مستقیم

زنجیره‌ی گوش، مغز، دهن یه مشکل ذاتی داره: وسطش همه‌چی متنه. و متن، لحن شما رو نداره؛ اینکه با خنده گفتید یا با عصبانیت، توی متن نمی‌مونه. هر قدم هم یه کم وقت می‌گیره.

برای همین مدل‌هایی ساخته شدن که صدا رو هم مثل متن به توکن تبدیل می‌کنن. یه «فشرده‌ساز صدا» با شبکه‌ی عصبی، صدا رو به یه دنباله از تکه‌های عددی می‌بره، مثل کلمه‌ها، و می‌شه دوباره از روی همین تکه‌ها صدا رو ساخت. یه پژوهش ۲۰۲۲ روی همین توکن‌ها یه مدل زبانی ساخت که بی هیچ متنی، فقط با شنیدن صدای خام آموزش دید؛ و می‌تونست یه جمله‌ی گفته‌شده رو ادامه بده، با همون صدا و همون لحن گوینده‌ای که قبلا نشنیده بود، و حتی یه قطعه‌ی پیانو رو ادامه بده.

همین فکر، یعنی حدس زدن تکه‌ی بعد، این بار برای صدا، راه ساختن مدلیه که مستقیم صدا بشنوه و صدا جواب بده، بی اینکه وسطش متن باشه. ولی ته کار، مغزش هنوز یه مدل زبانیه؛ هر چی درباره‌ی توهم و اشتباه یاد گرفتیم، این‌جا هم هست.

کلون صدا

همون توانایی ساختن صدا یه روی تاریک هم داره.

یه پژوهش ۲۰۲۳ نشون داد یه مدل متن به گفتار، با فقط یه ضبط سه‌ثانیه‌ای از صدای کسی که قبلا ندیده بود، می‌تونست هر متنی رو با صدای همون آدم بخونه؛ حتی با حس و حال و صدای محیطی که توی اون سه ثانیه بود. کمیسیون تجارت فدرال آمریکا همون سال هشدار داد که کلاه‌بردارها از یه تکه صدای کوتاه، مثلا از یه ویدیوی توی اینترنت، صدای یکی از عزیزان شما رو می‌سازن و زنگ می‌زنن که توی دردسره و پول فوری لازم داره.

پیشنهادش ساده‌ست: به صدا اعتماد نکنید، حتی اگه دقیقا همون صداست. قطع کنید و خودتون به شماره‌ای که از قبل می‌دونید مال اونه زنگ بزنید؛ اگه جواب نداد، از یه عضو دیگه‌ی خانواده یا دوستاش بپرسید. و هر درخواستی برای پولی که برگشت نداره و فوریه، نشونه‌ی کلاه‌برداریه.

کار روزمره

از این سه قدم چند تا نکته‌ی کاربردی درمیاد. هر قدم ممکنه خطای خودش رو داشته باشه، و خطای قدم اول به قدم‌های بعد می‌رسه: اگه «گوش» اسم یه خیابون یا یه عدد رو اشتباه بنویسه، «مغز» از روی همون اشتباه جواب می‌ده، بی اینکه بفهمه. برای همین وقتی صوتی کار می‌کنید، اگه می‌شه متن نوشته‌شده رو ببینید، مخصوصا برای اسم‌ها و عددها. آروم و واضح حرف زدن، و کمتر بودن سروصدای اطراف، به گوش کمک می‌کنه.

و یادتون باشه «دهن» فقط چیزی رو می‌خونه که مغز نوشته؛ اگه مغز توهم کرده باشه، همون توهم با یه صدای مطمئن و طبیعی خونده می‌شه.

چند نکته

• سه قدم: گوش، مغز، دهن. هر کدوم خطای خودش رو داره.
• اسم و عدد رو توی متن بسنجید. اشتباه گوش به مغز می‌رسه.
• واضح حرف بزنید. سروصدای کمتر، نوشتن بهتر.
• صدای مطمئن، دلیل درستی نیست. دهن فقط می‌خونه.

ایستگاه بعد می‌پرسه اصلا از کجا بفهمیم یه مدل خوبه: مدل زبانی رو چطور بسنجیم.