ترنسفورمر برای صدا و گفتار

یعنی چی

صدا رو نمی‌شه مثل متن به کلمه‌ها برید، و مثل عکس هم جلوی چشم نیست. پس اول باید یه جوری بکشیمش که بشه دیدش. مثل نت موسیقی؛ هر لحظه، کدوم صداها، چقدر بلند. بعد اون شکل رو تیکه‌تیکه می‌کنیم و می‌دیم به ترنسفورمر، درست مثل کلمه‌ها یا تکه‌های عکس.

این درس دو طرف کار رو نشون می‌ده. یه طرف فهمیدن صداست؛ تبدیل گفتار به متن، تشخیص زبان، یا فهمیدن این‌که صدای چیه. طرف دیگه ساختن صداست؛ خوندن یه متن با صدای آدم، یا ساختن موسیقی. هر دو با همون ترنسفورمری کار می‌کنن که توی درس‌های قبل دیدیم، و همونیه که پشت گفت‌وگوی صوتی با مدل هم هست.

اول می‌بینیم صدا اصلا توی کامپیوتر چیه، بعد چطور به تکه‌هایی تبدیل می‌شه که ترنسفورمر بفهمه، بعد گفتار به متن، یادگیری بی برچسب، و آخر ساختن صدا و خطرهاش.

چرا عددهای خام نه

می‌شه هر نمونه رو یه تکه گرفت؟ یه صدای ۳۰ ثانیه‌ای می‌شه ۳۰ ضرب در ۱۶ هزار، یعنی ۴۸۰ هزار عدد. با هزینه‌ی مربعی توجه، این یعنی حدود ۲۳۰ میلیارد جفت توی هر لایه؛ خیلی زیاد. تازه یه نمونه‌ی تنها، که فقط ارتفاع موج توی یه لحظه‌ی خیلی کوتاهه، تقریبا هیچ معنی‌ای نداره.

پس مثل عکس، باید نمونه‌ها رو گروه کنیم. دو راه رایج هست. یکی این‌که اول یه شکل دیگه از صدا بسازیم که معنی‌دارتر و کوتاه‌تره، یعنی طیف‌نگار. دیگری این‌که چند لایه‌ی پیچشی، مستقیم روی عددهای خام، هر چند ده میلی‌ثانیه رو به یه بردار تبدیل کنن. هر دو آخرش به یه صف از بردارها می‌رسن، حدود ۵۰ تا ۱۰۰ تا در ثانیه.

مقیاس مل

گوش آدم بسامدها رو برابر نمی‌شنوه. فرق ۱۰۰ و ۲۰۰ هرتز رو خیلی خوب حس می‌کنیم، ولی فرق ۸۱۰۰ و ۸۲۰۰ هرتز رو تقریبا نه. مقیاس مل یا Mel، یه مقیاسه که بسامدها رو همون‌طوری می‌چینه که گوش حس می‌کنه؛ توی بسامدهای پایین نوارهای باریک، و توی بالا نوارهای پهن.

برای همین معمولا به‌جای صدها بسامد، طیف‌نگار به حدود ۸۰ نوار مل جمع می‌شه، و چون گوش بلندی رو هم لگاریتمی حس می‌کنه، از عددها لگاریتم گرفته می‌شه. نتیجه، طیف‌نگار لگاریتمی مل‌ه؛ جدولی با ۸۰ ردیف و ۱۰۰ ستون در ثانیه. یه مدل گفتار به متن معروف سال ۲۰۲۲ دقیقا همین ورودی رو داشت؛ ۳۰ ثانیه صدا، ۸۰ نوار، یعنی جدولی ۸۰ در ۳۰۰۰.

فشردن

۳۰۰۰ قاب برای ۳۰ ثانیه هنوز زیاده، و قاب‌های پشت هم خیلی شبیه همن، چون صدا توی ۱۰ میلی‌ثانیه زیاد عوض نمی‌شه. برای همین معمولا قبل از ترنسفورمر، یکی دو لایه‌ی پیچشی می‌ذارن که هم ویژگی‌های محلی رو بگیرن و هم صف رو کوتاه کنن. همون مدل ۲۰۲۲، دو لایه‌ی پیچشی داشت که دومیش گام ۲ داشت؛ پس ۳۰۰۰ قاب شد ۱۵۰۰، یعنی هر بردار ۲۰ میلی‌ثانیه.

بعد مثل همیشه، بردار جا به هر قاب اضافه می‌شه، چون ترتیب زمانی توی صدا خیلی مهمه، و صف از لایه‌های ترنسفورمر رد می‌شه. با ۱۵۰۰ تکه، توجه کامل حدود ۲٫۲۵ میلیون جفت داره، که کاملا شدنیه. مدل‌های دیگه گاهی بیشتر فشار می‌دن، مثلا تا هر ۴۰ یا ۸۰ میلی‌ثانیه یه بردار.

نشونه‌های ویژه

همون مدل ۲۰۲۲ یه ترفند هوشمندانه داشت. به‌جای این‌که برای هر کار یه مدل جدا بسازن، به اول متنی که رمزگشا می‌سازه، چند نشونه‌ی ویژه اضافه کردن. اول یه نشونه که می‌گه زبان صدا چیه، مثلا فارسی. بعد یه نشونه که کار رو می‌گه؛ بنویس، یا به انگلیسی ترجمه کن. بعد یه نشونه که می‌گه زمان‌ها رو هم بنویس یا نه.

این‌طوری یه مدل واحد، چند کار رو بلده. اگه زبان رو ندیم، خود مدل اول نشونه‌ی زبان رو پیش‌بینی می‌کنه، یعنی تشخیص زبان هم مجانی به دست میاد. اگه زمان‌ها رو بخوایم، بین کلمه‌ها نشونه‌هایی مثل «ثانیه‌ی ۳٫۴۲» می‌سازه، که برای ساختن زیرنویس به درد می‌خوره. همون فکری که توی مدل‌های زبانی هم هست؛ دستور رو توی خود ورودی بده.

داده‌ی زیاد با برچسب ضعیف

مدل‌های قدیمی‌تر گفتار، روی چند هزار ساعت صدای تمیز و با دقت نوشته‌شده آموزش می‌دیدن. روی همون نوع صدا خوب بودن، ولی با لهجه‌ی دیگه، نویز پشت صدا یا میکروفون بد، خیلی خراب می‌شدن. مدل ۲۰۲۲ راه دیگه‌ای رفت؛ ۶۸۰ هزار ساعت صدای جمع‌شده از اینترنت، با متن‌هایی که همراهشون بود، به چندین زبان.

این متن‌ها دقیق نبودن؛ بعضی‌ها زیرنویس ناقص بودن، بعضی‌ها کمی با صدا فرق داشتن. به این برچسب ضعیف می‌گن. پژوهشگرها با چند قاعده بدترین‌ها رو حذف کردن، مثلا متن‌هایی که خودشون معلوم بود خروجی یه دستگاه تبدیل خودکارن. نتیجه این بود که مدل، بی تنظیم روی هیچ مجموعه‌ی خاصی، روی خیلی از مجموعه‌های مختلف خوب کار می‌کرد. همون درسی که توی متن و عکس هم دیدیم؛ داده‌ی خیلی زیاد و متنوع، حتی اگه کمی کثیف باشه، مدل محکم‌تری می‌سازه.

پیچش کنار توجه

گفتار هم الگوهای محلی داره، مثل این‌که یه حرف چطور به حرف بعدی می‌رسه، و هم رابطه‌های دور، مثل این‌که موضوع جمله چیه. توجه برای رابطه‌های دور عالیه، و پیچش برای الگوهای محلی. یه پژوهش ۲۰۲۰ هر دو رو توی یه بلوک گذاشت؛ کنار توجه، یه لایه‌ی پیچشی هم که فقط همسایه‌ها رو می‌بینه.

این ترکیب، که بهش کانفورمر می‌گن، روی گفتار با همون اندازه از ترنسفورمر خالص و از شبکه‌ی پیچشی خالص بهتر بود، و خیلی از سیستم‌های گفتار امروز همین بلوک رو دارن. همون درسی که توی ترنسفورمر بینایی هم دیدیم؛ فرض‌های محلی، جایی که داده واقعا محلیه، کمک می‌کنن.

یادگیری بی برچسب

صدای بی متن خیلی زیاده، ولی صدای با متن دقیق کم و گرونه، به‌خصوص برای زبان‌هایی که کمتر روی اینترنت هستن. یه پژوهش ۲۰۲۰ نشون داد مدل می‌تونه اول از صدای خالی یاد بگیره. یه شبکه‌ی پیچشی، صدای خام رو به یه بردار برای هر حدود ۲۰ میلی‌ثانیه تبدیل می‌کنه، بعد بخش‌هایی از این صف پوشونده می‌شه، و ترنسفورمر باید از روی بقیه حدس بزنه چی پوشونده شده.

همون فکر پوشوندن کلمه‌ها توی مدل‌های فقط‌رمزگذار و تکه‌ها توی عکس. با این فرق که صدا کلمه‌ی آماده نداره، پس اول صدا به یه سری نشونه‌ی گسسته تبدیل می‌شد و مدل باید نشونه‌ی درست رو از بین چند نشونه‌ی غلط تشخیص می‌داد. بعد از این پیش‌آموزش، با فقط ۱۰ دقیقه صدای با متن، مدل نتیجه‌ی قابل‌قبولی داد؛ چیزی که قبلا صدها ساعت می‌خواست.

یه پژوهش ۲۰۲۱ همین رو ساده‌تر کرد؛ صدا رو خوشه‌بندی کرد و از مدل خواست شماره‌ی خوشه‌ی بخش‌های پوشونده رو پیش‌بینی کنه، و بعد با مدل بهتر، خوشه‌ها رو دوباره ساخت. این روش‌ها برای زبان‌هایی که داده‌ی کم دارن، خیلی مهمن.

سنجش

خوبی یه مدل گفتار به متن رو معمولا با نرخ خطای کلمه، یا WER، کوتاه‌شده‌ی Word Error Rate، می‌سنجن. متن مدل رو با متن درست مقایسه می‌کنن و سه جور خطا می‌شمرن؛ کلمه‌ای که عوض شده، کلمه‌ای که جا افتاده، و کلمه‌ای که اضافه شده. جمعشون تقسیم بر تعداد کلمه‌های متن درست، می‌شه نرخ خطا.

مثلا متن درست ۲۰ کلمه‌ست، مدل یه کلمه رو عوض نوشته، یکی رو جا انداخته و یکی اضافه کرده. نرخ خطا می‌شه ۳ تقسیم بر ۲۰، یعنی ۱۵ درصد. چون اضافه‌ها هم شمرده می‌شن، نرخ خطا می‌تونه از ۱۰۰ درصد هم بیشتر بشه. برای زبان‌هایی مثل فارسی، یه نکته‌ی ریز هم هست؛ نیم‌فاصله و املاهای مختلف یه کلمه، مثل «می‌ره» و «میره»، باید پیش از مقایسه یکی بشن، وگرنه خطای الکی شمرده می‌شه.

توهم

مدل‌های رمزگذار و رمزگشا، چون مثل یه مدل زبانی کلمه به کلمه می‌سازن، گاهی متنی می‌نویسن که توی صدا نیست. خود پژوهش ۲۰۲۲ گفت مدلش گاهی یه جمله رو چند بار تکرار می‌کنه، یا توی سکوت و نویز، جمله‌هایی کاملا ساختگی می‌نویسه؛ مثلا «ممنون که دیدید» آخر یه صدای خالی، چون توی داده‌ی آموزش، زیر خیلی از ویدیوها همچین جمله‌ای بوده.

این برای جاهایی که دقت حیاتیه، مثل نوشتن حرف‌های دکتر و مریض، خیلی خطرناکه. راه‌های کم کردنش اینه که اول بخش‌های بی‌صدا با یه مدل جدا پیدا و حذف بشن، صداهای خیلی بلند به تیکه‌های کوتاه‌تر بریده بشن، و برای کارهای حساس، یه آدم متن رو با صدا چک کنه. روش‌های CTC این مشکل رو کمتر دارن، چون هر حرف به یه قاب صدا وصله.

زنده

مدلی که ۳۰ ثانیه صدا رو یه‌جا می‌گیره، برای زیرنویس زنده یا دستیار صوتی خوب نیست؛ آدم نمی‌خواد ۳۰ ثانیه صبر کنه. برای کار زنده، صدا تیکه‌تیکه، مثلا هر چند صد میلی‌ثانیه، به مدل داده می‌شه، و مدل باید فقط با صدای تا الان تصمیم بگیره. یعنی توجه رمزگذار هم باید ماسک داشته باشه و به آینده نگاه نکنه، یا فقط یه کم جلوتر رو ببینه.

این یه بده‌بستونه. هر چی مدل کمتر صبر کنه، تاخیر کمتره ولی خطا بیشتر، چون گاهی آخر یه کلمه معنی اولش رو روشن می‌کنه. سیستم‌های زنده معمولا یه حدس سریع نشون می‌دن و چند صد میلی‌ثانیه بعد، با صدای بیشتر، اصلاحش می‌کنن؛ همون چیزی که توی زیرنویس زنده می‌بینید که کلمه‌ها یه لحظه بعد عوض می‌شن.

مدل زبانی صدا

حالا که صدا نشونه شد، می‌شه یه ترنسفورمر فقط‌رمزگشا رو آموزش داد که نشونه‌ی بعدی صدا رو پیش‌بینی کنه، دقیقا مثل مدل زبانی متن. یه پژوهش ۲۰۲۲ دید اگه فقط نشونه‌های کدک رو بدن، صدای ساخته‌شده خوش‌صداست ولی حرف‌هاش بی‌سر و ته‌ان؛ چون نشونه‌های کدک بیشتر جزئیات صدا رو نگه می‌دارن تا معنی رو.

راه حلشون دو جور نشونه بود. اول نشونه‌های معنایی، که از یه مدل بی برچسب مثل فصل قبل میان و بیشتر محتوای حرف رو نگه می‌دارن؛ یه مدل اول این‌ها رو می‌سازه، یعنی تصمیم می‌گیره چی گفته بشه. بعد مدل‌های دیگه، از روی اون‌ها، نشونه‌های کدک رو می‌سازن، یعنی تصمیم می‌گیرن چطور گفته بشه. نتیجه، ادامه‌ی یه صدا بود که هم حرفش منطقی بود و هم صدای همون آدم و همون اتاق رو داشت.

موسیقی

موسیقی سخت‌تر از گفتاره؛ بسامدهای بیشتر، چند ساز هم‌زمان، و ساختارهای خیلی بلند، مثل برگشتن یه ملودی بعد از یه دقیقه. یه پژوهش ۲۰۲۳، با همون فکر نشونه‌های معنایی و صوتی، موسیقی رو از روی یه توضیح متنی ساخت؛ مثلا «یه آهنگ آروم با پیانو و ویولن». برای پیوند متن و موسیقی، از یه مدل استفاده کرد که مثل پیوند متن و عکس، توضیح و موسیقی رو کنار هم می‌ذاره.

مشکل‌های این‌جا شبیه گفتاره؛ دنباله‌ها خیلی بلندن، چون یه دقیقه موسیقی با ۶۰۰ نشونه در ثانیه می‌شه ۳۶ هزار نشونه، پس همون ترفندهای متن خیلی بلند و توجه پراکنده لازم می‌شه. یه نگرانی هم هست؛ این مدل‌ها ممکنه تیکه‌هایی از آهنگ‌های آموزش رو تقریبا عینا تکرار کنن، که برای حق نشر مشکل‌سازه، و همون پژوهش هم بررسیش کرد.

دسته‌بندی صدا

همه‌ی کارها گفتار نیستن. تشخیص این‌که یه صدا صدای پارس سگه، شیشه شکستن، یا آژیر، هم کار مهمیه. یه پژوهش ۲۰۲۱ دقیقا همون کار ترنسفورمر بینایی رو روی طیف‌نگار کرد؛ طیف‌نگار رو مثل یه عکس به تکه‌های ۱۶ در ۱۶ برید، یه تکه‌ی دسته گذاشت، و دسته‌بندی کرد.

یه ترفند جالبش این بود که از وزن‌های یه ترنسفورمر بینایی که روی عکس‌ها آموزش دیده بود شروع کرد، و این کمک زیادی کرد؛ با این‌که طیف‌نگار اصلا شبیه عکس واقعی نیست. یعنی چیزهایی که مدل از عکس یاد گرفته، مثل پیدا کردن لبه‌ها و الگوها، روی شکل صدا هم به درد خورد.

امنیت و تقلید صدا

وقتی با چند ثانیه نمونه، صدای هر کسی رو می‌شه ساخت، سوءاستفاده هم ممکنه؛ مثلا تماس تلفنی با صدای ساختگی یکی از اعضای خانواده که پول می‌خواد. خود پژوهش ۲۰۲۳ متن به گفتار هم به همین خطر اشاره کرد و گفت باید مدل‌هایی برای تشخیص صدای ساختگی ساخته بشه.

چند کار برای کم کردن خطر انجام می‌شه. یکی نشانه‌گذاری؛ یه الگوی پنهان توی صدای ساخته‌شده گذاشته می‌شه که گوش نمی‌شنوه ولی یه برنامه تشخیص می‌ده. یکی دیگه، مدل‌هایی که صدای ساختگی رو از واقعی تشخیص می‌دن. و برای خودمون، یه قاعده‌ی ساده؛ اگه یه تماس صوتی، حتی با صدای آشنا، درخواست عجیبی مثل پول یا رمز داشت، قطع کنید و خودتون با شماره‌ای که از قبل دارید زنگ بزنید.

از کجا اومد

تشخیص گفتار سال‌ها با روش‌های آماری کار می‌کرد که صدا رو به واحدهای کوچیک صدا و بعد کلمه‌ها می‌رسوندن. ۲۰۰۶ CTC اومد، و دهه‌ی ۲۰۱۰ شبکه‌های بازگشتی و پیچشی جای روش‌های قدیمی رو گرفتن. ۲۰۱۸ و ۲۰۱۹ ترنسفورمر به گفتار رسید، و ۲۰۲۰ هم کانفورمر و هم یادگیری بی برچسب از صدای خام اومدن.

۲۰۲۱ کدک‌های عصبی و دسته‌بندی صدا با تکه‌های طیف‌نگار، ۲۰۲۲ تبدیل گفتار به متن با صدها هزار ساعت داده و مدل زبانی صدا، و ۲۰۲۳ متن به گفتار با چند ثانیه نمونه و ساختن موسیقی از متن اومدن. بعد از اون، مدل‌هایی رایج شدن که صدا رو مستقیم می‌گیرن و مستقیم صدا جواب می‌دن، بی این‌که وسطش متن بسازن، تا گفت‌وگو طبیعی‌تر و تندتر بشه.

اشتباه‌های رایج

خیلی‌ها فکر می‌کنن مدل صدا، نمونه‌های خام رو یکی‌یکی می‌خونه؛ معمولا نه، اول طیف‌نگار یا یه لایه‌ی پیچشی صدا رو به ۵۰ تا ۱۰۰ بردار در ثانیه فشرده می‌کنه. یکی دیگه اینه که فکر کنن متنی که مدل گفتار به متن داده، حتما توی صدا بوده؛ دیدیم که مدل‌های کلمه به کلمه گاهی توهم می‌زنن، به‌خصوص توی سکوت.

سومی اینه که فکر کنن نرخ خطای ۵ درصد یعنی ۹۵ درصد جمله‌ها درسته؛ نه، یعنی از هر صد کلمه حدود پنج تا غلطه، و با جمله‌های ۲۰ کلمه‌ای، خیلی از جمله‌ها دست‌کم یه غلط دارن. و آخری اینه که فکر کنن صدای ساختگی رو همیشه می‌شه با گوش تشخیص داد؛ دیگه نه، برای همین نشانه‌گذاری و احتیاط لازمه.

تمرین

این چهار تا رو اول خودتون حساب کنید. یک، ۱۰ ثانیه گفتار با ۱۶ کیلوهرتز چند نمونه‌ست؟ دو، همون ۱۰ ثانیه با گام ۱۰ میلی‌ثانیه چند قاب طیف‌نگار داره، و بعد از یه لایه با گام ۲ چند تا؟ سه، کدکی با ۷۵ قاب در ثانیه و ۴ دفترچه، یه دقیقه صدا رو چند نشونه می‌کنه؟ چهار، متن درست ۵۰ کلمه، مدل ۲ تا عوض کرده، ۱ جا انداخته و ۲ اضافه کرده؛ نرخ خطای کلمه؟

جواب‌ها. اولی، ۱۰ ضرب در ۱۶ هزار، یعنی ۱۶۰ هزار. دومی، ۱۰۰۰ قاب، و بعد ۵۰۰. سومی، ۷۵ ضرب در ۴ ضرب در ۶۰، یعنی ۱۸ هزار نشونه. چهارمی، ۵ تقسیم بر ۵۰، یعنی ۱۰ درصد.