یک ترجمه از اول تا آخر در ترنسفورمر اصلی

یعنی چی

یه جمله رو دستش رو می‌گیریم و تا ترجمه‌ش همراهش می‌ریم.

تا اینجا تیکه‌های ترنسفورمر رو یکی‌یکی دیدیم. این درس هیچ چیز تازه‌ای معرفی نمی‌کنه؛ همه رو کنار هم می‌ذاره. جمله‌ی ساختگی «گربه روی فرش نشست» رو برمی‌داریم و توی ترنسفورمر اصلی ۲۰۱۷، از لحظه‌ای که وارد می‌شه تا وقتی the cat sat on the mat بیرون میاد، دنبالش می‌کنیم. برای ساده بودن، هر کلمه رو یه تکه گرفتیم.

نقشه

این کل سفره، با شماره. قدم ۱ تا ۴ سمت ورودیه و فقط یه بار انجام می‌شه. قدم ۵ تا ۸ سمت نوشتنه و برای هر کلمه‌ی ترجمه یه بار تکرار می‌شه. خط پررنگ وسط، خروجی رمزگذاره که به رمزگشا می‌رسه. خط‌چین پایین هم حلقه‌ست: هر کلمه‌ای که درمیاد، برمی‌گرده ته نوشته‌ها و قدم ۵ دوباره شروع می‌شه. حالا قدم‌به‌قدم بریم.

سمت ورودی

قدم ۱، جمله وارد می‌شه. قدم ۲، به تکه‌ها شکسته می‌شه؛ مقاله‌ی ۲۰۱۷ یه واژگان مشترک حدود ۳۷ هزار تکه‌ای داشت. قدم ۳، هر تکه از روی جدول کلمه‌ها یه بردار ۵۱۲ عددی می‌گیره و بردار جاش بهش جمع می‌شه، تا مدل بدونه «گربه» اوله و «نشست» آخر. قدم ۴، این چهار بردار از شش بلوک رمزگذار رد می‌شن و هر کدوم از کل جمله خبردار می‌شه. نتیجه، چهار بردار پربار، یه گوشه نگه داشته می‌شه؛ سمت ورودی کارش تموم شد.

کلمه‌ی اول

قدم ۵، رمزگشا هنوز هیچی ننوشته؛ فقط یه نشونه‌ی «شروع» داره. قدم ۶، این نشونه از شش بلوک رمزگشا رد می‌شه: خودتوجهی با ماسک، که اینجا فقط خودش رو داره؛ توجه متقابل، که به اون چهار بردار نگاه می‌کنه؛ و پیش‌خور. قدم ۷، خروجی از یه تبدیل خطی و یه سافت‌مکس رد می‌شه که به هر تکه‌ی واژگان یه احتمال می‌ده. قدم ۸، محتمل‌ترین، مثلا the با ۰٫۶۲، انتخاب می‌شه. این عددها ساختگی‌ان.

قدم‌های بعد

حالا the ته نوشته‌ها می‌ره و دوباره قدم ۵ تا ۸. این بار رمزگشا «شروع» و the رو داره و cat رو می‌سازه. بعد sat، on، the، mat. توی هر قدم، توجه متقابل به همون چهار برداری نگاه می‌کنه که رمزگذار یه بار ساخته بود؛ ولی هر بار یه جای دیگه‌ش براش مهم‌تره، مثلا موقع mat، «فرش». آخر سر، محتمل‌ترین تکه نشونه‌ی «پایان» می‌شه و ترجمه تموم می‌شه: هفت قدم برای شش کلمه.

از تکه‌ها به متن

رمزگشا کلمه‌ی کامل نمی‌ده؛ تکه می‌ده. آخر کار، این تکه‌ها باید دوباره متن بشن.

مقاله‌ی ۲۰۱۷ برای انگلیسی و آلمانی یه جدول تکهی مشترک داشت، حدود ۳۷ هزار تا، که هم برای خوندن ورودی به کار می‌رفت و هم برای نوشتن خروجی. کلمه‌های رایج یه تکه‌ان و کلمه‌های کمیاب چند تکه. پس رمزگشا ممکنه یه کلمه رو توی دو قدم بنویسه؛ مثلا، با یه تقسیم ساختگی، اول «ma» و بعد «t». هر تکه یه نشونه داره که می‌گه به قبلی بچسبه یا با فاصله بیاد. وقتی «پایان» اومد، تکه‌ها به هم چسبونده می‌شن و جمله‌ی خونا درمیاد. به خاطر همین جدول مشترک، اسم‌هایی که توی دو زبان یکی‌ان، مثل اسم آدم‌ها، راحت‌تر عینا کپی می‌شن.

چند گزینه با هم

همیشه برداشتن محتمل‌ترین کلمه بهترین ترجمه رو نمی‌ده؛ گاهی یه شروع کمی کم‌احتمال‌تر، به یه جمله‌ی کلا بهتر می‌رسه. درس انتخاب محتمل‌ترین همین رو گفت. مقاله‌ی ۲۰۱۷ برای ترجمه از «جستجوی پرتو» استفاده کرد: به جای یه گزینه، چهار تا از بهترین ادامه‌ها رو هم‌زمان جلو می‌برد و آخر سر، کل جمله‌ای که روی هم محتمل‌تر بود رو انتخاب می‌کرد.

کوتاه همیشه برنده‌ست؟

جست‌وجوی چندگزینه‌ای یه عیب پنهون داره: جواب‌های کوتاه رو بیشتر دوست داره.

امتیاز هر گزینه ضرب احتمال‌های تکه‌هاشه، و هر احتمال کمتر از یکه؛ پس هر تکه‌ی اضافه، امتیاز رو کوچیک‌تر می‌کنه. با عددهای ساختگی ببینیم: یه ترجمه‌ی ناقص سه‌تکه‌ای با احتمال‌های ۰٫۶، ۰٫۵ و ۰٫۶ می‌شه ۰٫۱۸. یه ترجمه‌ی کامل شش‌تکه‌ای، با احتمال‌های ۰٫۶، ۰٫۵، ۰٫۸۵، ۰٫۸۵، ۰٫۸۵ و ۰٫۸، می‌شه حدود ۰٫۱۵. یعنی ناقص می‌بره! برای همین مقاله‌ی ۲۰۱۷ یه «جریمه‌ی طول» با عدد ۰٫۶ به کار برد، از روی یه پژوهش ترجمه‌ی ۲۰۱۶. اون پژوهش لگاریتم امتیاز رو تقسیم بر (۵ به‌علاوه‌ی طول) به توان ۰٫۶، تقسیم بر ۶ به توان ۰٫۶، می‌کرد. با این حساب امتیاز ناقص می‌شه منفی ۱٫۴۴ و کامل منفی ۱٫۳۳؛ حالا کامل جلوتره. مقاله‌ی ۲۰۱۷ طول خروجی رو هم حداکثر ۵۰ تکه بیشتر از ورودی گذاشت، ولی هر جا «پایان» زودتر می‌اومد، همون‌جا تموم می‌کرد.

چند نکته

• سمت ورودی یه بار؛ سمت نوشتن، هر کلمه یه بار.
• هر قدم یه احتمال روی کل واژگان.
• نشونه‌ی «پایان» حلقه رو می‌بنده.
• چند گزینه با هم، ترجمه‌ی بهتر.

با این درس ایستگاه سه خانواده تموم شد. ولی این مدل‌ها اصلا چطور یاد می‌گیرن؟ ایستگاه بعد با این درس شروع می‌شه: هدف آموزش: کلمه‌ی بعد یا کلمه‌ی پوشیده.