روز ۸ مهر ۱۴۰۵ (۳۰ سپتامبر ۲۰۲۶) NVIDIA یادداشتی فنی درباره تنظیم دقیق مدل تشخیص گفتار Nemotron 3.5 ASR برای گویشهای سعودی منتشر کرد. داده آموزشی SADA بود، مجموعه صوتی عربی سعودی که سازمان داده و هوش مصنوعی عربستان (SDAIA) با سازمان صداوسیمای عربستان منتشر کرده است. رسانه‌های سعودی ۱۱ مهر خبر را پوشش دادند.
نتیجه پیشرفتی واقعی است و در عین حال نشان میدهد تبدیل گفتار گویشی به متن هنوز چقدر با یک متن تمیز فاصله دارد. بخش دوم برای هر کسی در منطقه خلیج فارس که می‌خواهد ضبط تماس‌ها یا جلسه‌ها را به متن قابل جستوجو تبدیل کند مهم است.
اعداد، از یادداشت خود NVIDIA
- پس از پاک‌سازی سبک، تیم ۱۰۳٬۵۵۹ از ۱۲۵٬۴۹۰ قطعه گفتار، یعنی ۱۳۳٫۷ ساعت گفتار نجدی و حجازی را نگه داشت.
- نرخ خطای واژه (WER) روی بخش آزمون نجدی و حجازی از ۵۵٫۰۵٪ به ۲۹٫۹۶٪ رسید. روی کل مجموعه آزمون SADA از ۵۸٫۸۴٪ به ۳۵٫۶۱٪.
- انگلیسی بدتر نشد: WER روی مجموعه FLEURS انگلیسی از ۱۱٫۰۴٪ به ۱۰٫۴۲٪ و روی FLEURS عربی از ۱۲٫۶۷٪ به ۱۱٫۴۱٪ رسید.
- آموزش حدود ۴٫۵ ساعت روی دو GPU و در ۱۲٬۰۰۰ گام طول کشید.
به فاصله در همین فهرست نگاه کنید. همان مدل پایه روی FLEURS عربی، که گفتار خوانده‌شده و معیار است، ۱۲٫۶۷٪ خطا داشت و روی نجدی و حجازی ۵۵٫۰۵٪. سختی کار در گویش است، نه در «عربی». وقتی فروشنده‌ای می‌گوید محصولش عربی را پشتیبانی میکند، بپرسید روی کدام عربی آزموده شده.
نرخ خطای ۳۰ درصد در عمل یعنی چه
WER واژه‌های غلط، جاافتاده یا اضافه را می‌شمارد. با حدود ۳۰٪، یک جمله ده‌کلمه‌ای اغلب حدود سه مورد از این‌ها دارد. خواننده معمولاً هنوز موضوع را می‌فهمد. مشکل واژه‌هایی است که یک تماس پشتیبانی یا جلسه به آن‌ها وابسته است: نام‌ها، شماره سفارش، مبلغ‌ها، تاریخ‌ها. دقیقاً همین واژه‌ها را نمی‌شود از روی بافت حدس زد.
NVIDIA یک بده‌بستان را هم اندازه گرفت. پنجره توجه بزرگتر بدون آموزش دوباره WER را ۱٫۳۱ واحد کم کرد، به بهای حدود ۸۰۰ میلیثانیه تأخیر بیشتر. یادداشت می‌گوید این برای پردازش دستهای آرشیو تماس، رسانه و ضبط جلسه‌ها مناسب است و شاید برای زیرنویس زنده نه.
پنج قاعده برای استفاده از متن گفتار گویشی
- روی صدای خودتان آزمایش کنید. نمونه‌ای از تماس‌های واقعی‌تان را یک نفر پیاده کند و مقایسه کنید. توصیه خود NVIDIA ارزیابی هر توانایی روی مجموعه مستقل است، نه اعتماد به عدد تیتر.
- وقتی دقت مهم است، دستهای را به زنده ترجیح دهید. اگر کسی متن را همان لحظه نمی‌خواند، تنظیم کندتر و دقیق‌تر را بردارید.
- پیوند به صدا را نگه دارید. هر بخش از متن باید زمانش را داشته باشد تا هر کس به واژه‌ای شک کرد همان ثانیه را گوش دهد.
- متن پیاده‌شده را پیش‌نویس قابل جستوجو بدانید، نه سند. نام‌ها، اعداد و تصمیم‌ها را پیش از ورود به تیکت، صورت‌جلسه یا پرونده قرارداد یک نفر تأیید کند.
- پاسخ جستوجو باید منبع را نشان دهد. اگر دستیاری از روی این متن‌ها پاسخ میدهد، پاسخ باید به فایل و بخش دقیق اشاره کند و اگر چیزی پشتیبانش نیست همین را بگوید. دلیلش را در ارجاع بده یا نگو نوشته‌ایم.
FanMind کجای این کار است
FanMind دستیار اسناد فنپینو است. به پرسش کارکنان از روی فایل‌های خود سازمان پاسخ میدهد و برای هر پاسخ سند و صفحه دقیق را ارجاع میدهد. FanMind صدا را به متن تبدیل نمی‌کند و اینجا ادعای پشتیبانی از گویش نداریم. جایش در قدم بعد از پیادهسازی است: وقتی خلاصه تماس‌ها یا صورت‌جلسه‌ها بهصورت فایل Word یا PDF وجود دارند، می‌توانند کنار آیین‌نامه‌ها و رویه‌ها قرار بگیرند و هر پاسخی که از آن‌ها می‌آید به فایل و صفحه‌ای پیوند دارد که آدم میتواند بررسی کند. همان رویکردی است که برای آرشیو اسناد فنی به کار می‌بریم. FanMind را ببینید.
پرسش‌های متداول
NVIDIA در ۸ مهر ۱۴۰۵ چه منتشر کرد؟
روشی برای تنظیم دقیق Nemotron 3.5 ASR روی گفتار نجدی و حجازی از مجموعه SADA متعلق به SDAIA که نرخ خطای واژه را روی آن بخش آزمون از ۵۵٫۰۵٪ به ۲۹٫۹۶٪ رساند.
آیا تشخیص گفتار گویش سعودی حل شده است؟
نه. حدود ۳۰٪ خطا روی گویشهای هدف و ۳۵٫۶۱٪ روی کل آزمون SADA خیلی بهتر از قبل است، اما هنوز با متنی که بشود بدون بررسی بایگانی کرد فاصله دارد.
مرکز تماس باید پیادهسازی زنده استفاده کند یا دستهای؟
برای سند و جستوجو، دستهای. NVIDIA گزارش میدهد پنجره بزرگتر با حدود ۸۰۰ میلیثانیه تأخیر بیشتر دقت را بالا میبرد، که برای آرشیو و ضبط جلسه مناسبتر از زیرنویس زنده است.
آیا FanMind صدای عربی را به متن تبدیل میکند؟
نه. FanMind روی اسناد کار میکند. متنی که یک سامانه تشخیص گفتار تولید کرده میتواند بهصورت فایل اضافه شود و پاسخها به فایل و صفحه همان متن ارجاع میدهند.
