Подготовка датасета для обучения нейросети: различия между версиями

Материал из Mari-Lab
Перейти к навигации Перейти к поиску
Нет описания правки
Нет описания правки
Строка 2: Строка 2:
В данный момент марийский машинный переводчик реализован в [https://translate.yandex.ru/?lang=mrj-mhr&text=Шӓлӓ '''Яндекс.Переводчике''']. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению [https://cloud.mail.ru/public/eX8r/XhAPRcPYy '''параллельного корпуса''']. В папке [https://cloud.mail.ru/public/t3cT/SXbe6dz5A '''mhr --> rus'''] находятся выравненные предложения, переведённые с марийского на русский, а в папке [https://cloud.mail.ru/public/4YKt/JEJZ87FLX '''rus --> mhr'''] — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу...
В данный момент марийский машинный переводчик реализован в [https://translate.yandex.ru/?lang=mrj-mhr&text=Шӓлӓ '''Яндекс.Переводчике''']. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению [https://cloud.mail.ru/public/eX8r/XhAPRcPYy '''параллельного корпуса''']. В папке [https://cloud.mail.ru/public/t3cT/SXbe6dz5A '''mhr --> rus'''] находятся выравненные предложения, переведённые с марийского на русский, а в папке [https://cloud.mail.ru/public/4YKt/JEJZ87FLX '''rus --> mhr'''] — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу...


В настоящий момент объём [https://cloud.mail.ru/public/apAp/pehZnrVU1 параллельного корпуса] составляет '''357.528''' выравненных предложений на русском и марийского языках.
В настоящий момент объём [https://cloud.mail.ru/public/apAp/pehZnrVU1 параллельного корпуса] составляет '''369 тыс.''' выравненных предложений на русском и марийского языках.

Версия от 11:06, 10 октября 2022

Corp.jpg

В данный момент марийский машинный переводчик реализован в Яндекс.Переводчике. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению параллельного корпуса. В папке mhr --> rus находятся выравненные предложения, переведённые с марийского на русский, а в папке rus --> mhr — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу...

В настоящий момент объём параллельного корпуса составляет 369 тыс. выравненных предложений на русском и марийского языках.