Подготовка датасета для обучения нейросети: различия между версиями
Андрей (обсуждение | вклад) Нет описания правки |
Андрей (обсуждение | вклад) Нет описания правки |
||
| (не показано 6 промежуточных версий этого же участника) | |||
| Строка 1: | Строка 1: | ||
[[Файл: | [[Файл:Corp_.jpg|450px|thumb]] | ||
В данный момент марийский машинный переводчик реализован в [https://translate.yandex.ru/?lang=mrj-mhr&text=Шӓлӓ '''Яндекс.Переводчике''']. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению [https://cloud.mail.ru/public/eX8r/XhAPRcPYy '''параллельного корпуса''']. В папке [https://cloud.mail.ru/public/t3cT/SXbe6dz5A '''mhr --> rus'''] находятся выравненные предложения, переведённые с марийского на русский, а в папке [https://cloud.mail.ru/public/4YKt/JEJZ87FLX '''rus --> mhr'''] — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу... | В данный момент марийский машинный переводчик реализован в [https://translate.yandex.ru/?lang=mrj-mhr&text=Шӓлӓ '''Яндекс.Переводчике''']. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению [https://cloud.mail.ru/public/eX8r/XhAPRcPYy '''параллельного корпуса''']. В папке [https://cloud.mail.ru/public/t3cT/SXbe6dz5A '''mhr --> rus'''] находятся выравненные предложения, переведённые с марийского на русский, а в папке [https://cloud.mail.ru/public/4YKt/JEJZ87FLX '''rus --> mhr'''] — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу... | ||
В настоящий момент объём [https://cloud.mail.ru/public/ | В настоящий момент объём [https://cloud.mail.ru/public/eX8r/XhAPRcPYy параллельного корпуса] составляет '''405 тыс.''' выравненных предложений на русском и марийского языках. | ||
Для обучения нейросети также необходим [https://cloud.mail.ru/public/PB1W/EXXvvCmJv '''корпус марийских текстов''']. | |||
[https://huggingface.co/datasets/AigizK/mari-russian-parallel-corpora '''Марийско-русский параллельный корпус (датасет)''']. | |||
Текущая версия от 09:52, 15 июня 2023
В данный момент марийский машинный переводчик реализован в Яндекс.Переводчике. В момент включения марийского языка в Яндекс.Переводчик у нас был небольшой объём параллельного корпуса. Для улучшения работы марийского переводчика или создания нового продолжаются работы по выравниванию параллельных предложений (марийских и русских) и пополнению параллельного корпуса. В папке mhr --> rus находятся выравненные предложения, переведённые с марийского на русский, а в папке rus --> mhr — с русского на марийский. На сегодняшний день для обучения нейросети это не имеет значения, но это сделано на перспективу...
В настоящий момент объём параллельного корпуса составляет 405 тыс. выравненных предложений на русском и марийского языках.
Для обучения нейросети также необходим корпус марийских текстов.