Нанайский электронный словарь: различия между версиями
Андрей (обсуждение | вклад) |
Андрей (обсуждение | вклад) |
||
| (не показано 66 промежуточных версий этого же участника) | |||
| Строка 1: | Строка 1: | ||
[[Файл:Nanai_1.jpg|300px|thumb]] | [[Файл:Nanai_1.jpg|300px|thumb]] | ||
[[Файл:Nanai_2.jpg|300px|thumb]] | |||
Для создания нанайско-русского и русско-нанайского электронных словарей воспользуемся бумажными версиями следующих изданий: | Для создания нанайско-русского и русско-нанайского электронных словарей воспользуемся бумажными версиями следующих изданий: | ||
| Строка 13: | Строка 15: | ||
Распознавание, или OCR (расшифровывается как оптическое распознование символов) — это перевод изображений (фотографий) текстов в текстовые данные, с которыми можно работать в текстовом редакторе. | Распознавание, или OCR (расшифровывается как оптическое распознование символов) — это перевод изображений (фотографий) текстов в текстовые данные, с которыми можно работать в текстовом редакторе. | ||
Для распознавания мы воспользуемся проприетарной и платной программой '''ABBYY FineReader 12 Professional Edition'''. В данный момент у [https://www.abbyy.com/ru-ru/ '''Abbyy'''] есть более новые версии [https://www.abbyy.com/ru-ru/finereader/ '''FineReader'''-а], но у нас была куплена лицензионная копия 12-й версии, им и будем распознавать отсканированные словари. | |||
Данные словари состоят из русских и нанайских слов. В списке языков ABBYY FineReader выберем '''русский''' язык, а вот '''нанайского''' языка не обнаруживаем. К сожалению, компания Abbyy презрительно относится к российским языкам: там нет даже '''коми''' языка, который является государственным языком в Республике Коми, чего уже говорить о '''на̄ни хэсэни'''. | |||
Итак, можно распознать с использованием только русского языка, но качество распознанных текстов будет желать лучшего. | |||
=== Пользовательские языки === | |||
Создаём пользовательский язык '''на̄ни хэсэни''' на основе русского языка': | |||
«'''Сервис''' → '''Редактор языков''' → '''Пользовательские языки''' → '''Новый'''». | |||
Откроется окно '''Свойство языка''' | |||
По умолчанию базовый язык — '''Русский'''. В имени нового языка вместо '''Копия (Русский)''' следует указать '''На̄ни хэсэни'''. | |||
[[Файл:Nanai_3.jpg]] | |||
В свойствах языка откроем "Алфавит языка" и добавим необходимые нам символы: | |||
[[Файл:Nanai_4.jpg|450px]] | |||
Вопросы возникнут с гласными с долготами. В связи с непонятным принципом присвоения юникодов Консорциумом, мы обнаруживаем только две гласные с долготами: '''Ӣӣ, Ӯӯ'''. Для остальных гласных с долготами "собираем" из двух символов: гласной и знака долготы. | |||
Именно так мы и распознали два вышеуказанных словаря. Что в свою очередь вызвало сложности у пользователей: они в строке поиска в PDF-просмотрщике вместо букв '''Ӣӣ, Ӯӯ''' вводили '''Ии, Уу'''. | |||
Вердикт: редактируем пользовательский язык '''На̄ни хэсэни''', убираем две буквы '''Ӣӣ, Ӯӯ''', и их тоже "собираем" из двух символов: соответствующих гласных и знака долготы. | |||
И снова перераспознаём наши словари. | |||
=== Пользовательские словари === | |||
Некоторые языки в ABBYY FineReader имеют встроенные словари поддержки: они в процессе распознавания генерят все возможные словоформы в языке, сравнивают их с распознанными словами и при обнаружении ошибок проводят автоматическую корректуру. Но, к сожалению, для многих языков, которые есть в списке языков в ABBYY FineReader, не светит появление встроенных словарей поддержки: у них свой закрытый формат, а созданные, например, HunSpell-словари для многих языков, в том числе и для марийского языка, они категорически отказываются использовать. | |||
В нашем случае остаётся использовать только пользовательские словари. Нажимаем '''Свойства''' нашего пользовательского словаря: | |||
[[Файл:Nanai_5.jpg]] | |||
Как видите, он пока пустой. Через вкладку '''Импорт''' можно импортировать список "правильных" словоформ. Обратите внимание, текстовый файл со списком словоформ должен быть создан в блокноте и сохранён в формате '''Unicode (UTF-16)'''! | |||
Как составить список словоформ? Для этого воспользуемся корпус-менеджером [http://wiki.fu-lab.ru/index.php/AntConc '''AntConc''']: в папку соберём файлы с нанайскими текстами в *.txt (UTF-8), в AntConc составим '''Word List''', и далее: File --> Save Output to Text File. | |||
=== Распознавание с обучением === | |||
В связи с тем, что не все начертания шрифтов есть в встроенном эталоне ABBYY FineReader, желательно распознавание проводить с обучением. | |||
'''Сервис''' --> '''Настройки''': | |||
[[Файл:Nanai_6.jpg|450px]] | |||
Поставьте галочки на "Использовать встроенные и пользовательские эталоны" и "Распознавание с обучением". | |||
== Сохранение распознанной книги == | |||
=== Сохранение распознанной книги в PDF === | |||
После того, как распознали книгу, а вам уже не терпится его сохранить в Microsoft Word, сохраните книгу сначала в PDF, иначе потом вы к этому вряд ли вернётесь: | |||
'''Файл''' --> '''Сохранить документ как''' --> '''Документ PDF'''. | |||
Перед тем, как отправите гулять в интернет данную PDF-ку, желательно в '''Adobe Acrobat Pro''' для улучшения индексирования поисковыми системами прописать метатеги: | |||
'''Файл''' --> '''Свойства''' --> '''Описания''': | |||
[[Файл:Nanai_7.jpg|450px]] | |||
=== Сохранение распознанной книги в Microsoft Word === | |||
После создания PDF-ки, теперь данную книгу можно сохранить в Microsoft Word: | |||
'''Файл''' --> '''Сохранить документ как''' --> '''Документ Microsoft Word'''. | |||
== Редактирование и корректура текста == | |||
После вычитки и корректуры текста получим такой "вордовский" файл: | |||
[[Файл:Nanai_9.jpg|450px]] | |||
Кстати, словарь 1989 года мы перераспознали, получилось так: [https://drive.google.com/file/d/1D5Cmq4s698c2mLO9vo2EDd0sqYm0F6s_/view?usp=sharing Словарь нанайско-русский и русско-нанайский. Издательство «Просвещение». Ленинград. 1989.] | |||
Распознаннный текст в '''LibreOffice''', используя плагин '''Wiki Publisher''', экспортировали в MediaWiki (.txt). Получилось так: [[Нанайско-русский словарь 1989]], [[Русско-нанайский словарь 1989]]. | |||
== Нанайская раскладка клавиатуры == | |||
Для установки нанайской раскладки клавиатуры в Mac OS скачайте файл [http://mari-lab.ru/downloads/key_mac.zip '''key_mac.zip'''] (обычно zip-архивы сами распаковываются, но не у всех, если файл key_mac.zip не распаковался, то тогда вам придётся его распаковать вручную). | |||
Перейдите в командную строку (терминал) и выполните следующую команду: | |||
$ cp ~/Downloads/key_mac/*.* ~/Library/Keyboard\ Layouts/ | |||
Для некоторых версий Mac OS необходима перегрузка сеанса пользователя. | |||
Перейдите по опциям: «'''Системные настройки'''» ---> «'''Язык и текст'''» ---> «'''Источники ввода'''» (а в OS Mavericks и выше ещё «+» ---> «'''Другие'''»), и напротив необходимой раскладки клавиатуры («'''На̄ни'''») поставьте галочку. | |||
[[Файл:Nanai 13.jpg]] | |||
Чтобы набрать '''а̄''', необходимо, удерживая правый ALT, нажать на букву '''а''': | |||
- AltGr + «а» = «а̄» | |||
- AltGr + «н» = «ӈ» | |||
- AltGr + Shift + «н» = «Ӈ» | |||
- AltGr + «о» = «о̄» | |||
- AltGr + «у» = «ӯ» | |||
- AltGr + «и» = «ӣ» | |||
- и т. д. | |||
P.S. Данную раскладку я делал в течение 20 минут. Очень даже возможно, что вас не будет устраивать данная клавиатура. Сделайте свою или отредактируйте [http://mari-lab.ru/downloads/nanai_key.zip '''эту раскладку'''] в программе [http://scripts.sil.org/cms/scripts/page.php?site_id=nrsi&id=ukelele '''Ukelele''']. | |||
== Создание электронного словаря == | |||
Многие проходят сложный путь через сохранение "вордовского" файла в '''html'''. | |||
Пользуйтесь [https://ru.libreoffice.org/download/ LibreOffice], там есть встроенный плагин '''Wiki Publisher''': | |||
[[Файл:Nanai_10.jpg|450px]] | |||
В LibreOffice: | |||
'''Файл''' --> '''Экспорт''' --> Тип файла: '''MediaWiki (.txt)''' | |||
Получаем текстовый файл в вики-разметке: | |||
[[Файл:Nanai_12.jpg|450px]] | |||
Далее уже наверное всё понятно: "'''найти и заменить'''" и [http://wiki.fu-lab.ru/index.php/Регулярные_выражения '''регулярные выражения'''] вам в помощь! | |||
Для онлайн-словарей мы используем движок [http://glossword.biz '''Glossword''']. Для того, чтобы импортировать словарь, его нужно представить в виде XML-файла. Например, нанайско-русский словарь 1989 года будет выглядеть так: [http://mari-lab.ru/downloads/gld-rus.zip '''gld-rus.xml''']. После того, как он импортирован, например, в "Онлайн-словари FU-Lab": [http://dict.fu-lab.ru/index.php/index/32.xhtml '''Нанайско-русский словарь (1989)'''], а русско-нанайский словарь [http://mari-lab.ru/downloads/rus-gld.zip '''rus-gld.xml'''] соответственно: [http://dict.fu-lab.ru/index.php/index/33.xhtml '''Русско-нанайский словарь (1989)''']. | |||
Обратите внимание, в Glossword можно создавать виртуальные клавиатуры (чтобы запустить, нажмите на значок клавиатуры, который находится рядом с значком "Поиск): | |||
[[Файл:Nanai 14.jpg|450px]] | |||
Для офлайн-работы мы обычно словари переводим в [http://wiki.fu-lab.ru/index.php/DSL '''DSL-формат''']. Нанайско-русский и русско-нанайский словари 1989 года в DSL-формате находятся в этой папке: [http://mari-lab.ru/downloads/nanairus.zip '''nanairus''']. | |||
[[Файл:Nanai 15.jpeg|450px]] | |||
Для гаджетов с андроид мы обычно используем бесплатную версию [https://play.google.com/store/apps/details?id=mobi.goldendict.android.free '''GoldenDict'''], которую можно скачать и установить с [https://play.google.com/store/apps/details?id=mobi.goldendict.android.free '''Play Market''']. Правда, в одно время в Play Market исчезла было бесплатная версия. Пользователи уже подумывали перейти на [https://play.google.com/store/apps/details?id=com.socialnmobile.colordict '''ColorDict''']. Но, по состоянию на сегодняшнее число бесплатная версия GoldenDict есть. И к этой программе-оболочке для электронных словарей можно подключить папку с нанайскими словарями [http://mari-lab.ru/downloads/nanairus.zip '''nanairus''']: | |||
[[Файл:Nanai 16.jpg|450px]] | |||
Не все пользователи смогут самостоятельно подключить скачанную папку со словарями к GoldenDict. Обратитесь к [https://vk.com/vorgoron '''Григорию Григорьеву'''], может он вам напишет андроид-приложение и разместит его в Play Market... | |||
== Проблемы с Google Play == | |||
Раньше для гаджетов с Android мы делали приложения, которые скачивали папки со словарями в DSL-формате и подключали их к GoldenDict (к платной или бесплатной версии). А если у пользователя на гаджете не было приложения GoldenDict, то наши приложения скачивали бесплатную версию этой оболочки для электронных словарей и подключали необходимые словари. Например, [https://play.google.com/store/apps/details?id=udm.udmurtlyk.dictdata.marirus марийско-русский словарь]. | |||
Но с недавнего времени в Google Play перестали размещаться приложения сделанные таким образом, например, нанайско-русский и русско-нанайские электронные словари. | |||
Пытаться приспособить наши словари к приложениям типа ColorDict нет смысла, вдруг опять поменяются правила. Выход один: перегнать наши словари в XML или JSON. Вот тут собственно в XML-формате [https://yadi.sk/d/CARwm5i7IYVcKg русско-нанайский] и [https://yadi.sk/d/ZCeVP27Tu7qL_w нанайско-русский] словари. | |||
Теперь дело осталось за малым: написать свою оболочку для электронных словарей и разместить её в Google Play... | |||
[[Category:На̄ни хэсэни]] | |||
Текущая версия от 15:49, 13 октября 2020
Для создания нанайско-русского и русско-нанайского электронных словарей воспользуемся бумажными версиями следующих изданий:
- С.Н. Оненко. Словарь нанайско-русский и русско-нанайский. Издательство «Просвещение». Ленинград. 1989.
- С.Н. Оненко. Нанайско-русский словарь. Нанай-лоча хэсэнкуни. Издательство «Русский язык». Москва. 1980.
Сканирование
Вышеуказанные бумажные версии словарей необходимо отсканировать. Сканирование — это по сути фотографирование, где каждая страница или разворот — это фотоснимок. Сканировать можно или на планшетных сканерах, что для объёмных книг процесс довольно долгий, или на книжных (планетарных) сканерах. Мы сканировали на книжном сканере ЭЛАР А2-600. Теоретически можно просто сфотографировать каждый разворот на цифровом фотоаппарате, что делать в нашем случае нежелательно.
Далее каждый скан разворота необходимо выровнять, порезать на страницы, выровнять по размеру все страницы. При необходимости можно изменить яркость и контрастность сканов. Далее можно сохранить изображения в PDF. Получается так называемый нераспознанный PDF. Например, в электронной библиотеке "Всё для студента" большинство PDF-ок именно нераспознанные. Читать такие PDF-ки можно, но поиска нет, и занимают они по сравнению с распознанными PDF-ми довольно большой объём.
Распознавание
Распознавание, или OCR (расшифровывается как оптическое распознование символов) — это перевод изображений (фотографий) текстов в текстовые данные, с которыми можно работать в текстовом редакторе.
Для распознавания мы воспользуемся проприетарной и платной программой ABBYY FineReader 12 Professional Edition. В данный момент у Abbyy есть более новые версии FineReader-а, но у нас была куплена лицензионная копия 12-й версии, им и будем распознавать отсканированные словари.
Данные словари состоят из русских и нанайских слов. В списке языков ABBYY FineReader выберем русский язык, а вот нанайского языка не обнаруживаем. К сожалению, компания Abbyy презрительно относится к российским языкам: там нет даже коми языка, который является государственным языком в Республике Коми, чего уже говорить о на̄ни хэсэни.
Итак, можно распознать с использованием только русского языка, но качество распознанных текстов будет желать лучшего.
Пользовательские языки
Создаём пользовательский язык на̄ни хэсэни на основе русского языка':
«Сервис → Редактор языков → Пользовательские языки → Новый».
Откроется окно Свойство языка
По умолчанию базовый язык — Русский. В имени нового языка вместо Копия (Русский) следует указать На̄ни хэсэни.
В свойствах языка откроем "Алфавит языка" и добавим необходимые нам символы:
Вопросы возникнут с гласными с долготами. В связи с непонятным принципом присвоения юникодов Консорциумом, мы обнаруживаем только две гласные с долготами: Ӣӣ, Ӯӯ. Для остальных гласных с долготами "собираем" из двух символов: гласной и знака долготы.
Именно так мы и распознали два вышеуказанных словаря. Что в свою очередь вызвало сложности у пользователей: они в строке поиска в PDF-просмотрщике вместо букв Ӣӣ, Ӯӯ вводили Ии, Уу.
Вердикт: редактируем пользовательский язык На̄ни хэсэни, убираем две буквы Ӣӣ, Ӯӯ, и их тоже "собираем" из двух символов: соответствующих гласных и знака долготы.
И снова перераспознаём наши словари.
Пользовательские словари
Некоторые языки в ABBYY FineReader имеют встроенные словари поддержки: они в процессе распознавания генерят все возможные словоформы в языке, сравнивают их с распознанными словами и при обнаружении ошибок проводят автоматическую корректуру. Но, к сожалению, для многих языков, которые есть в списке языков в ABBYY FineReader, не светит появление встроенных словарей поддержки: у них свой закрытый формат, а созданные, например, HunSpell-словари для многих языков, в том числе и для марийского языка, они категорически отказываются использовать.
В нашем случае остаётся использовать только пользовательские словари. Нажимаем Свойства нашего пользовательского словаря:
Как видите, он пока пустой. Через вкладку Импорт можно импортировать список "правильных" словоформ. Обратите внимание, текстовый файл со списком словоформ должен быть создан в блокноте и сохранён в формате Unicode (UTF-16)!
Как составить список словоформ? Для этого воспользуемся корпус-менеджером AntConc: в папку соберём файлы с нанайскими текстами в *.txt (UTF-8), в AntConc составим Word List, и далее: File --> Save Output to Text File.
Распознавание с обучением
В связи с тем, что не все начертания шрифтов есть в встроенном эталоне ABBYY FineReader, желательно распознавание проводить с обучением.
Сервис --> Настройки:
Поставьте галочки на "Использовать встроенные и пользовательские эталоны" и "Распознавание с обучением".
Сохранение распознанной книги
Сохранение распознанной книги в PDF
После того, как распознали книгу, а вам уже не терпится его сохранить в Microsoft Word, сохраните книгу сначала в PDF, иначе потом вы к этому вряд ли вернётесь:
Файл --> Сохранить документ как --> Документ PDF.
Перед тем, как отправите гулять в интернет данную PDF-ку, желательно в Adobe Acrobat Pro для улучшения индексирования поисковыми системами прописать метатеги:
Файл --> Свойства --> Описания:
Сохранение распознанной книги в Microsoft Word
После создания PDF-ки, теперь данную книгу можно сохранить в Microsoft Word:
Файл --> Сохранить документ как --> Документ Microsoft Word.
Редактирование и корректура текста
После вычитки и корректуры текста получим такой "вордовский" файл:
Кстати, словарь 1989 года мы перераспознали, получилось так: Словарь нанайско-русский и русско-нанайский. Издательство «Просвещение». Ленинград. 1989.
Распознаннный текст в LibreOffice, используя плагин Wiki Publisher, экспортировали в MediaWiki (.txt). Получилось так: Нанайско-русский словарь 1989, Русско-нанайский словарь 1989.
Нанайская раскладка клавиатуры
Для установки нанайской раскладки клавиатуры в Mac OS скачайте файл key_mac.zip (обычно zip-архивы сами распаковываются, но не у всех, если файл key_mac.zip не распаковался, то тогда вам придётся его распаковать вручную).
Перейдите в командную строку (терминал) и выполните следующую команду:
$ cp ~/Downloads/key_mac/*.* ~/Library/Keyboard\ Layouts/
Для некоторых версий Mac OS необходима перегрузка сеанса пользователя.
Перейдите по опциям: «Системные настройки» ---> «Язык и текст» ---> «Источники ввода» (а в OS Mavericks и выше ещё «+» ---> «Другие»), и напротив необходимой раскладки клавиатуры («На̄ни») поставьте галочку.
Чтобы набрать а̄, необходимо, удерживая правый ALT, нажать на букву а:
- AltGr + «а» = «а̄»
- AltGr + «н» = «ӈ»
- AltGr + Shift + «н» = «Ӈ»
- AltGr + «о» = «о̄»
- AltGr + «у» = «ӯ»
- AltGr + «и» = «ӣ»
- и т. д.
P.S. Данную раскладку я делал в течение 20 минут. Очень даже возможно, что вас не будет устраивать данная клавиатура. Сделайте свою или отредактируйте эту раскладку в программе Ukelele.
Создание электронного словаря
Многие проходят сложный путь через сохранение "вордовского" файла в html.
Пользуйтесь LibreOffice, там есть встроенный плагин Wiki Publisher:
В LibreOffice:
Файл --> Экспорт --> Тип файла: MediaWiki (.txt)
Получаем текстовый файл в вики-разметке:
Далее уже наверное всё понятно: "найти и заменить" и регулярные выражения вам в помощь!
Для онлайн-словарей мы используем движок Glossword. Для того, чтобы импортировать словарь, его нужно представить в виде XML-файла. Например, нанайско-русский словарь 1989 года будет выглядеть так: gld-rus.xml. После того, как он импортирован, например, в "Онлайн-словари FU-Lab": Нанайско-русский словарь (1989), а русско-нанайский словарь rus-gld.xml соответственно: Русско-нанайский словарь (1989).
Обратите внимание, в Glossword можно создавать виртуальные клавиатуры (чтобы запустить, нажмите на значок клавиатуры, который находится рядом с значком "Поиск):
Для офлайн-работы мы обычно словари переводим в DSL-формат. Нанайско-русский и русско-нанайский словари 1989 года в DSL-формате находятся в этой папке: nanairus.
Для гаджетов с андроид мы обычно используем бесплатную версию GoldenDict, которую можно скачать и установить с Play Market. Правда, в одно время в Play Market исчезла было бесплатная версия. Пользователи уже подумывали перейти на ColorDict. Но, по состоянию на сегодняшнее число бесплатная версия GoldenDict есть. И к этой программе-оболочке для электронных словарей можно подключить папку с нанайскими словарями nanairus:
Не все пользователи смогут самостоятельно подключить скачанную папку со словарями к GoldenDict. Обратитесь к Григорию Григорьеву, может он вам напишет андроид-приложение и разместит его в Play Market...
Проблемы с Google Play
Раньше для гаджетов с Android мы делали приложения, которые скачивали папки со словарями в DSL-формате и подключали их к GoldenDict (к платной или бесплатной версии). А если у пользователя на гаджете не было приложения GoldenDict, то наши приложения скачивали бесплатную версию этой оболочки для электронных словарей и подключали необходимые словари. Например, марийско-русский словарь.
Но с недавнего времени в Google Play перестали размещаться приложения сделанные таким образом, например, нанайско-русский и русско-нанайские электронные словари.
Пытаться приспособить наши словари к приложениям типа ColorDict нет смысла, вдруг опять поменяются правила. Выход один: перегнать наши словари в XML или JSON. Вот тут собственно в XML-формате русско-нанайский и нанайско-русский словари.
Теперь дело осталось за малым: написать свою оболочку для электронных словарей и разместить её в Google Play...


