Языковые данные и лицензии
На этой странице — источники словарей, словоформ и n-грамм, которые использует клавиатура AiKeyBot, и условия их распространения.
AiKeyBot использует открытые языковые данные. Ниже — источники, лицензии и изменения. Это не юридическая консультация: перед публикацией в RuStore проверьте notices с юристом.
Русский словарь и словоформы
- Источник частот: FrequencyWords / OpenSubtitles,
- Морфология: OpenCorpora через
pymorphy3-dicts-ru; - Изменения: из исходного частотного списка (68 624 слова) сгенерированы
- Лицензия производного словаря: CC BY-SA (3.0/4.0); при распространении
- Генератор:
keyboard/tools/generate_ru_assets.py;dictionary_forms.txt - Публичная копия производного словаря: https://aikeybot.ru/legal/dictionaries
<https://github.com/hermitdave/FrequencyWords>, CC BY-SA 4.0.
код pymorphy3 — MIT, данные — CC BY-SA 3.0.
словоформы по словарю OpenCorpora, затем оставлены только формы, которые встречаются в полном частотном списке FrequencyWords/OpenSubtitles (частота ≥ 2). Итог — 108 963 формы. Новые слова «по правилам» не придумывались: только формы из OpenCorpora, подтверждённые корпусом. Частота формы взята из корпуса (2…1000).
приложения укажите атрибуцию и предоставьте доступ к производному словарю.
отфильтрован по полному FrequencyWords (freq ≥ 2), dictionary_lemmas.txt хранит основные формы для порядка подсказок.
Символьные и словесные n-граммы
- Символьные 3–5-граммы посчитаны по словарю выше (CC BY-SA).
- Словесные биграммы: Leipzig Corpora Collection,
rus_news_2020_10K,
Universität Leipzig, CC BY 4.0, <https://wortschatz.uni-leipzig.de/en/download/Russian>. Из корпуса взяты только пары соседних слов и их частоты; тексты не распространяются.
Что не используется
- Словари, модели и данные Gboard не используются: они проприетарные.
- Закрытые словари и корпуса без совместимой лицензии не подключались.
Файлы в APK
keyboard/app/src/main/assets/swipe/dictionary.txt— FrequencyWords.keyboard/app/src/main/assets/swipe/dictionary_forms.txt— OpenCorpora.keyboard/app/src/main/assets/swipe/char_*grams.txt— производные.keyboard/app/src/main/assets/swipe/bigrams.txt— Leipzig.keyboard/app/src/main/assets/swipe/NOTICE.txt— краткая версия этого файла.