AiKeyBot

Языковые данные и лицензии

На этой странице — источники словарей, словоформ и n-грамм, которые использует клавиатура AiKeyBot, и условия их распространения.

AiKeyBot использует открытые языковые данные. Ниже — источники, лицензии и изменения. Это не юридическая консультация: перед публикацией в RuStore проверьте notices с юристом.

Русский словарь и словоформы

  • Источник частот: FrequencyWords / OpenSubtitles,
  • <https://github.com/hermitdave/FrequencyWords>, CC BY-SA 4.0.

  • Морфология: OpenCorpora через pymorphy3-dicts-ru;
  • код pymorphy3 — MIT, данные — CC BY-SA 3.0.

  • Изменения: из исходного частотного списка (68 624 слова) сгенерированы
  • словоформы по словарю OpenCorpora, затем оставлены только формы, которые встречаются в полном частотном списке FrequencyWords/OpenSubtitles (частота ≥ 2). Итог — 108 963 формы. Новые слова «по правилам» не придумывались: только формы из OpenCorpora, подтверждённые корпусом. Частота формы взята из корпуса (2…1000).

  • Лицензия производного словаря: CC BY-SA (3.0/4.0); при распространении
  • приложения укажите атрибуцию и предоставьте доступ к производному словарю.

  • Генератор: keyboard/tools/generate_ru_assets.py; dictionary_forms.txt
  • отфильтрован по полному FrequencyWords (freq ≥ 2), dictionary_lemmas.txt хранит основные формы для порядка подсказок.

  • Публичная копия производного словаря: https://aikeybot.ru/legal/dictionaries

Символьные и словесные n-граммы

  • Символьные 3–5-граммы посчитаны по словарю выше (CC BY-SA).
  • Словесные биграммы: Leipzig Corpora Collection, rus_news_2020_10K,
  • Universität Leipzig, CC BY 4.0, <https://wortschatz.uni-leipzig.de/en/download/Russian>. Из корпуса взяты только пары соседних слов и их частоты; тексты не распространяются.

Что не используется

  • Словари, модели и данные Gboard не используются: они проприетарные.
  • Закрытые словари и корпуса без совместимой лицензии не подключались.

Файлы в APK

  • keyboard/app/src/main/assets/swipe/dictionary.txt — FrequencyWords.
  • keyboard/app/src/main/assets/swipe/dictionary_forms.txt — OpenCorpora.
  • keyboard/app/src/main/assets/swipe/char_*grams.txt — производные.
  • keyboard/app/src/main/assets/swipe/bigrams.txt — Leipzig.
  • keyboard/app/src/main/assets/swipe/NOTICE.txt — краткая версия этого файла.