-
English
-
Russian
-
German
-
French
-
Italian
-
Greek
-
English
-
Russian
-
German
-
French
-
Italian
-
Greek
Tokenisation
Translation of "tokenisation" into Russian
tokenisation
Noun
UK
/ˌtəʊkənaɪˈzeɪʃən/
US
/ˌtoʊkənəˈzeɪʃən/
Usually an uncountable process noun; plural tokenisations can be used for distinct instances or methods.
Термин в области лингвистики, NLP и обработки данных.
Tokenisation is the first step in many natural language processing pipelines.
Токенизация — первый шаг во многих конвейерах обработки естественного языка.
Definitions
tokenisation
Noun
UK
/ˌtəʊkənaɪˈzeɪʃən/
US
/ˌtoʊkənəˈzeɪʃən/
the process of dividing text, data, or another sequence into separate tokens for analysis, processing, or representation
Tokenisation is the first step in many natural language processing pipelines.
Idioms and phrases
word tokenisation
Word tokenisation is usually the first step in natural language processing.
токенизация слов
Токенизация слов обычно является первым шагом в обработке естественного языка.
sentence tokenisation
Sentence tokenisation helps the system split the text into individual sentences.
токенизация предложений
Токенизация предложений помогает системе разбивать текст на отдельные предложения.
tokenisation process
The tokenisation process converts raw text into smaller units.
процесс токенизации
Процесс токенизации преобразует необработанный текст в более мелкие единицы.
tokenisation method
This tokenisation method works well for informal online language.
метод токенизации
Этот метод токенизации хорошо подходит для неформального языка в интернете.
tokenisation algorithm
The tokenisation algorithm must handle punctuation correctly.
алгоритм токенизации
Алгоритм токенизации должен правильно обрабатывать знаки препинания.
tokenisation strategy
A good tokenisation strategy can improve search accuracy.
стратегия токенизации
Хорошая стратегия токенизации может улучшить точность поиска.
tokenisation scheme
The tokenisation scheme depends on the structure of the language.
схема токенизации
Схема токенизации зависит от структуры языка.
tokenisation rules
Different tokenisation rules may produce different results for the same text.
правила токенизации
Разные правила токенизации могут давать разные результаты для одного и того же текста.
tokenisation technique
This tokenisation technique is widely used in text analysis.
метод токенизации
Этот метод токенизации широко используется в анализе текста.
tokenisation pipeline
The tokenisation pipeline comes before parsing and classification.
конвейер токенизации
Конвейер токенизации предшествует разбору и классификации.
tokenisation model
The tokenisation model was trained on a large multilingual corpus.
модель токенизации
Модель токенизации была обучена на большом многоязычном корпусе.
tokenisation system
The tokenisation system needs to support multiple languages.
система токенизации
Система токенизации должна поддерживать несколько языков.