-
Englisch
-
Russisch
-
Deutsch
-
Französisch
-
Italian
-
Greek
-
Englisch
-
Russisch
-
Deutsch
-
Französisch
-
Italian
-
Greek
Tokenization
Übersetzung von "tokenization" ins Russisch
tokenization
Substantiv
UK
/ˌtəʊkənaɪˈzeɪʃən/
US
/ˌtoʊkənəˈzeɪʃən/
UK
/ˌtəʊkənaɪˈzeɪʃən/
US
/ˌtoʊkənəˈzeɪʃən/
Primarily denotes a process or result; can be used as a countable or uncountable noun.
Термин в области ИТ, обработки текста и информационной безопасности.
Tokenization is the first step in many natural language processing systems.
Токенизация — это первый шаг во многих системах обработки естественного языка.
tokenization
Adjektiv
Relational adjective used attributively, meaning 'relating to tokenization'.
Weitere Übersetzungen
токенизационный
Техническое прилагательное; в живой русской речи часто передаётся конструкцией с существительным: «правила токенизации». Definitionen
tokenization
Substantiv
The process or result of dividing text, data, or another sequence into tokens.
Tokenization is the first step in many natural language processing systems.
In data security, the process of replacing sensitive information with substitute tokens.
The payment platform uses tokenization to protect customer card numbers.
tokenization
Adjektiv
Relating to tokenization or intended for tokenization.
The tokenization rules depend on the language and the application.
Redewendungen und Phrasen
word tokenization
Word tokenization is the first step in many natural language processing tasks.
токенизация слов
Токенизация слов — первый шаг во многих задачах обработки естественного языка.
sentence tokenization
Sentence tokenization helps divide a paragraph into individual sentences.
токенизация предложений
Токенизация предложений помогает разделить абзац на отдельные предложения.
text tokenization
Text tokenization makes it easier to analyze large documents automatically.
токенизация текста
Токенизация текста облегчает автоматический анализ больших документов.
subword tokenization
Subword tokenization is useful for handling rare words and misspellings.
субсловная токенизация
Субсловная токенизация полезна для обработки редких слов и опечаток.
character tokenization
Character tokenization can be effective for languages with complex morphology.
токенизация на уровне символов
Токенизация на уровне символов может быть эффективной для языков со сложной морфологией.
tokenization process
The tokenization process converts raw text into smaller units.
процесс токенизации
Процесс токенизации преобразует сырой текст в более мелкие единицы.
tokenization method
This tokenization method works well for social media text.
метод токенизации
Этот метод токенизации хорошо подходит для текстов в социальных сетях.
tokenization algorithm
The tokenization algorithm must handle punctuation correctly.
алгоритм токенизации
Алгоритм токенизации должен корректно обрабатывать пунктуацию.
tokenization strategy
A good tokenization strategy depends on the language and the task.
стратегия токенизации
Хорошая стратегия токенизации зависит от языка и задачи.
tokenization scheme
The tokenization scheme used in the model is based on subwords.
схема токенизации
Схема токенизации, используемая в модели, основана на субсловах.
tokenization step
The tokenization step comes before parsing and tagging.
этап токенизации
Этап токенизации предшествует синтаксическому разбору и тегированию.
tokenization pipeline
Our tokenization pipeline includes cleaning, splitting, and normalization.
конвейер токенизации
Наш конвейер токенизации включает очистку, разбиение и нормализацию.