Tokenize

/ˈtəʊkənaɪz/

/ˈtoʊkənaɪz/

Перевод tokenize на русский язык

Глагол

/ˈtəʊkənaɪz/

/ˈtoʊkənaɪz/

tokenized tokenized tokenizing

The software can tokenize the text for further analysis.

Программа может токенизировать текст для дальнейшего анализа.

Дополнительные переводы

Глагол

/ˈtəʊkənaɪz/

/ˈtoʊkənaɪz/

To break down text into smaller components, typically words or phrases, for processing in computational linguistics or natural language processing.

The software was designed to tokenize the input text before analyzing its syntax.

tokenize text

The software was designed to tokenize text for natural language processing.

разбить текст на токены

Программное обеспечение было разработано для того, чтобы разбивать текст на токены для обработки естественного языка.

tokenize data

We need to tokenize data to analyze it more effectively.

разбить данные на токены

Нам нужно разбить данные на токены для более эффективного анализа.

tokenize input

The script will tokenize input to ensure each word is processed individually.

разбить входные данные на токены

Скрипт разобьет входные данные на токены, чтобы каждый слово обрабатывалось отдельно.

tokenize string

Developers often tokenize strings to manipulate or analyze the contents.

разбить строку на токены

Разработчики часто разбивают строки на токены для манипуляции или анализа содержимого.

tokenize document

The function can tokenize documents to simplify search operations.

разбить документ на токены

Функция может разбивать документы на токены для упрощения поисковых операций.