Метод токенизации

Translation of "метод токенизации" into English

Мы изучили новый метод токенизации текста.

We studied a new method of text tokenization.