Свойства объекта
| Дескриптор | |
| название | tokenization |
| язык | английский |
| релятор | |
| определение 1 | The task of separating out (tokenizing) words from running text. |
| автор словарной статьи | Хохлова М.В. |
Связи объекта |
|
| Ассоциируется с (RelatedTerm) | |
| Дескриптор | |
| corpus | |
| lemmatization | |
| token (corpus linguistics) | |
| Встречается дескриптор в (SourceDescriptor) | |
| Источник | частота |
| Книга Jurafsky D. and Martin J.H. | |
| Дается определение в (SourceDef) | |
| Источник | определение |
| Книга Jurafsky D. and Martin J.H. | 1 |
| Подобласть знаний(SubArea) | |
| Подобласть знаний | |
| 2.1.1. Сегментация текста – Text Segmentation | |
| 2.1.2. Морфологический анализ/синтез - Morphological analysis/synthesis | |
| Эквивалент на другом языке (Trans) | |
| Дескриптор | |
| графематический анализ | |