Свойства объекта
| Дескриптор | |
| название | tokenization |
| язык | английский |
| релятор | |
| определение 1 | The process of segmenting text into linguistic units such as words, punctuations, numbers, alphanumerics etc. |
| автор словарной статьи | Соколова Е.Г. |
Связи объекта |
|
| Ассоциируется с (RelatedTerm) | |
| Дескриптор | |
| lemmatization | |
| pos-tagged corpus | |
| Встречается дескриптор в разделе источника (SourceDescriptorPart) | |
| Источник | Раздел источника |
| Учебник-обзор Mitkov R. (ed) 2003 | глоссарий |
| Дается определение в (SourceDef) | |
| Источник | определение |
| Учебник-обзор Mitkov R. (ed) 2003 | 1 |
| Подобласть знаний(SubArea) | |
| Подобласть знаний | |
| 2.1.1. Сегментация текста – Text Segmentation | |
| Эквивалент на другом языке (Trans) | |
| Дескриптор | |
| сегментация текста | |