Свойства объекта
| Дескриптор | |
| название | token |
| язык | английский |
| релятор | corpus linguistics |
| определение 1 | A single linguistic unit, most often a word, although depending on the encoding system being used, a single word can be split into more than one token, for example he’s (he + ’s). |
| автор словарной статьи | Хохлова М.В. |
Связи объекта |
|
| Ассоциируется с (RelatedTerm) | |
| Дескриптор | |
| token (informatics) | |
| tokenization | |
| word | |
| Дается определение в (SourceDef) | |
| Источник | определение |
| Книга Baker P., Hardie A. and McEnery T. | 1 |
| Подобласть знаний(SubArea) | |
| Подобласть знаний | |
| 2.1.1. Сегментация текста – Text Segmentation | |
| 2.1.2. Морфологический анализ/синтез - Morphological analysis/synthesis | |
| Эквивалент на другом языке (Trans) | |
| Дескриптор | |
| токен (корпусная лингвистика) | |