nltk => Tokenizing

Вступление

Это относится к расщеплению предложений и слов из текста текста в токены предложения или токены соответственно. Это неотъемлемая часть НЛП, так как многие модули работают лучше (или только) с тегами. Например, pos_tag нуждается в тегах в качестве входных данных, а не в словах, чтобы пометить их по частям речи.

Приговор и токенизация слова из данного параграфа

from nltk.tokenize import sent_tokenize, word_tokenize
example_text = input("Enter the text:  ")

print("Sentence Tokens:")
print(sent_tokenize(example_text))

print("Word Tokens:")
print(word_tokenize(example_text))

Modified text is an extract of the original Stack Overflow Documentation

Лицензировано согласно CC BY-SA 3.0

Не связан с Stack Overflow

nltk
Tokenizing

Поиск…

Вступление

Приговор и токенизация слова из данного параграфа