nltk
creazione di token
Ricerca…
introduzione
Si riferisce alla divisione di frasi e parole dal corpo del testo in token di frase o token di parole rispettivamente. È una parte essenziale della PNL, poiché molti moduli funzionano meglio (o solo) con i tag. Ad esempio, pos_tag ha bisogno di tag come input e non di parole, per taggarli per parti del discorso.
Tokenizzazione di frasi e parole dal paragrafo fornito dall'utente
from nltk.tokenize import sent_tokenize, word_tokenize
example_text = input("Enter the text: ")
print("Sentence Tokens:")
print(sent_tokenize(example_text))
print("Word Tokens:")
print(word_tokenize(example_text))
Modified text is an extract of the original Stack Overflow Documentation
Autorizzato sotto CC BY-SA 3.0
Non affiliato con Stack Overflow