수색…
소개
문장과 단어를 문장 본문에서 문장 토큰 또는 단어 토큰으로 각각 분리하는 것을 의미합니다. 많은 모듈이 태그를 사용하여 더 잘 작동하므로 NLP의 필수 부분입니다. 예를 들어, pos_tag 는 품사 로 태그를 지정하기 위해 단어가 아닌 태그 를 입력으로 사용해야 합니다.
주어진 단락에서 문장 및 단어 토큰 화
from nltk.tokenize import sent_tokenize, word_tokenize
example_text = input("Enter the text: ")
print("Sentence Tokens:")
print(sent_tokenize(example_text))
print("Word Tokens:")
print(word_tokenize(example_text))
Modified text is an extract of the original Stack Overflow Documentation
아래 라이선스 CC BY-SA 3.0
와 제휴하지 않음 Stack Overflow