nltk Handledning
Komma igång med nltk

Anmärkningar

versioner

Med NLTK

Du kan använda NLTK (speciellt paketet nltk.tokenize ) för att utföra detektering av meningsgränser:

import nltk
text = "This is a test. Let's try this sentence boundary detector."
text_output = nltk.tokenize.sent_tokenize(text)
print('text_output: {0}'.format(text_output))

Produktion:

text_output: ['This is a test.', "Let's try this sentence boundary detector."]

Installation eller installation

NLTK kräver Python versionerna 2.7 eller 3.4+ .

Dessa instruktioner överväger python - 3.5

• Mac / Unix:

  1. Installera NLTK: kör sudo pip install -U nltk
  2. Installera Numpy (valfritt): kör sudo pip install -U numpy
  3. Testinstallation: kör python och skriv sedan import nltk

  OBS: För äldre versioner av Python kan det vara nödvändigt att installera setuptools (se http://pypi.python.org/pypi/setuptools) och installera pip (sudo easy_install pip).

• Windows:

  Dessa instruktioner antar att du inte redan har Python installerat på din maskin.

  32-bitars binär installation

  1. Installera Python 3.5: http://www.python.org/downloads/ (undvik 64-bitarsversionerna)
  2. Installera Numpy (valfritt): http://sourceforge.net/projects/numpy/files/NumPy/ (versionen som anger pythnon3.5)
  3. Installera NLTK: http://pypi.python.org/pypi/nltk
  4. Testinstallation: Start>Python35 , skriv sedan import nltk

• Installera programvara från tredje part:

  Se: https://github.com/nltk/nltk/wiki/Installing-Third-Party-Software

Referens: http://www.nltk.org/install.html

NLTK: s nedladdningsfunktion

Du kan installera NLTK via pip ( pip install nltk ). Efter att den är installerad kommer många komponenter inte att finnas, och du kommer inte att kunna använda några av NLTK: s funktioner.

Från ditt Python-skal kör du funktionen ntlk.download() att välja vilka ytterligare paket du vill installera med UI. Alternativt kan du använda python -m nltk.downloader [package_name] .

• För att ladda ner alla tillgängliga paket.

nltk.download('all')

• För att ladda ner specifikt paket.

nltk.download('package-name')

• För att ladda ner alla paket med en specifik mapp.

import nltk

dwlr = nltk.downloader.Downloader()

# chunkers, corpora, grammars, help, misc, 
# models, sentiment, stemmers, taggers, tokenizers
for pkg in dwlr.packages():
    if pkg.subdir== 'taggers':
        dwlr.download(pkg.id)

• För att ladda ner alla paket utom Corpora Folder.

import nltk

dwlr = nltk.downloader.Downloader()

for pkg in dwlr.corpora():
    dwlr._status_cache[pkg.id] = 'installed'

dwlr.download('all')

NLTK installation med Conda.

För att installera NLTK med Continuums anaconda / conda .

Om du använder Anaconda, skulle antagligen nltk redan laddats ner i roten (även om du fortfarande kan behöva ladda ner olika paket manuellt).

Använda conda :

conda install nltk 

För att uppgradera nltk med conda :

conda update nltk

Med anaconda :

Om du använder flera pythonmiljöer i anaconda, aktivera först miljön där du vill installera nltk. Du kan kontrollera det aktiva miljön med kommandot

conda info --envs

Miljön med * -tecknet före katalogvägen är den aktiva. För att ändra användningen av aktivt miljö

activate <python_version>
for eg. activate python3.5

Kontrollera nu listan över paket installerade i det här miljön med kommnad

conda list

Om du inte hittar 'nltk' i listan, använd

conda install -c anaconda nltk=3.2.1

För ytterligare information, se https://anaconda.org/anaconda/nltk .

Så här installerar du mini-conda aka conda : http://conda.pydata.org/docs/install/quick.html

Så här installerar du anaconda : https://docs.continuum.io/anaconda/install

Grundläggande villkor

Corpus

Textens kropp, singular. Corpora är flertalet av detta. Exempel: En samling medicinska tidskrifter.

Lexikon

Ord och deras betydelse. Exempel: Engelsk ordbok. Tänk dock på att olika fält har olika leksikon. Till exempel: För en finansiell investerare är den första betydelsen för ordet "Bull" någon som är säker på marknaden jämfört med det vanliga engelska lexikonet, där den första betydelsen för ordet "Bull" är ett djur. Som sådan finns det ett speciellt lexikon för finansiella investerare, läkare, barn, mekanik och så vidare.

Tecken

Varje "enhet" som är en del av vad som helst delades upp baserat på regler. Som exempel är varje ord ett symbol när en mening "tokeniseras" till ord. Varje mening kan också vara ett symbol, om du markerar meningarna i ett stycke.