精华内容
下载资源
问答
  • nltk_data手动安装

    千次阅读 2019-11-02 12:13:53
    背景介绍 NLTK简单说明 自然语言工具包(Natural Language Toolkit,NLTK)是一个Python 库,用于识别和标记英语文本中各个词...准备工作:安装NLTK模块 NLTK 模块的安装方法和其他Python 模块一样: 要么从NLTK ...

    背景介绍

    NLTK简单说明
    自然语言工具包(Natural Language Toolkit,NLTK)是一个Python 库,用于识别和标记英语文本中各个词的词性(parts of speech)。这个项目于2000 年创建,经过15 年的发展,由来自世界各地的几十个开发者共同努力维护。

    准备工作:安装NLTK模块

    NLTK 模块的安装方法和其他Python 模块一样:

    • 要么从NLTK 网站直接下载安装包进行安装
    • 要么在anaconda里的environment、pycharm等,都可以通过关键词搜索“nltk”安装。

    安装完NLTK库的时候,就要开始安装NLTK自带的文本库 nltk_data。两种安装方法

    第一种:

    jupyter或命令窗口下:

    >>>import nltk
    
    >>>nltk.download()# 进入downloader下载器进行下载我们需要的文本库
    
    >>>nltk.download('punkt')# 下载指定的文本库

    说明:这里默认是安装路径是C盘,当然路径是可以改变的,但改变了路径是否能生效?所以这里我们就当且默认安装到C盘

    问题:我的电脑每次都会download error,估计是下载源地址是国外网站导致访问超时。所以打算手动下载。

    第二种:

    问题:下载好的nltk_data文件应该存储在哪才能生效?

    我们可以进行反测试得出问题所在,换句话说就是先写一个没有安装文本库的一个测试语句,例如下图
    这样我们就根据报错提示就可以知道自己需要将离线的安装包存储在哪里!

    这里写图片描述

    说明:将里面的文件都要解压

    自己后面下载的包,一定要放到指定位置上,比如punkt.zip,那么就移动到tokenizers下进行解压。

    展开全文
  • python手动安装nltk数据包 nltk.download()安装 先来看看自动安装 1.安装nltk。在有pip这些工具的情况下,安装这些库变得非常简单: pip install nltk 2.安装nltk_data。nltk_data是必要的nltk数据包,实现分词,...

    python手动安装nltk数据包

    nltk.download()安装

    先来看看自动安装
    1.安装nltk。在有pip这些工具的情况下,安装这些库变得非常简单:

    pip install nltk
    

    2.安装nltk_data。nltk_data是必要的nltk数据包,实现分词,词性标注,命名实体识别等功能都要用到这个数据包:

    进入Python Shell后只需要两句就可以进入nltk_data的下载

    import nltk
    nltk.download()
    

    之后会弹出一个界面
    如果报了11004的error:
    在这里插入图片描述
    这是因为nltk.download()下载连接不上
    在C:\Windows\System32\drivers\etc中找到hosts文件
    其中添加199.232.68.133 raw.githubusercontent.com 映射

    199.232.68.133 raw.githubusercontent.com
    

    再打开就是这样的
    在这里插入图片描述
    选择你要安装的库然后点右下角的download就可以了

    手动安装

    由于用nltk.download()下载实在太慢或者老是断开根本下不动,所以大多数情况下我们选择手动安装:
    手动安装我们就需要去下载nltk_data包
    我们可以去github下载packages,这下面的所有内容就是我们要的数据包
    github:https://github.com/nltk/nltk_data.

    然后是网盘
    2019年5月30日最后更新
    链接:https://pan.baidu.com/s/1iJGCrz4fW3uYpuquB5jbew 提取码:o5ea
    注:如果链接失效,请各位去Github下载哈
    第二个:
    链接:https://pan.baidu.com/s/1ekdZl1ows34n02mMGLx9jA 密码:zn68

    把网盘下载到的东西解压,重命名为nltk_data
    然后查看你应该把它放到哪个路径下,查看路径的方法:

    import nltk
    from nltk.book import  *
    

    就会出现这样一段路径,这是告诉我们它从哪些路径去查找nltk的包,然后我们把解压的nltk_data文件夹放在下面任意目录下
    在这里插入图片描述
    再输入from nltk.book import *出现这样的就说明安装配置成功
    在这里插入图片描述

    展开全文
  • 手动安装Python NLTK语言包

    千次阅读 2019-11-28 09:26:20
    本人在学习NLTK之初,为安装nltk的语言数据集。可谓撒费苦心,最终失败。但我都是按照书上的说明做的呀,怎么就是安装不了呢? >>> import nltk >>> nltk.download() 经分析,发现是默认的下载...

    本人在学习NLTK之初,为安装nltk的语言数据集。可谓撒费苦心,最终失败。但我都是按照书上的说明做的呀,怎么就是安装不了呢?

    >>> import nltk
    >>> nltk.download()

    经分析,发现是默认的下载器下载数据太慢太慢太慢了——根本就没动嘛,也没有任何进度提示。.于是我就找了度娘。找到了官网文档。

    http://www.nltk.org/data.html

    一直翻到最后,看到“Manual installation”。于是着手操作。

    但是当点开http://www.nltk.org/nltk_data/后,我傻眼了。107项,手动下载岂不是要把人累疯。于是想到用程序解决。

    第一步:找到所有包的链接。保存到csv文件,供下一步使用,代码如下:

    import pandas as pd
    import bs4 
    import requests
    import lxml
    
    xml = requests.get('https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml')
    html = bs4.BeautifulSoup(xml.text, 'lxml')
    packages = html.find_all('package')
    
    table_list = []
    for pp in packages:
        table_list.append({'name':pp['name'], 'url':pp['url']})
        
    df = pd.DataFrame(table_list)
    
    df.to_csv('nltk.csv')
    print('get nltk url Done!')

    第二步:使用下载工具下载数据文件。

    这里推荐迅雷,复制url后,能自动识别并下载。

    最后一步:定义解压文件的方法,处理url地址,解析出数据文件和文件所在的包(文件夹),并将文件解压。代码如下:

    import pandas as pd
    import zipfile
    import os
    
    def unzipfile(src_file, dest_dir, password=None):
        if password:
            password = password.encode()
        zf = zipfile.ZipFile(src_file)
        try:
            zf.extractall(path=dest_dir, pwd=password)
        except RuntimeError as e:
            print(e)
        finally:
            pass
        zf.close()
    
    
    df = pd.read_csv('nltk.csv')
    prefix = 'https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/packages/'
    
    def cuturl(url):
        folder = url[len(prefix):]
        return "../nltk_data/" + folder[:folder.find('/')] #"../nltk_data/"的设置要根据实际代码运行的位置和想要存放解压文件的路径决定
    
    def getfile(url):
        folder = url[len(prefix):]
        return "../nltk/" + folder[folder.find('/')+1:]  # ../nltk/ 的路径为下载工具下载的数据集文件所在路径
    
    df['destfolder'] = df['url'].map(lambda x: cuturl(x))
    df['zipfile'] = df['url'].map(lambda x: getfile(x))
    #df['destfolder'] = df['url'].map(lambda x: getfile(x))
    
    #开始根据df的信息进行解压操作
    for ff in df.values:
        #print(ff)
        print(ff[4],ff[3])
        if not os.path.exists(ff[4]):
            continue
        unzipfile(ff[4], ff[3])
    
    print('Done')

    PS:如何你指定的解压路径不是根目录,最后需要将整个nltk_data目录移到某个盘符的根目录下,不然nltk找不到文件。

    以上为在Windows 10下的安装步骤,供参考。

    展开全文
  • Python的Nltk安装使用

    千次阅读 2016-08-29 12:51:05
    Python的Nltk安装方法 http://www.nltk.org/install.html 使用 >>> import nltk  ... 太慢了,所以我先手动下载好,解压,放到/usr/local/share/nltk_data 目录下 [root@10-10-198-186 nl
    Python的Nltk包
    安装方法
    http://www.nltk.org/install.html


    使用
    1. >>> import nltk  
    2. >>> nltk.download()  


    nltk.download()  太慢了,所以我先手动下载好,解压,放到 /usr/local/share/nltk_data 目录下


    [root@10-10-198-186 nltk_data]# pwd
    /usr/local/share/nltk_data
    [root@10-10-198-186 nltk_data]# ls
    chunkers   corpora   grammers   help   stemmers   taggers   tokenizers

    即可
    执行下面测试
    1. >>> from nltk.book import  
    2. *** Introductory Examples for the NLTK Book ***  
    3. Loading text1, ..., text9 and sent1, ..., sent9  
    4. Type the name of the text or sentence to view it.  
    5. Type: 'texts()' or 'sents()' to list the materials.  
    6. text1: Moby Dick by Herman Melville 1851  
    7. text2: Sense and Sensibility by Jane Austen 1811  
    8. text3: The Book of Genesis  
    9. text4: Inaugural Address Corpus  
    10. text5: Chat Corpus  
    11. text6: Monty Python and the Holy Grail  
    12. text7: Wall Street Journal  
    13. text8: Personals Corpus  
    14. text9: The Man Who Was Thursday by Chesterton 1908  
    15. >>>   

    说明成功
    展开全文
  • Python NLTK WordNet的在线与手动安装方法

    千次阅读 多人点赞 2019-07-18 17:06:46
    nltk是自然语言处理中常用的包,在使用nltk进行处理的时候,会用到WordNet。 WordNet使用前一般需要先下载nltk的corpus import nltk nltk.download() 这样子会弹出如上窗口。,我这里是已经安装好的了,如果第...
  • nltk安装

    2020-10-14 10:53:32
    手动下载nltk_data包,网盘地址:地址 step 3: 在python下输入: from nltk.book import * 当出现: 需要把下载的数据放到以下之一的文件夹下: 再输入: from nltk.book import * 就完成了。 ...
  • 手动安装Python自然语言工具包NLTK

    千次阅读 2018-05-18 21:44:08
    安装首先下载nltk安装包:官方下载网址github下载地址1github下载地址2解压下载完成后,将文件解压放在D盘根目录。测试然后打开IDE进行测试:from nltk.book import *输出结果:*** Introductory Examples for the ...
  • TextBlob包和nltk安装

    2020-03-15 19:30:39
    win10手动安装TextBolb,nltk包。 首先将这两个压缩包解压到你环境下的Lib/site-packages下面。 每个人的环境都是不一样的所以不要抄,你只需要找到你的site-packages。 如果真的找不到就在命令行中直接下载,虽然...
  • 【Python】NLTK安装及常见问题指南

    万次阅读 多人点赞 2018-08-17 17:53:08
    NLTK库是Python中最为常用的NLP(自然语言处理)开源库,接下来介绍一下windows环境下该库的安装方法。 和其他的库一样,使用pip进行安装是最为方便的,在命令提示符中输入 pip install nltk 等读条结束即可...
  • NLP工具——NLTK 安装及使用

    千次阅读 2019-08-09 13:42:50
    文章目录1、介绍2、安装3.1 安装NLTK3.2 安装NLTK Data交互式安装通过命令行安装手动安装3、Demo4、使用4.1 搜索文本(Searching Text)4.2 统计词频4.3 WordNet 1、介绍 【官网】Natural Language Toolkit — NLTK ...
  • 发现一种离线安装方式(参考1,2),折腾配置成功了,步骤如下。 2. 具体步骤 下载nltk_data 下载链接: https://github.com/nltk/nltk_data/tree/gh-pages 注意下载branch为gh-pages,下载后得到:nltk_data-gh...
  • 清洗文本-NLTK 我们无法使用原始文本来拟合机器学习或深度学习模型。 我们需要首先清理文本,这意味着将其拆分为单词并处理标点和大小写。 实际上,我们可能需要使用一整套文本准备方法,而方法的选择实际上取决于...
  • (1)下载NLTK后,无法启动该程序。计算机提示:“api-ms-win-crt-string-|1-1-0.dl|”: 下载vc_redist.2015.x86和vc_redist.2015.x64进行安装。 (2)继续安装计算机提示“No python installation found in the...
  • nltk_data手动下载

    2021-03-13 14:25:35
    Nltk_Data手动下载方式 可以存放的路径 其中anaconda下的路径要放到代码具体运行的环境中才可以,上图中我的环境是py37_torch18,若是base环境,直接放到anaconda下即可。 github下载地址 ...
  • Windows系统下Python与NLTK安装

    千次阅读 2014-11-24 17:38:32
    1. 安装Python: https://www.python.org/downloads/
  • NLTK:离线安装punkt

    2020-12-17 10:44:45
    官方文档给出了各种安装方法,其中,提到了命令行安装指导: Command line installation The downloader will search for an existingnltk_datadirectory to install NLTK data. If one does not exist it will ...
  • 网上铺天盖地的说了很多关于nltk的说明,特别是后期nltk_data 手动下载操作,多数都不好使,这里整理 用pip安装nltk , 运行pip install nltk,等一段时间安装完成以后。进入IDLE界面(可以通过windows搜索栏查找,...
  • python安装nltk

    2021-01-13 17:00:42
    安装nltk_data时第一步第二步 第一步 直接在cmd控制台 pip install nltk 在python的交互环境中 执行import nltk nltk.downlaod(“punkt”)时 出现目标计算机拒绝了请求,出现的弹窗一片空白,没有内容,此时需要手动...
  • 当界面显示 successfully built nltk ,说明NLTK库已经安装成功了 ②下载NLTK的book数据包 成功安装NLTK库后,在anaconda prompt界面输入python进入交互模式(或者打开python编辑器spyder,新建一个新文件) 运行以下...
  • 测试环境:Ubuntu Kylin 14.04 Python版本:3.4.3 ...网上找到挺多安装nltk的教程,但经测试,好像都是适用于Python2的,对于Python3,就勉为其难了。这里的主要问题是,前辈们分享的nltk_data包是不兼容P...
  • nltk安装语料库wordNet报[nltk_data] Error loading wordnet: [Errno 111]
  • NLTK安装过程中遇到的坑 无法下载 按照网上的教程输入如下代码会报错 “Connection refused” import nltk nltk.download() 解决办法:手动下载数据文件,链接:...
  • 自动安装 进入cmd命令运行python,输入: import nltk nltk.download() 会打开一个新的窗口,此时有可能报错: [Errno 11004] getaddrinfo failed 解决方法: 在hosts文件中加入: ...ip可能会更换,可以使用...手动安装
  • NLTK安装及语料库包下载 使用命令 pip install nltk NLTK语料库和众多模块 可使用NLTK下载器安装 import nltk nltk.download() 运行后发现网页并不能成功打开,nltk语料库下载失败,报错:无法连接。又或者下载...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 852
精华内容 340
关键字:

nltk手动安装