精华内容
参与话题
问答
  • Win10:Doccano的安装使用——NLP工具包

    千次阅读 热门讨论 2019-12-10 12:19:52
    NLP标注工具——doccano 大致功能:支持命名实体识别,情感分类,机器翻译任务,界面比较友好。 具体信息:Github win10 Python3.6 Installation 1.如果有Anaconda先用conda创建个虚拟环境,然后进入刚激活的...

    NLP标注工具——doccano

    大致功能:支持命名实体识别情感分类机器翻译任务,界面比较友好。

    具体信息:Github


    • win10
    • Python3.6

    Installation

    1.如果有Anaconda先用conda创建个虚拟环境,然后进入刚激活的环境

    # 装python3.6
    conda create -n doccano python=3.6
    activate doccano
    

    2.装doccano的依赖(就是requirements.txt文件)

    # 需要转换路径到requirements.txt所在目录
    # 直接复制就好,后面的是加速用的
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QWoyXqaY-1575951194477)(C:\Users\renco\AppData\Roaming\Typora\typora-user-images\12.9.2.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d77E3dkk-1575951194477)(C:\Users\renco\AppData\Roaming\Typora\typora-user-images\12.9.1.png)]

    3.make migrate

    # 记得先切换目录到该文件夹下
    python manage.py migrate
    

    4.注册账户信息

    如果直接复制下面内容:

    账号是:admin

    密码是:password

    也可以直接该,为了方便,直接复制就好

    # 记得先切换目录到该文件夹下
    python manage.py create_admin --noinput --username "admin" --email "admin@example.com" --password "password"
    

    5.创建要分配给用户的管理员、批注者和批注审批者角色

    # 记得先切换目录到该文件夹下
    python manage.py create_roles
    

    6.启动服务器

    # 记得先切换目录到该文件夹下
    python manage.py runserver
    

    然后会出来一个网址,输入到你的浏览器即可

    7.打开网址(这里我第一次装的时候报错了:点击跳转

    # 8000这里可能不太一样,按自己的来
    http://127.0.0.1:8000/login/
    

    8.登录

    用4步注册的账号密码

    9.以下就是使用,一张图描述(如果是下面这样就成功了)
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jEzkcOhF-1575951194478)(C:\Users\renco\AppData\Roaming\Typora\typora-user-images\12.9.7.png)]


    错误:(我就遇到这一个)

    # 我出现了下面的报错
    OSError: Error reading webpack-stats.json. Are you sure webpack has generated the file and the path is correct? [15/Mar/2019 15:38:47] "GET /favicon.ico HTTP/1.1" 500 125003
    

    解决以上错误:

    1. 先下载npm,安装,这里我就不具体了(记得加环境变量

      参考:http://www.mamicode.com/info-detail-2774322.html

      参考:https://www.cnblogs.com/luciolu/p/11993802.html

    2. 然后切换到**\doccano\app\server\static**路径下

      # 进入cmd或者conda命令下
      # 先运行用这个
      npm install
      
      # 再运行这个
      npm run build
      

      变化:原来文件里没有webpack-stats.json。现在有了。

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vStaYphy-1575951194478)(C:\Users\renco\AppData\Roaming\Typora\typora-user-images\12.9.8.png)]

    3. 然后关了再来一次就好,我就这么成功了。
      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vrFTdT9R-1575951194478)(C:\Users\renco\AppData\Roaming\Typora\typora-user-images\12.9.3.png)]

    “希望我的一丝丝经验,能对windows小伙伴有所帮助吧…”

    展开全文
  • Doccano(NLP标注)使用指南 在anaconda prompt中操作 进入doccano-master\app\server\static目录下; npm install; npm run build; activate doccano;(确保有doccano虚拟环境) 在 D:\doccano-master\app目录下...

    Doccano(NLP标注)使用指南

    anaconda prompt中操作

    进入doccano-master\app\server\static目录下;
    npm install;
    npm run build;
    activate doccano;(确保有doccano虚拟环境)
    在 D:\doccano-master\app目录下输入python manage.py runserver
    进入网址

    创建虚拟环境:conda create -n doccano python=3.6;
    activate doccano;
    转换路径:
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    切换目录:python manage.py migrate(在doccano-master/app目录下)
    注册账户:python manage.py create_admin --noinput --username “admin” --email “admin@example.com” --password “password”;
    创建管理员:python manage.py create_roles
    启动服务器:python manage.py runserver

    根据该链接提示操作

    展开全文
  • doccano 标注工具 全网最全安装部署采坑 最近研究nlp相关的序列标注工具,找到了doccano这个神奇的工作,下面记录下在安装部署doccano的各种神奇问题 1.doccano的用途 document classification 文本分类 sequence...

    doccano 标注工具 全网最全安装部署采坑

    最近研究nlp相关的序列标注工具,找到了doccano这个神奇的工作,下面记录下在安装部署doccano的各种神奇问题

    1.doccano的用途

    • document classification 文本分类
    • sequence labeling 序列标注,用于命名实体识别
    • sequence to sequence seq2seq,用于翻译
    • speech to text 语音转文本标注

    2. doccano的安装方式

    • 使用docker-compose部署
    • 直接使用docker安装
    • build from source 从源码编译

    3. docker-compose安装doccano

    环境说明: macOS 10.14

    官网推荐安装方式

    建议在安装前把docker的镜像地址修改为阿里云

    • 首先获取源码
    $ git clone https://github.com/doccano/doccano.git
    $ cd doccano
    
    • 安装
    $ docker-compose -f docker-compose.prod.yml up
    
    • 访问
    直接访问地址:http://127.0.0.1
    

    从docker安装还是很顺滑的基本没有什么问题,但是但是但是,说3遍,安装完成后的界面是这样的:
    在这里插入图片描述

    很明显,这个不是最新的版的,官网的解决方法如下,我试了几遍,发现并没有效果,为了获得最新版本,最终还是采用了从源码的方式来安装部署doccano

    1. Execute git pull to reflect the latest doccano.
    2. Delete the volume that doccano_node_modules, doccano_static_volume, doccano_venv and doccano_www. Do not delete doccano_postgres_data because it stores your projects data.
    3. Rebuild the doccano image.

    The following commands are the procedure for 2~3.

    ❯ docker volume ls
    DRIVER              VOLUME NAME
    local               doccano_node_modules
    local               doccano_postgres_data
    local               doccano_static_volume
    local               doccano_venv
    local               doccano_www
    ❯ docker volume rm doccano_node_modules doccano_static_volume doccano_venv doccano_www
    ❯ docker-compose -f docker-compose.prod.yml build --no-cache
    

    4. docker安装doccano

    这个方式官网没介绍,不过用过docker的同学应该能想到直接去docker镜像网站上去看有没有相关的镜像发布

    • 拉取镜像
    docker pull chakkiworks/doccano
    
    • 创建容器
    docker container create --name doccano \
      -e "ADMIN_USERNAME=admin" \
      -e "ADMIN_EMAIL=admin@example.com" \
      -e "ADMIN_PASSWORD=password" \
      -p 8000:8000 chakkiworks/doccano
    
    • 启动容器
    docker container start doccano
    
    • 访问地址
    直接访问地址:http://127.0.0.1:8000
    

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tIKCw6Td-1592452841829)(/Users/lihang/Library/Application Support/typora-user-images/image-20200618111205742.png)]

    备注:停止容器 docker container stop doccano -t 5

    5. 源码安装doccano

    环境说明:一台什么都没有的centos,从零开始安装

    • centos7.5
    • python3.6.1
    • node14.4
    5.1 安装python环境
    • 下载
    wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz
    
    • 安装前安装依赖包
    yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel
    
    • 解压编译安装
    tar -zxvf Python-3.6.1.tgz
    ./configure prefix=/usr/local/python3
    make && make install
    
    • 添加软连接
    ln -s /usr/local/python3/bin/python3.6 /usr/bin/python3
    ln -s /usr/local/python3/bin/pip3.6 /usr/bin/pip3
    
    • 使用virtualenv虚拟环境
    pip3 install virtualenv
    ln -s /usr/local/python3/bin/virtualenv /usr/bin/virtualenv
    virtualenv --python=/usr/bin/python3 annotation
    cd annotation&&cd bin
    source activate
    
    5.2 安装node环境
    • 下载
    wget https://cdn.npm.taobao.org/dist/node/v14.4.0/node-v14.4.0-linux-x64.tar.xz
    
    • 解压
    tar -xvf node-v14.4.0-linux-x64.tar.xz   
    mv node-v14.4.0-linux-x64  /usr/local/nodejs
    
    • 建立软连接
    ln -s /usr/local/nodejs/bin/npm /usr/local/bin/ 
    ln -s /usr/local/nodejs/bin/node /usr/local/bin/
    
    • 检验是否安装成功
    node -v
    

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R8K5oYGS-1592452841832)(/Users/lihang/Library/Application Support/typora-user-images/image-20200618113205152.png)]

    5.3 安装doccano

    说明:

    pip可以使用清华镜像源

    npm可以使用阿里的镜像源

    pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --default-timeout=1000
    npm install  --registry=https://registry.npm.taobao.org
    
    • 拉取代码
    # clone repository
    git clone https://github.com/doccano/doccano.git
    
    • python 相关包安装
    # Python settings
    cd doccano/app
    pip install -r requirements.txt
    python manage.py migrate
    python manage.py create_roles
    python manage.py createsuperuser
    python manage.py runserver
    
    • 前端相关包安装
    # Node settings
    cd ../frontend
    rm -f package-lock.json
    npm install
    npm run start
    

    这里碰到好些问题,由于是台空的centos,很多都依赖都没安装,建议在npm install之前安装下面的命令,每一条都是血和泪

    yum install mysql-devel gcc gcc-devel python-devel
    yum install postgresql-devel*
    yum install -y gcc-c++
    yum install unixODBC-devel
    

    还有一个重点,如果碰到提示node-fibre这个库安装不上,请使用普通用户安装npm install

    使用npm install还会出现类似这个问题:

    ERROR in ./.nuxt/client.js
    Module not found: Error: Can't resolve 'core-js/modules/es6.array.find' in '/src/frontend/.nuxt'
    [...]
    

    解决方法:npm install core-js@2.x

    原因是3.x版本过高


    当你看到这个界面的时候,是不是感觉终于大功告成了

    然鹅,当你打开127.0.0.1:3000的时候,界面是这样的,并不是最新版的demo

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CCaiwDCw-1592452841848)(/Users/lihang/Library/Application Support/typora-user-images/image-20200618110330459.png)]

    通过查看源码,发现其实在app目录下还有一个static文件,里面是有前端资源的,直接访问127.0.0.1:8000,可正常登陆,也是最新的界面,但是点到project目录是空的,这说明需要去app的static目录下重新打包

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dWqFA2f0-1592452841852)(/Users/lihang/Library/Application Support/typora-user-images/image-20200618114455165.png)]

    • 重新安装依赖
    cd app/server/static
    npm install
    

    不出意外会提示:

    OSError at /
    Error reading /doccano/app/server/static/webpack-stats.json. Are you sure webpack has generated the file and the path is correct?
    

    解决方法:

    docker run -d --name doccano -p 80:8000 chakkiworks/doccano
    docker cp doccano:/doccano/app/server/static/webpack-stats.json .
    

    然后将拷贝出来的webpack-stats.json上传到服务器,npm install 就成功了

    • 打包
    npm run build
    

    这里有可能会提示

    ERROR in ./components/stats.vue?vue&type=script&lang=js& (./node_modules/vue-loader/lib??vue-loader-options!./components/stats.vue?vue&type=script&lang=js&)
    Module not found: Error: Can't resolve 'vue-chartjs/es/BaseCharts/Doughnut' in '/Users/fatih/Desktop/Projects/AI/doccano/app/server/static/components'
     @ ./components/stats.vue?vue&type=script&lang=js& (./node_modules/vue-loader/lib??vue-loader-options!./components/stats.vue?vue&type=script&lang=js&) 36:0-58 76:11-19
     @ ./components/stats.vue?vue&type=script&lang=js&
     @ ./components/stats.vue
     @ ./pages/stats.js
    

    类似这种错误,解决方法:

    npm install vue-charjs@2.x
    

    然后重新执行npm run build 就大功告成了

    • 启动服务
    python manage.py runserver 0.0.0.0:8000
    

    注意这里设置ip和端口,否则访问不了对应的网页

    第四部分有点乱,大家将就着看吧

    展开全文
  • 安装标注工具——doccano

    千次阅读 2019-11-11 16:09:13
    安装标注工具——doccano doccano可以进行命名实体标注,情感极性标注以及语言翻译标注,基本满足NLP里的经典识别场景。安装启动步骤: 首先我们需要安装依赖项。运行以下命令: sudo apt-get install libpq-dev ...

    安装标注工具——doccano

    doccano可以进行命名实体标注,情感极性标注以及语言翻译标注,基本满足NLP里的经典识别场景。
    安装启动步骤

    1. 首先我们需要安装依赖项。运行以下命令:
    sudo apt-get install libpq-dev
    pip install -r requirements.txt
    cd app
    

    但是在第二步会遇到问题,有以下问题:
    1)首先需要升级Python版本到3.5.3以上。
    Python版本升级请看安装python3.6并安装pip3.6
    2)Failed building wheel for psycopg2

    pip3.6 install psycopg2-binary==2.8.3
    

    3)ERROR: Failed building wheel for pyodbc

    sudo apt-get install python3.6-dev
    sudo apt-get install unixodbc-dev
    python3.6 -m pip install pyodbc
    

    2.接下来我们需要启动webpack服务器,这样前端就可以连续编译了。在新的shell中运行以下命令:

    cd server/static
    npm install
    npm run build
    # npm start  # for developers
    cd ..
    

    3.在运行之前,我们需要进行迁移(migrate)。运行以下命令:

    python manage.py migrate
    

    4.接下来我们需要创建一个用户谁可以登录到管理网站。运行以下命令:

    python manage.py create_admin --noinput --username "admin" --email "admin@example.com" --password "password"
    

    5.创建要分配给用户的管理员、批注者和批注审批者角色。运行以下命令:

    python manage.py create_roles
    

    6.最后,要启动服务器,请运行以下命令:

    python manage.py runserver
    

     

    0人点赞

     

    工具

     

    展开全文
  • ubuntu 18.04安装doccano

    2019-09-03 10:59:00
    今天把自己安装doccano的过程分享出来: sudo apt install docker-compose 把doccano镜像拉下来: sudo docker pull chakkiworks/doccano 然后运行: sudo docker run -d --rm --name doccano \ -e "ADMIN_...
  • 文本数据标注工具Doccano

    千次阅读 2019-10-24 16:46:07
    doccano是一个开源文本标注工具。 它提供了文本分类,序列标注和序列到序列的标注功能。 因此,您可以为情绪分析,命名实体识别,文本摘要等创建标记数据。 只需创建项目,上传数据并开始标注。 总结下来就3步,...
  • 背景 最近公司有项目用到了自然语言处理技术,利用google 发布的BERT框架和Tensorflow,我们可以快速对模型进行训练与发布。但是在这个过程中,有一项看起来“技术含量稍低”但却非常重要的工作却不太容易实现,那...
  • doccano:基于网页的开源协同多语言文本标注工具.zip,机器学习从业者的开源文本注释工具。 doccano is an open source text annotation tool for humans. It provides annotation features for text ...
  • 今天要介绍的是一款开源的语料标注工具doccano[1]。对于NLP中常见的情感分类、命名体识别、序列到序列等的数据标注任务都可以通过doccano来完成。由于工作的关系,笔者还看到一些厂商的标注工具也是基于doccano开发...
  • 下载、安装、配置 Doccano下载Doccano安装环境安装 下载Doccano git下载地址 下载之后 安装 环境 win10 Python3.6 安装 1.如果有Anaconda先用conda创建个虚拟环境,然后进入刚激活的环境 2.装doccano的依赖(就是...
  • Doccano标注系统安装与二次开发(机器学习从业开发者标注工具,支持多语言) Doccano是面向机器学习专业人员的开源文本标注工具。 Doccano标注系统安装 项目git地址: https://github.com/doccano/doccano 在...
  • 同事写了一个新的model,我需要引用他,我引用之后,就会报错找不到model。他在那个model路径下写的test却可以执行。 我没办法,我就在每个报错的文件中添加了一下几行: import sysprint(sys.path)print("*" * ...
  • 因为windows10下太慢想着去服务器上安装使用,参照windows下安装方法安装有很多坑记录一下。 主体按照windows10安装方法走是没错的但有些细节有问题 在安装所需要库时有错误。是mysql、db、安装问题参考以下网址 ...
  • 获取doccano的源代码: git clone https://github.com/chakki-works/doccano.git 移至doccano目录: cd doccanodoccano创建环境: virtualenv -p python3 venv ...安装pyodbc依赖:sudo apt-get install uni...
  • doccano是一个开源文本标注工具。 它提供了文本分类,序列标注和序列到序列的标注功能。 因此,您可以为情绪分析,命名实体识别,文本摘要等创建标记数据。 只需创建项目,上传数据并开始标注。 总结下来就3步,...
  • doccano 是一个开源文本注释工具,它为 文本分类 、 序列标记 、 序列对序列 等任务 提供注释功能, 因此 你可以为 情感分析、命名体识别、文本摘要等 打标签, 只需要创建项目、上传语料就可以开始注释了 Demo 演示 ...
  •   doccano是一个开源的文本标注工具,适合于机器学习和深度学习的使用者,提供了文档...  doccano安装也比较简单,我们可以通过Docker很方便地完成安装。   首先,先从Github上下载该项目,命令如下: $ git cl
  • doccano-master.zip

    2020-06-14 07:49:38
    文本标注工具doccanodoccano便利的NLP标注工具,利用doccano可以对文本,序列进行标注。标注的结果支持情感分析,命名实体识别,文本摘要等任务 用于对文本进行各类标注方法,下载直接安装使用,希望能帮助到你们
  • doccano是什么?安装 是什么? GitHub链接地址:Here doccano是一款NLP相关的标注工具,它能满足像序列标注问题和分类问题的标注。 在深度学习和NLP中,数据其实比模型更重要。当你没有强大的数据标注团队时(科研狗...
  • doccano - 机器学习从业者的开源文本注释工具

空空如也

1 2 3 4 5 6
收藏数 102
精华内容 40
关键字:

doccano