2019-03-26 20:13:14 king_audio_video 阅读数 2775
  • 智能对话机器人开发实战视频教程

    机器人开发实战教程、该视频课程共涵盖四大方面: 1.案例驱动:三大智能对话机器人需求场景,三个完整案例; 2.源码操作:内含完整程序源码和数据集; 3.实战指引:覆盖智能对话机器人实战案例开发; 4.系统学习:一套完整的智能对话机器人开发方法,三大智能对话框架; 任务作业: 1.写一个闲聊型智能助手,要求支持日常问候,无语料答案时,可以访问搜索引擎;2.写一个基于知识图谱的音乐问答机器人,支持基于歌曲查找歌手,基于歌手查找专辑;3.写一个智能闹钟设置机器人,支持闹钟设置。 (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)

    2256 人正在学习 去看看 张子良

语料库,就是存放语言材料的地方。现代概念中的语料库,是指存储在计算机存储器的原始语音或经过处理后代有语言学信息标注的语料文本。语料库研究涉及自然语言文本的采集、存储、加工和统计分析,目的是凭借大规模语料库提供客观全面的数据支持语音识别系统的开发。

语音识别领域中,最关键一歩就是选择适合的语料对其进行识别模型训练,对语料的要求就是要尽可能地覆盖所有的语音语言现象,且数据不能太稀疏。同时针对listensin在线学习的多业务场景,就要训练多个模型,因此设计大词汇量多属性特征的语料库至关重要。

在大词汇量连续语音识别系统中,为了训练鲁棒性强的声学模型,收集语料需要满足以下几条。第一就是要保证训练语料库能包括尽可能多的语言和语音现象,以避免出现声学模型训练数据稀疏的问题。第二是音素的覆盖要全,是指在识别系统中的每一个最小识别单元都应该出现在所设计的语音语料中。要保证声学模型训练的精确,也可以要求识别系统中每一个最小的识别单元在语料中出现的次数要大于一定值。第三是音素要均衡,就是指每个音素单元在语料中出现的次数与别的音素单元相比较,不能出现太大偏差。合理的音素平衡能够在确保音素覆盖率的基础上,有效地控制语音语料库的规模。下面给出语料库的设计需求和关键表的属性:

核心需求

1).说话人信息的保存于维护。

2).语料文本,波形文件,标注文件的保存与更新。

3).训练,测试数据的按需抽取与组合。

4).训练模型的生成与保存。

关键表属性

1).说话人信息的保存与维护。这类数据主要通过保存说话人的编号、姓名、性别、年龄、年级、英语水平、地域等信息来区分不同的说话人。

2).语料文本,波形文件,标注文件的保存与更新。语料文本这类数据主要通过语料标号、语料信息等各种方式保存文本语料。不同用户可以通过查询系统访问这类数据。语音波形文件这类数据主要通过语音文件编号、语音录制文本信息、录制人的信息、语音文件存储位置信息等方式进行保存。用户录音完成后,可以上传本次录音的波形文件,也可以通过整理上传已有的波形文件,系统自动对该文件进行保存,用户可以根据模型训练需要抽取,组合不同的波形文件与标注文件完成训练。标注文件这类数据主要通过标注编号、标注文件对应的波形文件信息、标注文件本身等方式来保存,用户可以通过査询找到相应的标注文件的数据。

3).训练,测试数据的按需抽取与组合。主要是针对不同的业务场景训练不同的识别模型,方便快速从数据库中抽取训练,测试数据集。

4).模型文件的生成与保存。将训练以后的模型文件写入数据库保存。

ASR-CDB逻辑结构图

                           

                                                                                       图1 语料库逻辑结构图

维护扩张

随着公司发展,势必会对语音识别的要求更高。为了方便以后很好的维护该数据库,目前的设计提供如下扩展的接口:

1).当前设计时方便内部训练模型使用,后期可以增加管理员信息表做成个完整的管理与用户分开的DB管理系统。

2).随着业务增长,该数据库也可以增加用户认证,语音采集,后台录音,数据保存等C/S架构的语料库管理系统。

 

灵声讯

整理于2019-03-01

加群和关注公众号请戳下面:

 

                                                                                                                  

                                                                                          

福利小贴士:

理科只是为自己插上腾飞的翅膀,文科才能让你飞黄腾达,同意的点赞,谢谢!

赠送原创诗歌公众号“天一色”,以飨读者!
 

2019-03-22 09:48:45 king_audio_video 阅读数 1744
  • 智能对话机器人开发实战视频教程

    机器人开发实战教程、该视频课程共涵盖四大方面: 1.案例驱动:三大智能对话机器人需求场景,三个完整案例; 2.源码操作:内含完整程序源码和数据集; 3.实战指引:覆盖智能对话机器人实战案例开发; 4.系统学习:一套完整的智能对话机器人开发方法,三大智能对话框架; 任务作业: 1.写一个闲聊型智能助手,要求支持日常问候,无语料答案时,可以访问搜索引擎;2.写一个基于知识图谱的音乐问答机器人,支持基于歌曲查找歌手,基于歌手查找专辑;3.写一个智能闹钟设置机器人,支持闹钟设置。 (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)

    2256 人正在学习 去看看 张子良

                                    语音识别语料收集及语料库制作

目录

                                    语音识别语料收集及语料库制作

数据交易平台:

语料库建立方法:

语料库制作规范和过程:


本内容全原创,因作者才疏学浅,偶有纰漏,望不吝指出。本内容由灵声讯音频-语音算法实验室整理创作,转载和使用请与“灵声讯”联系,联系方式:音频/识别/合成算法QQ群(696554058)


数据交易平台:

1.海天瑞声

http://kingline.speechocean.com/category.php?id=120&pf=0&lang=0&ord=20&page=1&lang_sp=Chinese%20English

2.数据堂.

http://www.datatang.com/detail/69

3.语料库语言学在线

http://www.corpus4u.org/

 

语料库建立方法:

  1. http://cdmd.cnki.com.cn/Article/CDMD-10602-101237769htm
  2. http://cpfd.cnki.com.cn/Article/CPFDTOTAL-ZGZR200310002037.htm
  3. 中国学习者英语语料库(CLEC)
  4. 见附件《语料库》

 

语料库制作规范和过程:

 

                                                                    

 

                                                                            

 

 

附件:语料库资料全集(QQ群696554058文件内)

 

灵声讯

整理于2018-01-02

 

加群和关注公众号请扫二维码:

                                                                                

福利小贴士:

理科只是为自己插上腾飞的翅膀,文科才能让你飞黄腾达,同意的点赞,谢谢!

赠送原创诗歌公众号“天一色”,以飨读者!

2019-12-01 16:12:17 weixin_40680322 阅读数 125
  • 智能对话机器人开发实战视频教程

    机器人开发实战教程、该视频课程共涵盖四大方面: 1.案例驱动:三大智能对话机器人需求场景,三个完整案例; 2.源码操作:内含完整程序源码和数据集; 3.实战指引:覆盖智能对话机器人实战案例开发; 4.系统学习:一套完整的智能对话机器人开发方法,三大智能对话框架; 任务作业: 1.写一个闲聊型智能助手,要求支持日常问候,无语料答案时,可以访问搜索引擎;2.写一个基于知识图谱的音乐问答机器人,支持基于歌曲查找歌手,基于歌手查找专辑;3.写一个智能闹钟设置机器人,支持闹钟设置。 (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)

    2256 人正在学习 去看看 张子良

一、语音识别语料库(OpenSLR网站:http://www.openslr.org/)
(一)TIMIT语料库
630个说话者的宽带录音,8个主要方言区的美式英语,每人10句。
(二)LibriSpeech语料库
大型英语阅读语料库,没有标记。
(三)中文语料库

  1. gale_mandarin:中文新闻广播数据集
  2. hkust:中文电话数据集
  3. thchs30:清华大学30小时数据集

(四)Aishell1语料库

  1. 开源178小时的中文普通话数据库。
  2. 人数:400名,男女比例均衡(男186人,女214人)。
  3. 文本相关数据集:按照设计好的文本,在相对安静环境中使用手机(Android和IOS 系统)录制格式为16kHz、16bit单声道数据和高保真麦克风录制格式为44.1kHz、16bit单声道数据同时采集。
  4. 下载地址
  5. 参考:AISHELL-1:开源178小时的中文普通话数据库

(五)Voxceleb1语料库

  1. 100,000个针对1,251个名人的话语,这些话语是从上传到YouTube的视频中提取的。
  2. 文本无关数据集。
  3. 参考:大型说话人识别数据集(VoxCeleb1)

(六)CSTR VCTK语料库

  1. 109个以英语为母语的本地人。
  2. 每个演讲者朗读大约400句话,其中大部分是从报纸中选出的。
  3. 音频设置:全向头戴式麦克风(DPA 4035),96 kHz采样频率(24位)和爱丁堡大学的半消声室。将所有记录转换为16位,根据STPK向下采样至48 kHz,并手动进行端点设置。
  4. 参考:SUPERSEDED - CSTR VCTK Corpus: English Multi-speaker Corpus for CSTR Voice Cloning Toolkit
    Noisy speech database for training speech enhancement algorithms and TTS models
2014-03-18 09:47:34 tianshi_1105 阅读数 2497
  • 智能对话机器人开发实战视频教程

    机器人开发实战教程、该视频课程共涵盖四大方面: 1.案例驱动:三大智能对话机器人需求场景,三个完整案例; 2.源码操作:内含完整程序源码和数据集; 3.实战指引:覆盖智能对话机器人实战案例开发; 4.系统学习:一套完整的智能对话机器人开发方法,三大智能对话框架; 任务作业: 1.写一个闲聊型智能助手,要求支持日常问候,无语料答案时,可以访问搜索引擎;2.写一个基于知识图谱的音乐问答机器人,支持基于歌曲查找歌手,基于歌手查找专辑;3.写一个智能闹钟设置机器人,支持闹钟设置。 (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)

    2256 人正在学习 去看看 张子良

简介:本数据是600人方言普通话语音识别语料库的样例,包括4个发音人(两男两女)录制的少量数据。完整语料库包括600名发音人,发音人覆盖全国不同地区、年龄、性别及文化程度,录音环境覆盖安静、座机、手机、车载、背景音乐及嘈杂声等场景,录音语料覆盖单字、词汇、语句、自然对话及语篇,采样率分8K和44K两种,采用16比特量化,标注粒度包括文字、拼音、韵律及音频标注。


用途:语音识别



数据堂-数据共享服务平台

2014-03-20 15:07:17 tianshi_1105 阅读数 4146
  • 智能对话机器人开发实战视频教程

    机器人开发实战教程、该视频课程共涵盖四大方面: 1.案例驱动:三大智能对话机器人需求场景,三个完整案例; 2.源码操作:内含完整程序源码和数据集; 3.实战指引:覆盖智能对话机器人实战案例开发; 4.系统学习:一套完整的智能对话机器人开发方法,三大智能对话框架; 任务作业: 1.写一个闲聊型智能助手,要求支持日常问候,无语料答案时,可以访问搜索引擎;2.写一个基于知识图谱的音乐问答机器人,支持基于歌曲查找歌手,基于歌手查找专辑;3.写一个智能闹钟设置机器人,支持闹钟设置。 (注意: 作业需写在CSDN博客中,请把作业链接贴在评论区,老师会定期逐个批改~~)

    2256 人正在学习 去看看 张子良

方言普通话语音识别语料库(语篇部分)-600人

 

尽管普通话语音识别系统的开发取得了很大进步,但在面对方言地区普通话时,遇到了挑战。广大方言地区、特别是南方方言区的普通话和标准普通话存在许多差别。因此,要提高方言语音识别率、进行方言语音识别,研究方言地区普通话的语音特点、比较方言地区普通话与方言及标准普通话之间的异同十分重要。需要采集北方方言、吴方言、湘方言、赣方言、客家方言、闽北方言、闽南方言和粤方言在内的八大方言语料。

全部录音人共包括600人,不同录音人的地域分布如表1所示。

                                                                          表1 录音人地域分布

地区

录音人数

比例

北方方言区

250

41.69%

吴方言区

50

8.33%

湘方言区

50

8.33%

赣方言区

50

8.33%

客家方言区

50

8.33%

闽北方言区

50

8.33%

闽南方言区

50

8.33%

粤方言区

50

8.33%

各个地域录音人的基本信息分布情况如表2所示。

                                                                          表2 录音人基本信息分布

年龄

16-30岁(45%)

31-45岁(45%)

46-55岁(10%)

性别

男女比例各占50%

口音

中度二级口音80%,一级乙等5%,三级15%。

文化程度

90%是高中以上学历,10%是高中以下学历

 

本数据集包含了600名发音人在安静环境下分别对上千个语篇语料的朗读结果,语篇内容涵盖故事、诗歌、天气、新闻、讲座、散文、邀请函、演讲词、信件、通知等几十个主题。例如下面是一个演讲词语篇语料的示例:

 

演讲语料9

各位评委,各位领导: 大家好!

  在公司中实行岗位竞聘制度,是我们国家改革的一项极为重要的决策,我相信在今后的工作中,我们还是会继续不断的努力下去。岗位竞聘刺激了很多的公司员工积极努力的工作,凭借自己努力的工作,就可以得到更多的机会,可以有更大的发挥空间,也就有可能在岗位竞聘中取得胜利!

  今天我怀着特别激动的心情,有幸参与公司的店面经理竞聘。首先感谢公司领导给我创造了这次公平竞争、展示才华的机会!同时,感谢在座的领导和评委对我的关心和支持!我叫(……介绍自己,名字,年龄,政治背景,工作经历等等)经过×年的学习与锻炼,较快地熟悉了业务,掌握了专业技能,并能学以致用。公司不断的发展壮大,也为我个人提供了广阔的发展空间。

  此次竞聘,是为更好的以客户为中心配置人力资源,组织和指导服务厅员工开展现场客户服务和区域大客户服务。通过服务创新、服务培训、优化服务流程等手段,强化管理,完善制度,从严要求,严格考评,进一步提高服务厅的服务质量。与此同时,努力为实现自己的人生价值,为公司的发展与壮大奉献自己的聪明才智和青春年华,一颗爱岗敬业的心与“移动”一起跳动。今天公司又为我的成长和进步,搭建了竞争的平台:参与公司店面经理的竞聘。我认为我有我的优势:...


数据下载:http://www.datatang.com/data/39326

数据堂-数据共享服务平台


语音识别语料库

阅读数 70

没有更多推荐了,返回首页