精华内容
下载资源
问答
  • 算法没有价值观,但企业有价值观。算法是服务于企业业务的,归根结底是由企业的意志来决定推荐结果导向。因此,只有推荐系统与企业业务结合才能实现价值最大化。基于市场的现实需求,...
        
    640?wx_fmt=png
    640?wx_fmt=gif
    640?wx_fmt=jpeg
    算法没有价值观,但企业有价值观。算法是服务于企业业务的,归根结底是由企业的意志来决定推荐结果导向。因此,只有推荐系统与企业业务结合才能实现价值最大化。
    基于市场的现实需求,神策数据通过持续的打磨迭代最终为企业打造了基于业务认知的智能推荐运营后台,企业可以根据自媒体或供应商提供的内容或商品优劣与否做加权和降权,避免一些自媒体作者或者商家研究算法后利用平台漏洞造成企业的损失。诸如此类,帮助企业推荐系统与业务结合,构建智能物品分发中心,实现最大价值。
    那么神策智能推荐运营后台如何实现与业务的紧密结合,彼此成就呢?以下 6 大亮点将为你揭示。

    亮点 1 :物品库,你的推荐管理“智能仓库
    每个栏位(产品界面上承载内容或商品的模块都会圈定一定范围的物品作为可推的物品,如今日头条的体育频道会推荐体育新闻,而物品库是可供各栏位用来推荐的物品总库,所有定可推的物品都是物品库的子集。企业可针对单条或多条物品做一些区分化作,助力企业打造高质量的千人千面
    1.支持不同类型物品的分门别类与快捷操作
    随着用户需求的多元化,产品内部分发的物品类型也随之多元化。比如今日头条推荐频道可推类型包含:图文、短视频、小说、图集等;淘宝首页可推类型包含:直播、商品、活动、图文攻略等。
    为了辅助企业的多元化分发,运营后台的物品库按照物品类型(item_type)做了区分,助力企业按照物品类型进行物品信息查看等各种便捷操作。
    640?wx_fmt=png
    图 神策推荐物品库
    2.封禁/解禁操作,助力不同内容的自定义淘汰与再回收
    大多数企业都不同程度的会包含 UGC 的内容或与其他企业的物品做了打通,因此内容的把控变得尤为重要,若出现与企业价值观不符,甚至违法违规的内容或商品需要进行快速的淘汰。而神策智能推荐运营后台支持通过封禁操作将劣质内容进行封禁,从源头避免风险,提高优质内容的占比,且随着企业不同阶段的需求和定位变化还可进行解禁操作。
    • 单条物品与封禁
    产品或运营人员可通过搜索、筛选、排序等方式,找出待封禁的单条物品,进行封禁操作,如下图,按钮式封禁“开关”直观便捷,支持一键打开或关闭封禁“开关”进行内容的自定义排查与筛选。
    640?wx_fmt=png
    图 神策推荐单条物品封禁
    • 批量物品封禁
    企业可以通过筛选或搜索功能,按 item 各属性条件,找出需要封禁的一类物品进行批量封禁操作,如经过用户举报后,确定某商家下奢侈品商品均为假冒伪劣产品,影响奢侈品电商口碑与信任度,于是平台方希望将此卖家下商品全部封禁,不再出现在任何推荐结果中。
    640?wx_fmt=png
    图 神策推荐批量物品封禁

    亮点 2:栏位列表,个性推荐管理助手
    神策智能推荐系统运营后台可支持匹配企业的栏位进行设置,即运营后台的每个栏位项对应的是企业产品界面上的一个栏位。栏位列表不仅将神策智能推荐系统服务的栏位基本信息展示出来,还可进行栏位的自定义名称及排序设置,同时,支持以栏位为单位进行相关操作,如可分别支持各个栏位的物品管理、推荐管理、报表管理、运行图管理等。

    640?wx_fmt=png

    图 神策推荐栏位列表

    亮点 3:物品规则,推你所想
    在用户个性化需求激增的现在,千篇一律等于毫无波澜,同时也预示着将被淘汰。而运营后台的物品规则可以便捷灵活地帮助企业实现推荐的流量倾斜控制,如可对物品进行加权和必推设置,赋能企业突出重点,从价值层面和各阶段主要目标方向对推荐结果进行干预和影响,优化运营策略,增强用户体验。
    1.加权设置,灵活自定义物品优先级
    一般企业都会有自身需要流量倾斜的内容提供方或商品提供方。譬如自媒体平台引入头部自媒体或者圈出一些优质的内容;电商平台扶植产品服务优质的卖家或者自营产品。因此,企业对推荐内容的优先级需要进行甄选排序。
    运营后台的加权设置支持企业通过自定义对物品进行单条和批量加权进行优先级排序,权重值为 1-5 正整数,默认为 1,设置权重越高,被曝光的概率越大。
    640?wx_fmt=png
    图 神策推荐运营后台加权设置
    加权功能是企业可以做推荐流量倾斜的强大工具,当物品被设置加权后,此物品会在推荐重排序环节做加权,实现更大概率被曝光,权重越高,曝光量越大,实现自定义的流量倾斜,将推荐系统与业务认知实现融合,助力业务价值最大化。
    2.必推设置,核心物品的“强曝光
    当企业需要给某些物品进行强曝光,除了给物品加权,增加物品曝光的可能性之外,也可以通过给物品设置必推来进行强曝光。设置了必推的物品会在设置的必推时效内,对所有访问用户曝光至多一次,实现在不打扰用户的情况下对物品的强推荐。
    640?wx_fmt=png
    目前,运营后台支持在同一栏位下,可最多同时对 10 条物品设置必推,使用必推设置,业务人员无须等待技术的排期,只需选择必推物品和必推时效,便可实现灵活自定义的强曝光触达。

    亮点 4:推荐规则,支持推荐的个性化定制
    推荐规则将企业推荐的颗粒度进一步细化,助力企业结合自身业务进行自定义推荐,目前,神策智能推荐系统支持去重规则和比例规则。
    1.去重规则,让用户拥有持续的新鲜感
    频繁的用同一内容触达用户,会导致用户的厌倦及反感。去重规则可以辅助企业根据自身业务特性进行物品的去重设置,譬如因电商平台平均复购天数为 15 天,设置为展示或点击 15 天内不重复,现已支持以展示/点击维度做条数或天数的去重。
    640?wx_fmt=png
    图 神策推荐之推荐规则
    2.比例规则,支持根据客户偏好的内容调整
    当一个栏位下有多种类型的物品,且对当下的物品类型推荐有一定比例要求,可在推荐规则-比例规则中进行调整。「比例规则」支持在当前栏位下,按照该栏位中所包含的物品类型,灵活调整物品种类组合比例。
    举个例子,某新闻 APP 的娱乐频道,因为现有视频内容较少,便通过比例规则将文章和视频设置为 8:2。
    640?wx_fmt=png
    图 神策推荐比例规则

    亮点 5:报表,核心数据指标的集中展示
    一个具备数据意识的企业,核心数据指标的查看几乎是必然要求,其查看的便捷性及后续的分析支持将极其重要。神策智能推荐系统支持查看当前栏位下数据报表,在任意栏位下点击“报表”,会跳转到神策分析数据概览中,概览中会展示当前栏位推荐报表信息,通常为 CTR 和人均点击数(如没有可以与神策分析师联系)。
    640?wx_fmt=png
    图 神策推荐报表
    640?wx_fmt=png
    图 神策推荐报表详情——CTR
    640?wx_fmt=png
    图 神策推荐报表详情——人均点击

    亮点 6:运行图,可视化全流程授人以渔
    神策智能推荐系统一直秉承“授人以鱼,不如授人以渔”,不仅提供给企业满意的推荐效果,还会通过“私有化部署+培训”将神策数据沉淀的智能推荐的方法论赋予企业,让企业的技术或业务人员也能够学会使用神策智能推荐系统的底层逻辑及推荐理念,如可学会自主调召回、加特征、模型调参、上线新栏位。
    其中,运行图更是将当前栏位下推荐运行流程图可视化出来,以直观的形式展示出当前栏位模块及详细配置情况。同时支持查看不同实验下运行图,降低企业技术人员理解和使用神策智能推荐系统成本,助力企业能够对推荐系统自主可控,实现业务价值最大化。
    640?wx_fmt=png
    图 神策推荐报表详情——运行图
    以上是神策智能推荐系统运营后台的基本介绍,下面结合泛内容的常用场景为大家介绍一下具体实践:
    栏位举例:某头条主打下沉市场,希望开拓一二线用户市场扩大业务规模,需要增加更多内容类型,控制平台内优质内容导向。
    具体栏位:封禁不符合平台导向的黄赌毒及劣质文章;将站外引入的优质自媒体内容和编辑精选内容给予更多曝光;新上线短视频内容量较少,无法支持用户的阅读要求,因此短视频需实现不造成用户困扰下的多次推荐。
    1.封禁劣质文章
    经过用户举报后,确定一些黄赌毒文章,违反平台规则,做封禁处理,净化平台风气。
    640?wx_fmt=png
    图 神策推荐封禁文章
    2.给优质自媒体内容做流量倾斜
    通过挖其他内容平台优质自媒体,将其引入。给予自媒体一定的流量倾斜,将优质自媒体下内容做加权,比如默认权重为 1,给予优质自媒体下文章权重设置为 5,增加优质自媒体留存和收益。
    640?wx_fmt=png
    图 神策推荐修改文章权重

    同时,对于一些需要强曝光的物品,则可以对相应物品进行「必推」设置,比如当前在某重大赛事期间,体育栏位中一项比较重要的新闻需要对所有用户都进行曝光,这种情况下可以对该内容进行必推设置。

    640?wx_fmt=png
    图 内容产品的必推设置
    3.调整短视频去重条数/时间
    为满足不同用户内容需求,平台在已有图文内容基础上,引入短视频内容。但前期引入短视频内容较少,用户刷新几次就没有了,会给用户感觉内容少,造成用户流失。
    通过降低短视频去重时间/条数,将更多短视频内容作为用户推荐候选集,保证召回率,减少用户流失。
    640?wx_fmt=png
    图 神策推荐调整短视频去重条数/时间
    4.调整栏位物品类型比例
    内容类用户在同一栏位下,可能会推荐多种类型的内容,比如新闻类图文、视频等类型的内容可能出现在同一栏位,当用户对这些推荐的内容类型有比例要求时,可以在「推荐规则-比例规则」中进行设置。
    640?wx_fmt=png

    目前,神策智能推荐系统已经赢得百度视频、东方明珠、惠头条、妈妈帮等行业标杆企业的认可。

    案例一:某内容媒体高时效性个推 CTR 比自建推荐提升了 40.67%
    640?wx_fmt=png
    图 某内容媒体推荐实践
    该公司内部有算法团队,但遇到推荐效果瓶颈,希望寻求第三方推荐厂商提升推荐效果。推荐提升核心指标:点击率。最终结果是 CTR :比自建推荐提升了 40.67%,比友商推荐提升了 11.23%。

    案例二:某 IPTV 播放平台个性化推荐提升影视推荐精准度,提升人均浏览次数
    在与神策数据合作前,该平台采用人工编辑,以周为时间周期固定内容全量推荐。这显然不符合现在的竞争需求,因此亟待实现这 3 个目标:急需引入智能推荐引擎,实现“千人千面”的个性化推荐;提升影视推荐的精准度、更新频率;提升用户观影体验。
    640?wx_fmt=png
    图 某 IPTV 推荐实践
    在使用神策智能推荐后相比过去的人工推荐,CTR 指标即提升了 6 倍;对推荐内容的人均浏览次数提升了 1.9 倍。在取得超出预期的效果后,神策数据还助力其完成整体方案的培训,赋能客户方算法团队,将方案推广到其他驻地。
    关于神策数据
    神策数据是专业的大数据分析平台服务提供商,致力于帮助客户实现数据驱动。公司围绕用户级大数据分析和管理需求,推出神策分析、神策用户画像、神策智能运营、神策智能推荐、神策客景等产品。
    神策数据积累了中国银联、中国电信、百度视频、小米、海通证券、广发证券、东方证券、中原银行、平安寿险、四川航空、翼支付、好未来、VIPKID、东方明珠、华润、有赞、百姓网、货拉拉、闪送、驴妈妈、Keep、36 氪、拉勾、VUE、春雨医生、聚美优品、惠头条、纷享销客、妈妈帮等 1000 余家付费企业用户的服务和客户成功经验,为客户全面提供指标梳理、数据模型搭建等专业的咨询、实施和技术支持服务。希望更深入了解神策数据或有数据驱动相关问题,请拨打 4006509827 电话咨询,会有专业的工作人员为您解答。
    如何体验神策智能推荐 Demo?

    ▼▼▼

    1.登录神策数据官网:
    网址:https://www.sensorsdata.cn(PS:建议 PC 端试用

    2.在导航栏中点击【产品】-【神策智能推荐】进入产品详情页

    640?wx_fmt=jpeg

    3.点击【文娱 Demo】或【电商 Demo】,即刻体验赋能业务增长的智能推荐系统

    640?wx_fmt=jpeg

    此外,还可以点击【阅读原文】到神策智能推荐系统体验页(建议在 PC 端试用)。

    不容错过的精彩内容

    ▼▼▼

    欢迎【点击阅读原文】,到神策智能推荐 Demo 体验页。

    在看”,你就戳戳我 

    展开全文
  • # 推荐使用 yarn 来安装依赖 npm install 或者 yarn 启动 npm start 打包部署 # 测试环境 npm run build # 正式环境 npm run build-prod 检查代码格式 npm run lint # 可以使用脚本自动修复某些 lint 错误 npm run ...
  • 今日特价模块实现向消费者推荐特价商品;商家特惠模块实现列出智能购物终端提供的商家特惠;扫码结算模块提供智能自助结算的扫码设备,边选商品边扫码,选购完成一键支付;快速通道模块实现商品快速核检功能。
  • 电影智能推荐系统()前端的Vue实现,Demo 构建步骤 # install dependencies npm install # serve with hot reload at localhost:3000 npm run dev # build for production with minification npm run build 项目...
  • 本品仅为APP手机端,无thinkphp后台管理系统。如有需要请查看https://www.eiocms.com/product/view33.html说明。
  • 中科院分区(人工智能领域)中国计算机学会推荐会议中国计算机学会推荐期刊中科院分区-2019 and 一份期刊会议影响因子分享 中国计算机学会推荐会议 中国计算机学会推荐期刊 中科院分区-2019 and 一...

    中科院分区2019,祝早登顶会;
    每隔一定年份,个别期刊会议分区会有一些变化,敬请关注


    中国计算机学会推荐会议


    3-0
    3-1
    3-2
    3-3
    3-4


    中国计算机学会推荐期刊


    0-1
    0-2
    0-3
    0-4
    0-5
    0-6


    中科院分区-2019 and 一份期刊会议影响因子分享


    9-9

    后台回复 20210306 获取本博文 CCF 分区 pdf - 云盘下载链接:

    20210306
    

    9-0


    展开全文
  • 近几年,智能抄表系统开始出现在人们的视线里,而智能抄表系统的出现可谓是将这些抄表遇到的很多弊端变成了历史,使用智能抄表系统后,再无需进行人工抄表,所有住户的用电、用水、燃气、供暖数据都可由数据后台一键...

    近几年,智能抄表系统开始出现在人们的视线里,而智能抄表系统的出现可谓是将这些抄表遇到的很多弊端变成了历史,使用智能抄表系统后,再无需进行人工抄表,所有住户的用电、用水、燃气、供暖数据都可由数据后台一键抄取,省时省力。

    智能抄表系统设计的主旨是为了实现实时精确的进行能源数据计量及管理。目前,大多数高档住宅小区都开始安装智能抄表系统,作为现代化进程重要组成部分,智能抄表系统在智慧城市的发展中起到了重要的作用。

    住宅区中,每个用户家中的水表、电表、燃气表、热能表(北方地区)等计量表计,安装位置各异,有的表实现了集中安装(如电能表),有的表(如燃气表)却分散在用户家中,管理部门对其进行数据抄表统计相当耗时耗力,并且入户抄表很难一次性完成,周期经常被拉的很长。

    智能抄表系统实现了多表集中抄录,在系统后台中能进行自动抄录、还能记录并查询打印历史数据,在授权的情况下,对特殊场合实现保电操作,防止其因欠费等问题意外断电。

    目前,智能抄表系统已经成熟的应用在小区、工厂、学校等场所。在物联网的大潮下,智能抄表系统的发展仍在不断继续,而对智能抄表系统的升级工作也从未停歇,为智慧城市、智慧能源系统的打造而不懈努力中。

    展开全文
  • 你和“懂AI”之间,只差了一篇论文很多读者给芯君后台留言,说看多了相对简单的AI科普和AI方法论,想看点有深度、有厚度、有眼界……以及重口味的专业论文。为此,在多位AI领域的专家学者的帮助下,我们解读翻译了一...

    fee755862715a7e6e0be561ebd86e092.png
    你和“懂AI”之间,只差了一篇论文
    很多读者给芯君后台留言,说看多了相对简单的AI科普和AI方法论,想看点有深度、有厚度、有眼界……以及重口味的专业论文。
    为此,在多位AI领域的专家学者的帮助下,我们解读翻译了一组顶会论文。每一篇论文翻译校对完成,芯君和编辑部的老师们都会一起笑到崩溃,当然有的论文我们看得抱头痛哭。
    同学们现在看不看得懂没关系,但芯君敢保证,你终有一天会因此爱上一个AI的新世界。
    读芯术读者论文交流群,请加小编微信号:zhizhizhuji。等你。
    这是读芯术解读的第142篇论文

    KDD 2019

    DuerQuiz:一个面向智能招聘笔试、面试的个性化试题推荐系统

    DuerQuiz: A Personalized QuestionRecommender System for Intelligent Job Interview

    中国科学技术大学、百度

    本文是中国科学技术大学和百度TIC联合发表于KDD2019的工作,文章提出一种个性化智能工作笔试、面试的试题推荐系统。为此,我们首先提出一种技能图构建的方法,主要包含技能实体抽取、技能实体降噪以及技能上下位关系抽取三个部分。随后我们提出一种基于历史招聘数据下的一种启发式个性化试题推荐方法。实验结果表明我们的系统可以在招聘环节中有效的选取人才。

    2d8a63a74f77840a8893af19a8a9a184.png

    原文:

    Chuan Qin, Hengshu Zhu, Chen Zhu, Tong Xu, Fuzhen Zhuang, Chao Ma, Jingshuai Zhang, Hui Xiong, DuerQuiz: A Personalized Question Recommender System for Intelligent Job Interview, In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-2019) , Anchorage, Alaska, 2019

    27f60f597f9806fe16e5b23c7d565ad1.png

    1. 引言

    人才招聘对于企业能否保持竞争优势至关重要,并且会直接影响企业的成功。为了招募合适的人才,笔试、面试有助于评估候选人与职位需求相关的技能和经验。但是,以合适高效的方式评估人才是一项艰巨的任务,糟糕的招聘决策会浪费公司大量的时间和金钱。例如,如美国一篇HR专业报道的那样,如今的公司要雇用合适的人才平均要支付4129美元,而工作面试的过程通常需要24天左右。因此,在过去的几十年中,人们在改善工作笔试、面试过程方面做出了巨大的努力,例如人际适合度评估,工作技能分析,面试官的安排和针对性评估。

    但是,工作笔试、面试的关键挑战在于如何使用合适的问题,来全面评估被认为与个人和工作需求相关并具有代表性的能力。一方面,如果问题的设计通常侧重于基本的工作要求,就像传统候选人筛选的笔试情况一样,工作面试将不会有区分能力。例如,如果某位机器学习工程师岗位的申请者具有与深度学习相关的应用程序相关的丰富经验,则如果仅用基础机器学习基础算法或代码编程考核,去替代那些事实上确实和这个岗位很相关并且反应其个人经验的技能(例如,使用深度神经网络的经验),那么并不会有很好的区分性。另一方面,如果过多地关注与候选人的个人背景有关的问题,则考核可能会忽略工作的基本要求,从而无法确定出适合该职位的人才。因此,在设计试题时,应在工作要求和应聘者的经历之间取得平衡。

    为此,在本文中,我们开发了一种新颖的个性化问题推荐系统DuerQuiz,以增强人才招聘中的工作笔试、面试评估。图1显示了我们的推荐系统的动机示例。可以看出,在数据科学家的职位描述中,分别有三个通用要求,分别是编程,机器学习和大数据分析。根据两位候选人的简历,他们在满足相应要求方面具有不同的个人技能背景。换句话说,候选人A精通Python和深度学习,而候选人B熟悉Matlab和迁移学习。因此,DuerQuiz的理想情况是可以基于候选人背景个性化地进行试题推荐。例如,对于应聘者1,DuerQuiz将推荐有关Python相关编程技巧和Deep Leaning相关机器学习模型的问题。同时,通过挖掘当前担任数据科学家职位的员工的历史招聘数据,我们认识到Hadoop和Spark是大数据分析的两个重要技能。在这种情况下,即使技能没有在简历中列出,DuerQuiz也会为两个候选人推荐相关的Hadoop和Spark问题。

    DuerQuiz的关键思想是构建工作技能的知识图,即Skill-Graph,以通过挖掘丰富的历史招聘数据和网络中可用的大规模工作技能数据,全面建模那些应在求职笔试、面试中进行评估的能力。具体来说,我们首先开发一种基于具有自适应门机制的双向LSTM-CRF神经网络的技能实体提取方法。特别地,为了提高提取的技能实体的可靠性,我们设计了一种基于实体-URL图上的标签传播方法,该实体-URL图是根据百度搜索引擎的查询日志中的点击数据构建的。此外,我们发现技能实体之间的上位词-下位词关系,并通过利用具有广泛上下文特征(例如招聘特征和搜索查询特征)训练的分类器来构建技能图。最后,我们提出了一种基于技能图的个性化问题推荐算法,以提高工作笔试、面试评估的效率和有效性。图2是DuerQuiz系统的一个示例图。

    95dd3567e63bf766b4fc6204c5ec92e7.png

    ac6354d635ef908f0d483b6e37453d4a.png

    27f60f597f9806fe16e5b23c7d565ad1.png

    2. 模型框架

    如图二所示,我们的系统主要分为技能图构建,即技能实体抽取、技能降噪与技能关系抽取,和个性化试题推荐组成。

    2.1 技能实体抽取

    要构建技能图,我们首先要从招聘数据(职位发布中的职位要求以及候选人简历中的工作/项目经验)中提取技能实体。例如,我们需要从职位需求文本“类似PaddlePaddle的深度学习框架中的经验”中提取技能Deep Learning和PaddlePaddle。在这里,我们依照基于名称实体识别的模型LSTM-CRF,来提取技能实体。此外,具有字符信息的基于字符的LSTM-CRF模型在没有显式词分隔符的语言(如中文和日语)上表现出比基于词的模型有更好的性能。因此,我们将基于字符的LSTM-CRF作为主要结构。另外,我们还将字符级别的bi-gram信息作为更好的字符表示的输入。

    具体地,给定输入句子X,即职位发布中的工作要求或应聘者简历中的工作/项目经验描述,我们将上述三个元素信息(即字符、单词和字符的bi-gram)全部考虑在内。在这里,我们用{c 1 ,c2,...,cn}表示X的字符序列,{b1,b2,..., bn}表示字符的bi-gram序列,其中bi= cici + 1。为了收集单词信息,我们首先使用中文分词器将X拆分为m个单词,即{w1,w2,...,wm}。同时,为了使单词序列的长度与字符序列对齐,表示为{w'1,w'2,...,w'n}。我们计算三类元素信息的表征为:

    6dd30b4f920758c4d89fe5873229de5f.png

    然后我们通过一个门结构控制字符级与词级别信息得到:

    af4e50707706be1d397e844ce6458129.png

    f83e124a0ba1427bdab1dbfa49c83f9c.png

    我们将其作为一个双向LSTM的输入,并引入一个标准的CRF层,他们的最后的预测标签为y= {y1,y2,...,yn},其中yi∈{I,O,B,E,S}表示当前字符是技能实体的Inside, Outside, Beginning, Ending 或 Singleton。我们有:

    cf333705d9c7a0823f2590cfc020e348.png

    7fbc12d4d36562871f0a8eb87485b46a.png

    我们通过最大化

    e23d1cf5638ab8022d2dd41fe329bf7c.png

    来进行模型的训练。

    2.2 技能实体降噪

    从招聘数据中提取技能实体后,我们获得了一组技能,表示为Ve = {v1e,…}。尽管技能实体抽取模型的表现良好,但在Ve中依旧不可避免的包含一些非技能词。为了解决这个问题,我们希望利用网络搜索数据(即点击日志(查询,单击的URL和标题))作为过滤实体的额外知识数据。受到之前研究者的启发,我们通过标记一部分的Ve(每个实体是否是真正的技能),设计一种基于标签传播(LP)的算法来对技能实体进行降噪。

    具体来说,我们创建一个实体-url图G =(V,E)。节点集V包含两种节点,即实体Ve和包含在这些实体的查询日志中的点击URLs Vu = {vu}。边E的集合同样包括两个部分,即Eeu和Eee。具体来说,Eeu⊂Ve×Vu是Ve中的点与它们在Vu中的相应单击的URL之间的链接集。特别是,我们删除了在标记数据中同时连接了技能实体和非技能实体的URL的边,以减少实体节点和URL节点之间的噪音。我们用Weu∈Rpe×pu表示权重矩阵。并且,由于有些节点未连接Vu中的任何节点,因此我们在实体节点Ve之间定义了一组边Eee⊂Ve×Ve,以传播这些节点的信息。在这里,我们首先通过在点击的URL标题上训练主题模型,为每个实体节点生成主题向量。然后,我们可以计算一个高斯核矩阵S,其中每个元素si,j = exp {-||ti-tj||2/2σ2}。最后,我们仅在每个实体与其最接近的ke个节点之间创建边。对应的边集是Eee。我们定义权重矩阵Wee∈Rpe×pe,算法1显示了构造Eee的细节。

    72d67b1f2c9b7ef63d95396da821fdb8.png

    然后,我们通过基于LP的方法计算一个实体是否为技能的概率,如算法2所示。这里,将Y∈Rpe×2表示为实体标签。具体来说,当实体被标记为技能词时,我们设置对应的y0i,1= 1,如果实体被标记为非技能词,则设置y0i,0= 1。然后,我们计算如下两个归一化权重矩阵。

    5475773d309aa6d3d8b69acae7b2f887.png

    其中Deu和Dee是两个对角矩阵,其中每个元素

    8b6a5f0bb3e2e08266d76da0818aa432.png

    ,而

    ef88eb86c2e3c5225ac279a57533a918.png

    。然后,我们迭代地使用LP来更新Yeu,Yee∈Rpe×2,分别表示Weu和Wee所获实体标签的得分。对于第t次迭代,我们有:

    97fe2f4748e885bffc1054e71cef2d35.png

    最后,在收敛之后,我们可以如下计算试题是否是技能实体的概率:

    d451d3bb8b34b7f4547eb02e319451fc.png

    0f7ba03154ff0b71462a27f2cd689b97.png

    2.3 技能关系抽取

    在技能实体提取和过滤过程之后,我们转向提取技能之间的关系,特别是上位词-下位词(“ is-a”)关系。例如,机器学习和强化学习技能具有特别是上位词-下位词的关系。该问题可以表述为分类问题,该分类问题用于确定技能对(vei,vej)是否为上位词-下位词。在这里,我们利用历史招聘数据、网络搜索日志数据和百科全书数据来构建特征,训练分类模型。

    为了生成训练数据,我们受到Fu等人的想法启发,收集每个技能实体的候选上位词。具体来说,我们选择出现在成功应聘的岗位-简历对的共现技能对(职位发布中的需求的一项技能,候选人在简历描述中的另一项技能)和点击数据中的共现技能对(搜索查询中的一项技能和另一项技能)。

    选择出现在历史成功应用程序中的同现技能(即,给定职位发布中的一项技能,以及候选人的相应简历中的另一项技能)和点击数据(即,搜索查询中的一项技能和点击链接的标题出现的另一个技能)作为候选的上位词。并且,我们手动标注了训练数据。训练分类模型的特征可以划分为四类,如下:

    •招聘数据类特征:招聘数据,即岗位需求与其对应申请的简历数据中可以帮我们有效的提取上下位词的特征。通常,职位发布中的技能通常是简历中工作/项目经验中某些技能的上位词。例如,出现在工作要求中的机器学习技能是SVM和LDA的上位词,它们出现在相应的成功注册候选人的简历中。另外,技能对出现在相同的工作要求中,或者工作/项目经验也可能反映它们之间的关系。

    •搜索查询日志特征:点击日志可以帮助我们了解技能之间的关系。例如,点击的URL标题中包含的技能将与检索到的技能词有很强的关联。此外,许多搜索查询和URL标题包含多种技能,也可以反映出它们之间的一些协作关系。

    •百科知识特征:百科全书数据中包含有关实体关系的大量知识,可以提取出有效的特征。例如“百度百科”页面摘要中显示的技能可能与此技能具有上位词-下位词关系的描述。

    在这里,我们使用GBDT作为分类器。在我们预测了技能词的所有上位词之后,我们可以使用所有上位词-下位词关系作为图中的有向边来构造技能图。并且我们基于Fu等人的方法去除掉一些较弱的边,避免形成有向环。

    2.4 个性化试题推荐算法

    最后,我们介绍利用技能图Gr进行面试问题推荐。我们首先收集一组面试问题,并将其与Gr技能进行手动关联。然后,对于一个申请(即给定了一对候选人的简历和申请的职位),我们利用候选人的简历文本,申请职位文本和历史招聘数据来寻找适合考查的技能,以及他们应该考察的权重。我们希望由我们的推荐算法产生的面试问题不仅可以涵盖工作的技能要求,而且可以同时考虑候选人背景。

    27f37beea1727217bd558fbbbcbecdb6.png

    给定岗位J,将当前岗位的员工们的简历表示为R={R1,…},并且我们还利用员工的工作表现表示为P = {P1,…},候选人的简历为S。我们首先根据技能图获得上述文本数据中包含的技能,将VJ,VRi和VS分别表示为J,Ri和S的技能集合。随后我们计算:

    65c32dc247b2eae7d70a2d19bbe9199d.png

    我们将所有技能分成三个部分:匹配的技能,个性化的技能和未匹配的技能,并分别计算其权重。此外,为解决冷启动问题,我们还考虑了仅出现在职位发布中但没有出现在历史招聘数据或应聘者简历中的技能。我们通过如下计算所有提取的技能的权重:

    59a3f5efa3c5a846e94028cf4995e81f.png

    在标准化wfk为wf’k后,我们可以计算属于V’RUV’S的技能的孩子节点的权重为:

    3e812634be3113240dffa84deae0ebb3.png

    随后,我们通过

    1136dabb35f03253e78e603165bad21c.png

    更新vk的权重。在生成推荐问题集时,对于每个vk,我们都会针对该技能生成W'fk·N个问题。并且,如果没有与vk关联的问题,我们将其权重添加到其父节点中,并进一步为父节点生成问题。具体的推荐算法由算法3给出。

    27f60f597f9806fe16e5b23c7d565ad1.png

    3. 实验

    •技能实体抽取的效果:在这里,我们使用了历史招聘数据集来提取技能实体。为了训练我们的模型以及验证模型效果,我们手动在2,000个岗位需求和3,700个工作/项目经验中标记了技能实体。表2中显示了模型的总体表现,可以看出我们使用的三类信息(字符、单词、字符bi-gram)对建模技能实体抽取的有效性,以及门结构的有效性。

    068d1e8397f3e34d841ea8ae9732dd30.png

    •技能实体降噪的效果:在这里,我们收集了2018年1月至2018年6月之间的点击数据,其中每个搜索查询都包含上述候选实体。删除噪声数据后,我们对查询进行了细分,并将其n-gram项与候选实体匹配。最终,我们获得了3.74亿个实体-url-标题三元组。我们手动标注了1416个技能实体与502个非技能实体。随机选择了60%的数据作为训练集,10%作为校验集合,30%作为测试集验证器性能。结果如表三所示,我们发现,缺少Eee导致测试集中20%的实体节点无法连接任何URL,因此无法对其进行预测。因此,尽管精度很高,但召回率仅为0.75。而利用Eee,我们提出的LP算法可以预测所有实体标签,并且与经典机器学习算法相比,获得最好的效果。

    a6f063d715dd4b0aecf1d09cf3a8c228.png

    •技能关系抽取的效果: 这里我们人工标注了364个技能词,以及上文描述的方法寻找他们对应的候选上位词对,并且对于每个词仅分别留下其招聘数据以及点击数据共现词频前20的技能。最后得到对于每个词约有24个候选词,并且标注了其是否具有上下位词关系。实验结果如表4所示,可以看出我们所提出每一类特征的有效性。此外,我们也根据基于Hearst等人提出的pattern-based的方法,使用Fu等人提出的Chinese Hearst-style lexical patterns。但是仅有10.73%的上位词可以被提取出。这也说明了我们方法的意义。

    •试题推荐的效果: 我们在实际场景中评估我们的推荐系统。具体地,我们将其部署到了2018年的百度校招中。对于4类选定的岗位:机器学习/ NLP工程师,C ++ / PHP研发工程师,Java研发工程师和移动软件研发工程师,我们邀请应聘者参加我们由DuerQuiz系统生成的在线笔试练习。为了验证我们系统的性能,我们收集了他们的最终招聘结果以及他们在面试中的表现,包括我们的智能笔试,传统笔试和现场面试。表5显示数据的统计信息。

    3a246b09907e759b36b60dec7c771c38.png

    在这里,我们使用Spearman相关系数来衡量候选人的不同笔试评估方法与其招聘结果之间的相关性。具体来说,我们首先将最终的面试成绩映射为[0,8],最终的招聘结果分为三种类型:招聘失败,正常offer和special offer与分数0、1和2相对应。相关系数分析的结果如表6所示。根据结果,我们发现我们的DuerQuiz框架和传统笔试都与大多数工作岗位的面试结果、招聘结果显著相关。而且很多岗位中我们的智能笔试与传统考试相比具有更好的相关性,这表明DuerQuiz能很好的进行人才评估。

    96b0449fd8f735dc7d52e132432d93de.png

    •案例分析: 为了进一步说明我们的DuerQuiz系统的有效性,表7展示了我们系统推荐的前4个问题的示例,以及一个最新的面试题推荐方法JLMIA [2],该方法通过在成功的工作面试记录中关于职位发布,候选人简历,面试评估文本中使用预先训练的概率主题模型来推荐面试问题。我们可以看到DuerQuiz推荐的问题涉及职位需求和应聘者简历中提到的技能。(Q1与推荐系统有关,Q2与聚类->机器学习有关,Q3与Python有关,Q4与RNN有关,其中“->”表示下位词-上位词关系。)同时,JLMIA模型不能很好的同时考察岗位需求和候选人简历信息。例如,JLMIA推荐了两个有关C ++和Python的问题,以匹配职位发布要求。但是,由于无法捕获候选人具有Python经验的事实,因此建议推荐C ++和Python相关的问题。

    bb34e30419d624ef9bc0861e4a2ccd4c.png

    27f60f597f9806fe16e5b23c7d565ad1.png

    4. 总结

    在本文中,我们介绍了一个个性化问题推荐系统DuerQuiz,用于人才招聘中的智能求职笔试、面试评估中。DuerQuiz的关键思想是通过挖掘历史招聘数据和从网络中获得的工作技能数据来构建工作技能的知识图。具体来说,我们首先基于双向LSTM-CRF神经网络设计了一种技能实体提取方法。然后基于点击日志数据设计了标签传播方法,以提高提取的技能实体的可靠性。此外,我们提出基于技能实体之间的上位词-下位词关系,构建技能图,并提出了一种启发式的个性化的问题推荐算法,以改善工作笔试、面试评估。最后,对现实世界的招聘数据进行的实验证明了DuerQuiz的有效性。其中,DuerQuiz被部署在2018年百度校园招聘活动中进行笔试试题推荐。

    1bf756771022182b74e1e81869d3503f.png

    留言 点赞 关注

    我们一起分享AI学习与发展的干货

    展开全文
  • 团队简介团队名称:可及星项目名称:基于大数据挖掘的图书馆智能分析系统项目负责人:童星行业类型:服务类 项目介绍为图书馆建立一套从图书资源信息录入以及为读者提供个性化推荐并且可以分享交流的图书服务平台。...
  • 通过在后台监控中心与各前端现场检查单元通过网络在线控制联动,构建一套完善电力设备紫外在线式智能分析系统,切实提升变电站运行安全性以及自动化、智能化水平,为电力设备放电监测提供一种高效...
  • 大数据的后台分析模式

    千次阅读 2018-04-05 21:21:36
    一,点击数据可视化二,智能推荐系统
  • 1.4 智能金融·产品增强 最后我想讲一点最近遇到一些很有趣的AI和金融的结合点。一个是用AI进行驾驶预警,就是在车里装一个面向司机的摄像头,然后实时监控司机的行为,当发现司机困了时,后台会有一个人工服务进行...
  • 互联网时代,越来越多的企业与个人开始建立自己的网站,但是传统的手工建站并不简单,它需要设备支持、前端设计,后台编程,测试优化等一系列环节;而大部分企业与个人其实并不具备这样的技能和资金条件。那是否有...
  • 你和“懂AI”之间,只差了一篇论文很多读者给芯君后台留言,说看多了相对简单的AI科普和AI方法论,想看点有深度、有厚度、有眼界……以及重口味的专业论文。为此,在多位AI领...
  • 智能可配置的权限管理,一处部署随处可用,适用于任何语言开发的系统使用,不论你是PC端还是移动APP端都可以很好的使用,因为本系统提供的是一套基于完备高可用的API操作,API和后台分离部署使用,你可以只选择精简...
  • 互联网时代,越来越多的企业与个人开始建立自己的网站,但是传统的手工建站并不简单,它需要设备支持、前端设计,后台编程,测试优化等一系列环节;而大部分企业与个人其实并不具备这样的技能和资金条件。那是否有...
  • 配套PPT下载,请关注公众号“智能推荐系统”,后台回复【287】 1. 摘要 本次分享内容为机器学习在推荐系统的应用。主要介绍推荐系统实践中遇到基本问题,以及基于机器学习技术的解决方案。过程中涉及到“概率图...
  • 项目使用工具: 工具myeclipse + mysql + tomcat 使用java框架: hibernate + struts + spring + bootstarp + mahout ...图书的分页查看, 前台类目, 多条件查询, 智能推荐, 购物车, 支付。
  • 智能在线QQ咨询插件

    2021-03-26 01:25:07
    非常实用的QQ插件。  而且此款小程序带有后台管理。登陆admin.asp文件可以直接后台添加QQ。同时拥有多款风格模板可供选择。  强烈推荐
  • 我在网上找关于智能问答方面的API接口,这里我就根据自己的搜索来简单介绍推荐一下。图灵机器人免费开放了相应的问答的API接口,用户需要到图灵机器人官网注册一个账号,获取相应的API key和secret,便于在开发中...
  • 科美智能响应式企业建站系统 v2.2 更新日志 新增加在线留言系统功能,修复界面浏览排版方式。 科美智能响应式企业建站系统前台截图 ...科美智能响应式企业建站系统后台截图 相关阅读 同类推荐:站长常用源码
  • TSDQQ响应式布局网址导航系统带后台 兼容PC/平板/主流智能手机。(UFT-8版)简介: 1、此版为商业精简免费版。可长期正常使用,网站功能无任何限制。 2、此版最大亮点,让IE7支持HTML5,并且使用UTF-8国际编码。 ...
  • 仿鸿海智能广告系统云点系统,躺着也能赚钱,某站卖2000 实现财富人生的AI机器人合约系统源码,购买机器人点击流量, 每天可获得对应的收益奖励,推荐好友成功购买机器人可获得动态收益! 测试环境:PHP5.6+MYSQL ...
  • 海科智能企业建站系统红色风格 v4.8 更新日志 增加留言反馈功能。...海科智能企业网站系统后台管理  后台管理:您的网址/myadmin  用户名和密码都是admin  后台页面: 相关阅读 同类推荐:企业网站源码
  • 海科智能企业建站系统棕色风格 v4.2 更新日志 增加技术支持功能 ...海科智能企业建站系统后台管理  后台管理:您的网址/myadmin 用户名和密码都是admin 后台页面:   相关阅读 同类推荐:企业网站源码
  • 【C++后台开发面试】STL相关

    千次阅读 2017-05-12 11:34:39
    推荐书籍《STL源码剖析》(侯捷)。 六大组件及其关系 空间配置器、容器、迭代器、算法、仿函数、适配器 内存管理:内存配置和对象构造/析构分开。 使用双层级配置器:第一级直接 malloc,free;第二级内存池...
  • 学习人工智能必读这30本书!

    千次阅读 2018-04-19 16:05:16
    如今,机器学习和人工智能成为新宠,聪明人都渴望掌握...最近后台经常有用户问我:小编,我对人工智能感兴趣,但是不知道都需要读什么书,您能推荐几本吗?这时我就会把一些我看过的非常棒的书籍推荐给他们。后来...
  • Android开发一款基于行为识别和个性化推荐的智能推荐APP 仿IT之家Android源码 android判断App位于前台或者后台源码 Kotlin项目源码:Android MVP项目(RxJava+Rerotfit+OkHttp+Glide) android...
  • 青辰智能进销存管理系统PSS简介 ...青辰智能进销存管理系统PSS后台管理 后台路径:域名/Login/Index.asp 管理员账号:admin 管理员密码:123456 后台页面 相关阅读 同类推荐:站长常用源码

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 646
精华内容 258
关键字:

智能推荐后台