精华内容
下载资源
问答
  • 面向未成年人的内容安全审核解决方案.docx
  • 微信小程序官网提供内容安全审核接口security.imgSecCheck,security.msgSecCheck等接口,有些小程序审核需要引入这些接口做图文、音频视频等的鉴别,若有违规内容进行效验提示,不然小程序审核可能不通过,不能正常...

            微信小程序官网提供内容安全审核接口security.imgSecCheck,security.msgSecCheck等接口,有些小程序审核需要引入这些接口做图文、音频视频等的鉴别,若有违规内容进行效验提示,不然小程序审核可能不通过,不能正常上架使用。

            可以使用云函数的方法来搭建,建立自己的云函数库,引入内容安全审核API,当然也可以引入其他应用的云端API,方便自己小程序应用的调用。下面详细谈谈如何搭建及应用。

    首先,在自己的小程序中引入云函数框架

    1.在project.config.json中引入

    {
    ...
      "cloudfunctionRoot": "cloudfunctions/",
    ...
    }

    2.在app.json中引入

    
    {
      "cloud":true,
    }

    3.建立云函数框架

    其中imgSecCheck,msgSecCheck是建立的云函数目录

    小程序工具中有工具栏

    内容安全调用方法

    //内容安全审查
        wx.cloud.init();
        wx.cloud.callFunction({
          name: 'msgSecCheck', data: { text: content  }
        }).then(res => {
          console.log("内容安全审查结果:"+JSON.stringify(res));
          if (res.result.code == "200") {   //检测通过
          } else {  //执行不通过
            var v_content = res.result.msg;
            return wx.showModal({ title: "提示", content: v_content, showCancel: false, confirmText: "确定", });
            //return false;
          }
        })

     最后注意,修改完代码后要及时上传部署,才能生效,如下图:

    注意,开启本地调试 时,可能会提示“Cannot find module 'wx-server-sdk'”,需要安装依赖包,方法是,在云函数目录右击菜单中选择“在终端打开”,IDE工具控制台出现终端窗口,然后在相应要调试的云函数目录下执行“npm install --save wx-server-sdk”,如下图:

    可能出现的问题:

    1.编译时出现类似报错“Cannot read property 'init' of undefined;at "pages/index/index" page lifeCycleMethod onShow function TypeError: Cannot read property 'init' of undefined“

    答:可以将开发工具的基础库调整至最新即可。参考https://developers.weixin.qq.com/community/develop/doc/000a2e9d79cdb05b9b98c1b7851000

    2.编译时可能出现报错“error code -40001“等。

    答:先配置云函数的运行环境,现在可能官方收费模式,不过可以选择免费版。然后上传部署云函数时,可能提示缺少sdk,选择右击菜单【上传并部署安装依赖】即可。

    本文持续完善。

    展开全文
  • 日前,在2020腾讯全球数字生态大会AI专场上,腾讯优图实验室副总经理黄飞跃发表了以《技术爆炸时代里的优图:从跋山涉水,到越过山丘》为主题的演讲,并正式发布了面向未成年人的内容安全审核解决方案。 这是腾讯...

    日前,在2020腾讯全球数字生态大会AI专场上,腾讯优图实验室副总经理黄飞跃发表了以《技术爆炸时代里的优图:从跋山涉水,到越过山丘》为主题的演讲,并正式发布了面向未成年人的内容安全审核解决方案。

     

    这是腾讯优图联合腾讯天御推出的首个专门面向未成年人的内容安全审核解决方案,既体现了腾讯的相关技术实力,也是公司整体“科技向善”的最新举措。 

     

    01

    开展未成年人内容审核

    势在必行

     

    根据《2019年全国未成年人互联网使用情况研究报告》显示,2019年我国未成年网民规模为1.75亿,未成年人互联网普及率达到93.1%。有统计数据显示,目前我国年龄低于10岁的网民已超过1800万,56%的儿童初次上网的年龄低于5岁。

     

    15.6%的未成年人表示曾遭遇网络侵害,最常见的是网络欺凌、色情引诱、个人信息泄露等。特别是疫情防控期间,网络侵害问题更为突出。这些未成年人因为自身年龄上的差异,对于内容往往没有明确的辨识和过滤能力,极有可能导致身心健康受到影响,甚至在部分极端视频的引导下做出不理智的行为。

     

    目前,我国在多个互联网内容领域均施行了监管审核,但针对更广泛的网络内容监管审核手段较少,存在较大的真空地带,未成年人上网内容审核和分级迫在眉睫。

     

    国家监管机构也已经注意到未成年内容杂乱的情况,国家网信办今年5月启动的2020“清朗”行动中专门组织针对未成年人暑期网络环境的整治,国家扫黄打非办上半年的“护苗2020”专项行动中,更是查删处置淫秽色情、恐怖暴力、低俗恶俗等不良信息超过603万条;查缴非法有害少儿类出版物13.2万多册。此外,查办网上传播涉未成年人色情信息、制售非法有害少儿出版物等“护苗”类案件70多起。

     

    02

    以AI为筛

    净化未成年人网络环境

     

    (腾讯优图实验室副总经理黄飞跃在数字生态大会现场发布“未成年保护解决方案”)

     

    此次推出的未成年保护方案,在标准内容审核基础能力之上增加了很多针对未成年设计的能力。例如性感、抽烟、喝酒等成年人内容,都有相应的识别过滤能力。还专门扩展了违规内容主体是否是未成年人的识别能力,如识别“未成年人直播”、“儿童裸露”等不良行为和图片等。

     

    目前,这套解决方案对于明显色情图片的召回率超过 96%;对于烟赌毒、纹身、床上直播等行为的召回率能够达到80%以上。

     

    在识别“未成年人直播”、“儿童裸露”等不良行为和图片,以“区分14岁以上或以下”为测试标准,准确率接近80%。

     

    也正是因为AI技术的介入,让内容审核的速度和效率大大提升,通过应用“AI机器审核+人工复审”的模式,能够更快更好地覆盖更广泛的内容,让对未成年人的内容管理真正成为可能。

     

    自上线内容安全服务以来,腾讯优图与腾讯天御联合为1500+家平台提供内容安全服务,共计审核图片总量已突破1000亿+,累计拦截不良内容51263万。优化传统内容审核场景,覆盖直播、社交、媒体等十多个行业,协助打击各种不良内容的传播行为,与内容平台共同建设绿色健康的环境。

     

    随着科技的创新发展,AI技术的落地应用在优化生活方式的同时,也不断刷新着我们对于世界的认知。在众多场景规模化应用落地的过程中,腾讯优图始终秉持着“科技向善”的愿景,让AI能够更好的为社会服务。

     

    以本次发布的未成年内容审核解决方案为例,就是腾讯优图首个专门针对未成年人这一网络弱势群体的可落地技术方案。这种基于保护未成年人的技术研发和能力实现,就是腾讯科技向善的最好体现。

     

    (腾讯优图及腾讯天御联合推出面向未成年人的安全审核解决方案)

     

    03

    AI应用场景规模化

    加速产业数字化升级

     

    作为腾讯旗下顶尖的AI实验室,腾讯优图通过视觉AI能力的持续输出,进一步夯实技术底座,为产业互联网提供源源不断的动力。目前,优图通过腾讯云输出超过100+AI原子能力,联合腾讯云打造了超过30种AI技术解决方案,并为数万家内外部客户提供技术服务 ,凭借云+AI的方式打造的TI-Matrix人工智能服务平台,沉淀大量行业模型,解决企业人才和数据积累的问题,让企业在产业互联网的浪潮中实现“降本增效”。

     

    腾讯天御基于腾讯安全20余年黑产攻防经验,依托人工智能的核心和面向场景的风控能力打造内容安全解决方案。为企业提供从内容识别,到平台搭建、策略运营等全流程服务,助力精准识别涉黄、涉恐、涉政等有害内容,基于AI智能风控节省平台审核人力,释放业务安全风险。目前,腾讯天御的内容风控通过腾讯云和微信小程序已服务超过5万家开发者,行业渗透率达90%,审核效率提升20倍以上,业务健康程度达到99.89%。备受年轻人追捧的生活方式平台小红书,在腾讯天御的助力下内容作弊识别能力上提升了30%,打造了更真实多元的内容社区氛围。

     

    在推动产业数字化升级过程中,腾讯优图与腾讯天御将持续前沿技术研究和产业应用落地两条腿走路的发展战略,与腾讯云与智慧产业深度融合,深度挖掘各行各业客户痛点,切实为行业降本增效。同时基于AI开放生态构建,深化产业应用规模化落地,持续助推产业互联网发展,加速实现科技普惠全民美好智慧生活。

    展开全文
  • 校验一张图片是否含有违法违规内容。 应用场景举例: 图片智能鉴黄:涉及拍照的工具类应用(如美拍,识图类应用)用户拍照上传检测;电商类商品上架图片检测;媒体类用户文章里的图片检测等; 敏感人脸识别:用户头像...

    imgSecCheck

    本接口应在后端服务器调用,详细说明参见后端API。
    校验一张图片是否含有违法违规内容。
    应用场景举例:

    1. 图片智能鉴黄:涉及拍照的工具类应用(如美拍,识图类应用)用户拍照上传检测;电商类商品上架图片检测;媒体类用户文章里的图片检测等;
    2. 敏感人脸识别:用户头像;媒体类用户文章里的图片检测;社交类用户上传的图片检测等。 频率限制:单个 appId 调用上限为 2000 次/分钟,200,000 次/天*(图片大小限制:1M)

    请求地址

    POST https://api.weixin.qq.com/wxa/img_sec_check?access_token=ACCESS_TOKEN

    请求参数在这里插入图片描述

    返回值
    返回的 JSON 数据包在这里插入图片描述

    errcode 的合法值在这里插入图片描述

    errMsg 的合法值在这里插入图片描述

    调用示例

    curl -F media=@test.jpg ‘https://api.weixin.qq.com/wxa/img_sec_check?access_token=ACCESS_TOKEN

    msgSecCheck

    本接口应在后端服务器调用,详细说明参见后端API。
    检查一段文本是否含有违法违规内容。
    应用场景举例:

    1. 用户个人资料违规文字检测;
    2. 媒体新闻类用户发表文章,评论内容检测;
    3. 游戏类用户编辑上传的素材(如答题类小游戏用户上传的问题及答案)检测等。 频率限制:单个 appId 调用上限为 4000 次/分钟,2,000,000 次/天*
      请求地址

    POST https://api.weixin.qq.com/wxa/msg_sec_check?access_token=ACCESS_TOKEN

    请求参数在这里插入图片描述

    返回值
    返回的 JSON 数据包在这里插入图片描述

    errcode 的合法值在这里插入图片描述

    errMsg 的合法值在这里插入图片描述

    调用示例

    curl -d ‘{ “content”:“hello world!” }’ ‘https://api.weixin.qq.com/wxa/msg_sec_check?access_token=ACCESS_TOKEN

    测试用例

    特3456书yuuo莞6543李zxcz蒜7782法fgnv级
    完2347全dfji试3726测asad感3847知qwez到

    开发者可使用以上两段文本进行测试,若接口errcode返回87014(内容含有违法违规内容),则对接成功。





    展开全文
  • 调用内容安全 API 实现文本内容自动审核,挺简单的,如果只要用,直接把代码粘贴过去就行。

    今天提交小程序的新版本没过审核,原因如下:
    在这里插入图片描述
    好吧,我就去研究了下内容安全 API。

    微信官方文档 这部分没有示例代码,我去看了几个其他人的代码,发现实现不难,原理不用搞太清,会用就行


    不得不说云开发就是方便,调用都非常简单。

    首先需在 config.json 文件(如没有需新建)中配置 security.msgSecCheck API 的权限,这里官方有讲解

    在这里插入图片描述
    然后云函数 msgCheck 代码如下:

    const cloud = require('wx-server-sdk')
    cloud.init()
    // 云函数入口函数
    exports.main = async (event, context) => {
      try {
        const res = await cloud.openapi.security.msgSecCheck({
          content: event.content
        })
        return res;
      } catch (err) {
        return err;
      }
    }
    

    所以需要传入云函数的参数是 content ,也就是你要检测的内容。

    然后只需在页面的 js 文件中调用这个云函数并传入参数就行了。为了用户体验再加个反馈:

    wx.cloud.callFunction({
          name: 'msgCheck',
          data: {
            content: e.detail.value.msgInput 	//传入我得到的文本内容
          }
        }).then(ckres => {
          console.log(ckres)
          //写审核通过之后的操作 if == 0
          if (ckres.result.errCode == 0) {
            message.add({
              data: {
                imageSrc: this.data.imageSrc,
                name: this.data.name,
                text: e.detail.value.msgInput,
                pageId: this.data.pageId,
              }
            })
          } else {
            wx.showModal({
              title: '留言失败',
              content: '检测到敏感词,请注意言论',
              showCancel: false
            })
          }
        })
    

    云函数返回得数据中会有一个 errCode ,如果审核通过这个值是 0,不通过会返回 87014
    在这里插入图片描述
    测试用例

    特3456书yuuo莞6543李zxcz蒜7782法fgnv级
    完2347全dfji试3726测asad感3847知qwez到
    

    开发者可使用以上两段文本进行测试,若接口 errcode 返回 87014 (内容含有违法违规内容),则对接成功。


    最后说说,微信提供的这个接口并不是很严格,比如骂人的话什么的就都能通过,官方说主要是检测 涉政,色情,违法 这几类。

    同样,官方还提供了图片、媒体的内容安全 API,使用方法基本一致。

    展开全文
  • 极大地提高了内容管控效率,审核准确率较之前提升了30%,同时缩短了用户内容从发布到呈现的周期,有效遏制了违规内容的呈现和传播,保证UGC内容安全、及时的呈现,在保证用户社交体验的同时,为用户提供了更为轻松、...
  • 信息安全审核制度 一严格审核系统所发布消息 1根据法律法规要求必须监视本系统的信息对本系统的信息实行24小时审核巡查防止有人通过本系统发布有害信息如发现传输有害信息应当立即停止传输防止信息扩散保存有关记录...
  • 1.在openapi里的config.json内配置 "openapi": [ "security.imgSecCheck", "security.msgSecCheck" ] 2.在cloudfunctions下创建云函数...3.msgcheck的index.js内容 // 云函数入口文件 const cloud = requ...
  • 讲师潘宇目前是 360 安全研究员,负责 360 手机...做系统安全审计的两大块内容包括哪些? 为什么会出现 Linux 漏洞、PIPE 漏洞等其他类型漏洞? 议程 • 背景介绍 • 排查已知漏洞 • 挖掘未知漏洞 • 修补漏洞 • 展望
  • Windows 日志安全审核

    千次阅读 2015-04-09 09:44:05
    我只是把主要的内容整理了一下备查。   Logon type 2 Interactive 本地交互登录。最常见的登录方式。 Logon type 3 Network 网络登录 - 最常见的是访问网络共享文件夹或打印机。IIS的认证也是Type 3 Logon ...
  • 小程序需要对用户上传的照片文字做审核, 使用珊瑚安全api
  • 在内容审核中,总有一些疏忽,犯下无心之过,导致内容安全问题。就此,网易易盾内容审核团队分享了日常审核中最容易疏漏的点,希望能帮到大家: 图片中与背景色相似的水印(微信、联系方式等),未察觉; ...
  • 阿里云内容安全

    千次阅读 2019-03-29 13:01:11
    大家好,我们都知道最近直播短视频类可以说是非常火爆了,海量的流量随之而来的问题就是鉴别不合规的内容,单纯的依靠人工审核是远远不够的,今天给大家介绍由阿里云推出的内容安全这款产品。 内容安全是一款多媒体...
  • 小程序云开发添加内容审核和图片审核 本文介绍 对于小程序涉及信息的发布操作情景,小程序官方提供了内容审核 接口,本文是来学习审核接口的使用。 ​ 内容审核有很多的实现方式,本次采用的是小程序自带的云函数...
  • 本文属于SQL Server安全专题系列    在SQL Server 安全篇——SQL Server 安全模型(1)——安全性主体层级中提到过,安全分为主动安全和被动安全...SQL Server审核则可以从很大程度上帮助实现被动安全。  但
  •  内容审核员可以借助人机审核平台对自有平台的各类短视频、图像、文本内容进行高效审核,还可借助AI审核模型对审核效率进行提升,极大降低了企业和平台的审核成本,该技术能力主要针对拥有企业审核团队提供的审核员...
  • 信息安全管理体系审核员考试习题汇编,单选、多选、判断、论述等
  • 2020年红日安全星火沙龙PPT,社区风控与发布内容自动化审核系统建设分享
  • 该标准体系基于区块链的内容审核标准体系以促进媒体内容健康可持续发展为目标,从内容审核业务发展实际出发,覆盖基于区块链的内容审核系统、业务流程、安全、管理等环节,促进基于区块链的内容审核系统标准化建设和...
  • 第9章 系统安全策略与审核;密码策略;本章目标;什么是安全 ;Windows Server 2003 安全特性 ;本地安全策略 ;账户策略;账户策略(续) ;本地策略;本地策略(续) ;本地策略(续) ;审核文件及文件夹 ;审核策略 ;审核文件及...
  • 一、审核策略配置 1、打开控制面板 2、打开系统安全 3、点击管理工具 4、点击本地安全策略 5、点击本地策略 6、点击审核策略 7、点击选中策略,确定是否勾选 二、结果查看 1、按win+x...
  • 作为一个网管员,你是否知道在你的主机或...安全审核可以用日志的形式记录好几种与安全相关的事件,你可以使用其中的信息来生成一个有规律活动的概要文件,发现和跟踪可疑事件,并留下关于某一侵入者活动的有效法律证
  • 内容审核简介与应用场景介绍

    千次阅读 2019-12-25 17:07:54
    内容审核(Content Moderation),是基于图像、文本、视频的检测技术,可自动检测涉黄、广告、涉政涉暴、涉政敏感人物等内容,对用户上传的图片、文字、视频进行内容审核,帮助客户降低业务违规风险。 随着互联网的...
  • 想要了解百度大脑新近的开放能力,详解内容审核技术与应用场景,新发布人机协同审核管理平台,请锁定5月15日下午15:00的百度大脑开放日互联网内容安全线上专场,百度大脑特邀合作伙伴国信聚安分享基于百度大脑打造的...
  • 如何确保内容安全? 文字到视频,都是先上传再审核审核后再面向用户,这样的【延时性】能够保证用户接收到的内容一定是合法的、安全的。 然而直播的出现天然与【延时】相悖。 于是,国内各大平台开始推出秒级...
  • 用户原创内容是电商和社区的生命线,...内容安全架构师Kevin Lee和Jeff Sakasegawa在这方面有着相当丰富的经验,他们分享了有关内容审查方面的实践。什么是内容审查?KevinLee:内容审查就是审查你的平台上用户生成...
  • 一、 内容审核行业痛点 随着移动互联网的发展,大众内容消费和自我表达的需求不断升级,以PGC为主的各类在线平台投众所好,提供UGC(用户生产并发布的内容)的功能,而聚焦UGC建立的平台也在不断涌现,催生了“人人...
  • 小程序内容安全api

    千次阅读 2020-02-21 23:53:45
    果不其然微信小程序提交代码审核的时候,审核不通过,提示如下:为避免您的小程序被滥用,请你完善内容审核机制,如调用小程序内容安全API,或使用其他技术、人工审核手段,过滤色情、违法等有害信息,保障发布内容的...
  • 一、你的保护机制有哪些? 第一道防线–业务现场 第二道防线–监督(风险与符合性) 第三道防线–独立保障 二、审核概论 审核 审核的分类 审核的目的 ...审核实施计划--内容 审核实施计划--范例 熟悉必...
  • ​​易盾业务风控周报每周报道值得关注的安全技术和事件,包括但不限于内容安全、移动安全、业务安全和网络安全,帮助企业提高警惕,规避这些似小实大、影响业务健康发展的安全风险。 01.新氧加强内容审核规模并...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 52,007
精华内容 20,802
关键字:

内容安全审核