微信小程序官网提供内容安全审核接口security.imgSecCheck，security.msgSecCheck等接口，有些小程序审核需要引入这些接口做图文、音频视频等的鉴别，若有违规内容进行效验提示，不然小程序审核可能不通过，不能正常上架使用。
 
        可以使用云函数的方法来搭建，建立自己的云函数库，引入内容安全审核API，当然也可以引入其他应用的云端API，方便自己小程序应用的调用。下面详细谈谈如何搭建及应用。
 
首先，在自己的小程序中引入云函数框架
 
1.在project.config.json中引入
 
{
...
  "cloudfunctionRoot": "cloudfunctions/",
...
}
 
2.在app.json中引入
 

{
  "cloud":true,
}
 
3.建立云函数框架
 
 
其中imgSecCheck，msgSecCheck是建立的云函数目录
 
小程序工具中有工具栏
 
 
内容安全调用方法
 
//内容安全审查
    wx.cloud.init();
    wx.cloud.callFunction({
      name: 'msgSecCheck', data: { text: content  }
    }).then(res => {
      console.log("内容安全审查结果："+JSON.stringify(res));
      if (res.result.code == "200") {   //检测通过
      } else {  //执行不通过
        var v_content = res.result.msg;
        return wx.showModal({ title: "提示", content: v_content, showCancel: false, confirmText: "确定", });
        //return false;
      }
    })
 
 最后注意，修改完代码后要及时上传部署，才能生效，如下图：
 
 
 
注意，开启本地调试 时，可能会提示“Cannot find module 'wx-server-sdk'”，需要安装依赖包，方法是，在云函数目录右击菜单中选择“在终端打开”，IDE工具控制台出现终端窗口，然后在相应要调试的云函数目录下执行“npm install --save wx-server-sdk”，如下图：
 
 
可能出现的问题：
 
1.编译时出现类似报错“Cannot read property 'init' of undefined;at "pages/index/index" page lifeCycleMethod onShow function TypeError: Cannot read property 'init' of undefined“
 
答：可以将开发工具的基础库调整至最新即可。参考https://developers.weixin.qq.com/community/develop/doc/000a2e9d79cdb05b9b98c1b7851000
 
2.编译时可能出现报错“error code -40001“等。
 
答：先配置云函数的运行环境，现在可能官方收费模式，不过可以选择免费版。然后上传部署云函数时，可能提示缺少sdk，选择右击菜单【上传并部署安装依赖】即可。
 
”
 
本文持续完善。

日前，在2020腾讯全球数字生态大会AI专场上，腾讯优图实验室副总经理黄飞跃发表了以《技术爆炸时代里的优图：从跋山涉水，到越过山丘》为主题的演讲，并正式发布了面向未成年人的内容安全审核解决方案。
 
 
 
这是腾讯优图联合腾讯天御推出的首个专门面向未成年人的内容安全审核解决方案，既体现了腾讯的相关技术实力，也是公司整体“科技向善”的最新举措。 
 
 
 
01
 
开展未成年人内容审核
 
势在必行
 
 
 
根据《2019年全国未成年人互联网使用情况研究报告》显示，2019年我国未成年网民规模为1.75亿，未成年人互联网普及率达到93.1%。有统计数据显示，目前我国年龄低于10岁的网民已超过1800万，56%的儿童初次上网的年龄低于5岁。
 
 
 
15.6%的未成年人表示曾遭遇网络侵害，最常见的是网络欺凌、色情引诱、个人信息泄露等。特别是疫情防控期间，网络侵害问题更为突出。这些未成年人因为自身年龄上的差异，对于内容往往没有明确的辨识和过滤能力，极有可能导致身心健康受到影响，甚至在部分极端视频的引导下做出不理智的行为。
 
 
 
目前，我国在多个互联网内容领域均施行了监管审核，但针对更广泛的网络内容监管审核手段较少，存在较大的真空地带，未成年人上网内容审核和分级迫在眉睫。
 
 
 
国家监管机构也已经注意到未成年内容杂乱的情况，国家网信办今年5月启动的2020“清朗”行动中专门组织针对未成年人暑期网络环境的整治，国家扫黄打非办上半年的“护苗2020”专项行动中，更是查删处置淫秽色情、恐怖暴力、低俗恶俗等不良信息超过603万条；查缴非法有害少儿类出版物13.2万多册。此外，查办网上传播涉未成年人色情信息、制售非法有害少儿出版物等“护苗”类案件70多起。
 
 
 
02
 
以AI为筛
 
净化未成年人网络环境
 
 
 
 
（腾讯优图实验室副总经理黄飞跃在数字生态大会现场发布“未成年保护解决方案”）
 
 
 
此次推出的未成年保护方案，在标准内容审核基础能力之上增加了很多针对未成年设计的能力。例如性感、抽烟、喝酒等成年人内容，都有相应的识别过滤能力。还专门扩展了违规内容主体是否是未成年人的识别能力，如识别“未成年人直播”、“儿童裸露”等不良行为和图片等。
 
 
 
目前，这套解决方案对于明显色情图片的召回率超过 96%；对于烟赌毒、纹身、床上直播等行为的召回率能够达到80%以上。
 
 
 
在识别“未成年人直播”、“儿童裸露”等不良行为和图片，以“区分14岁以上或以下”为测试标准，准确率接近80%。
 
 
 
也正是因为AI技术的介入，让内容审核的速度和效率大大提升，通过应用“AI机器审核+人工复审”的模式，能够更快更好地覆盖更广泛的内容，让对未成年人的内容管理真正成为可能。
 
 
 
自上线内容安全服务以来，腾讯优图与腾讯天御联合为1500+家平台提供内容安全服务，共计审核图片总量已突破1000亿+，累计拦截不良内容51263万。优化传统内容审核场景，覆盖直播、社交、媒体等十多个行业，协助打击各种不良内容的传播行为，与内容平台共同建设绿色健康的环境。
 
 
 
随着科技的创新发展，AI技术的落地应用在优化生活方式的同时，也不断刷新着我们对于世界的认知。在众多场景规模化应用落地的过程中，腾讯优图始终秉持着“科技向善”的愿景，让AI能够更好的为社会服务。
 
 
 
以本次发布的未成年内容审核解决方案为例，就是腾讯优图首个专门针对未成年人这一网络弱势群体的可落地技术方案。这种基于保护未成年人的技术研发和能力实现，就是腾讯科技向善的最好体现。
 
 
 
 
（腾讯优图及腾讯天御联合推出面向未成年人的安全审核解决方案）
 
 
 
03
 
AI应用场景规模化
 
加速产业数字化升级
 
 
 
作为腾讯旗下顶尖的AI实验室，腾讯优图通过视觉AI能力的持续输出，进一步夯实技术底座，为产业互联网提供源源不断的动力。目前，优图通过腾讯云输出超过100+AI原子能力，联合腾讯云打造了超过30种AI技术解决方案，并为数万家内外部客户提供技术服务 ，凭借云+AI的方式打造的TI-Matrix人工智能服务平台，沉淀大量行业模型，解决企业人才和数据积累的问题，让企业在产业互联网的浪潮中实现“降本增效”。
 
 
 
腾讯天御基于腾讯安全20余年黑产攻防经验，依托人工智能的核心和面向场景的风控能力打造内容安全解决方案。为企业提供从内容识别，到平台搭建、策略运营等全流程服务，助力精准识别涉黄、涉恐、涉政等有害内容，基于AI智能风控节省平台审核人力，释放业务安全风险。目前，腾讯天御的内容风控通过腾讯云和微信小程序已服务超过5万家开发者，行业渗透率达90%，审核效率提升20倍以上，业务健康程度达到99.89%。备受年轻人追捧的生活方式平台小红书，在腾讯天御的助力下内容作弊识别能力上提升了30%，打造了更真实多元的内容社区氛围。
 
 
 
在推动产业数字化升级过程中，腾讯优图与腾讯天御将持续前沿技术研究和产业应用落地两条腿走路的发展战略，与腾讯云与智慧产业深度融合，深度挖掘各行各业客户痛点，切实为行业降本增效。同时基于AI开放生态构建，深化产业应用规模化落地，持续助推产业互联网发展，加速实现科技普惠全民美好智慧生活。

imgSecCheck
 
本接口应在后端服务器调用，详细说明参见后端API。
 校验一张图片是否含有违法违规内容。
 应用场景举例：
 
图片智能鉴黄：涉及拍照的工具类应用(如美拍，识图类应用)用户拍照上传检测；电商类商品上架图片检测；媒体类用户文章里的图片检测等；
敏感人脸识别：用户头像；媒体类用户文章里的图片检测；社交类用户上传的图片检测等。 频率限制：单个 appId 调用上限为 2000 次/分钟，200,000 次/天*（图片大小限制：1M）
 
请求地址
 
 
 
POST https://api.weixin.qq.com/wxa/img_sec_check?access_token=ACCESS_TOKEN
 
 
请求参数
 
返回值
 返回的 JSON 数据包
 
errcode 的合法值
 
errMsg 的合法值
 
调用示例
 
 
 
curl -F media=@test.jpg ‘https://api.weixin.qq.com/wxa/img_sec_check?access_token=ACCESS_TOKEN’
 
 
msgSecCheck
 
本接口应在后端服务器调用，详细说明参见后端API。
 检查一段文本是否含有违法违规内容。
 应用场景举例：
 
用户个人资料违规文字检测；
媒体新闻类用户发表文章，评论内容检测；
游戏类用户编辑上传的素材(如答题类小游戏用户上传的问题及答案)检测等。 频率限制：单个 appId 调用上限为 4000 次/分钟，2,000,000 次/天*
 请求地址
 
 
 
POST https://api.weixin.qq.com/wxa/msg_sec_check?access_token=ACCESS_TOKEN
 
 
请求参数
 
返回值
 返回的 JSON 数据包
 
errcode 的合法值
 
errMsg 的合法值
 
调用示例
 
 
 
curl -d ‘{ “content”:“hello world!” }’ ‘https://api.weixin.qq.com/wxa/msg_sec_check?access_token=ACCESS_TOKEN’
 
 
测试用例
 
 
 
特3456书yuuo莞6543李zxcz蒜7782法fgnv级
 完2347全dfji试3726测asad感3847知qwez到
 
 
开发者可使用以上两段文本进行测试，若接口errcode返回87014(内容含有违法违规内容)，则对接成功。
 

今天提交小程序的新版本没过审核，原因如下：
 
 好吧，我就去研究了下内容安全 API。
 
微信官方文档 这部分没有示例代码，我去看了几个其他人的代码，发现实现不难，原理不用搞太清，会用就行。
 
 
不得不说云开发就是方便，调用都非常简单。
 
首先需在 config.json 文件（如没有需新建）中配置 security.msgSecCheck API 的权限，这里官方有讲解。
 

 然后云函数 msgCheck 代码如下：
 
const cloud = require('wx-server-sdk')
cloud.init()
// 云函数入口函数
exports.main = async (event, context) => {
  try {
    const res = await cloud.openapi.security.msgSecCheck({
      content: event.content
    })
    return res;
  } catch (err) {
    return err;
  }
}
 
所以需要传入云函数的参数是 content ，也就是你要检测的内容。
 
然后只需在页面的 js 文件中调用这个云函数并传入参数就行了。为了用户体验再加个反馈：
 
wx.cloud.callFunction({
      name: 'msgCheck',
      data: {
        content: e.detail.value.msgInput 	//传入我得到的文本内容
      }
    }).then(ckres => {
      console.log(ckres)
      //写审核通过之后的操作 if == 0
      if (ckres.result.errCode == 0) {
        message.add({
          data: {
            imageSrc: this.data.imageSrc,
            name: this.data.name,
            text: e.detail.value.msgInput,
            pageId: this.data.pageId,
          }
        })
      } else {
        wx.showModal({
          title: '留言失败',
          content: '检测到敏感词,请注意言论',
          showCancel: false
        })
      }
    })
 
云函数返回得数据中会有一个 errCode ，如果审核通过这个值是 0，不通过会返回 87014
 
 测试用例
 
特3456书yuuo莞6543李zxcz蒜7782法fgnv级
完2347全dfji试3726测asad感3847知qwez到
 
开发者可使用以上两段文本进行测试，若接口 errcode 返回 87014 (内容含有违法违规内容)，则对接成功。
 
 
最后说说，微信提供的这个接口并不是很严格，比如骂人的话什么的就都能通过，官方说主要是检测 涉政，色情，违法 这几类。
 
同样，官方还提供了图片、媒体的内容安全 API，使用方法基本一致。