自5月份以来，国家网信办就在全国开启了2020“清朗”专项行动，全面覆盖各类网络传播渠道和平台，集中清理网上各类违法和不良信息。

在此期间，多个平台也相继发出维护公告，在维护期间将限制对平台的访问。

▲上图为花瓣网和掘金的平台维护公告

当监管潮席卷互联网平台，不乏有平台因为内容安全问题被约谈、要求整改，情节严重的，甚至面临关闭下架风险，这对平台业务来说损失极大。

针对内容安全&内容监管话题，6月9-16日，网易易盾联合人人都是产品经理，发起了一场特别的微信群深度讨论活动，特邀网易易盾的内容安全专家，为大家的提问提供针对性解答。

在这里，我们也为大家整理了群讨论中5个方面的精选问答：

一、不同的内容载体，有哪些内容监管策略？

内容的呈现形式从文本、图片发展到音视频，面对内容展示多样化，如何制定行之有效的内容监管策略？

Q1：针对目前语音违规该如何去规避风险内容，怎么实现降低平台风险性且提升用户体验？

语音违规检测目前主要通过机器检测及人工审核两种途径进行审核。

机器检测主要通过语音识别、声纹检测、语种识别、语义识别等做深度学习的方式来进行，人工审核可针对机器检测不确定部分进行人工再次确认。

为了最大程度提升用户体验，减少因机器检测带来的审核延迟，建议针对热度较高的语音采取先审后发，针对部分热度较低/官方内容采取先发后审策略。

Q2：5G消息下的富媒体内容（包含文本、图片、语音、视频、优惠券）是否有更优的解决方案，尤其是视频，是否有更高效的检测处理方案？

5G来了，必然数据量增多，并发增加，对内容检测的延迟、并发等要求都变高了。因为还没有真正的到5G时代，暂时还没有看到特别大的影响。

我的看法是，检测的技术手段基本不变，还是靠算法模型，规则等等，未来会提高内容检测效率的几个方面：

1、算法更新（比较难，周期慢，完全看科研界的发展速度）；

2、硬件更新（GPU等运算性能提高、成本降低，就可以增强检测算力）；

3、一些解决方案的提升（比如富文本整体解决方案，拿音视频来讲，有的客户需要同时检测声音和画面，最初是分开检测，有两个结果。 后续发展为同时检测，在同一个结果内返回音频和图像检测结果，这样从业务处理上来讲提升了效果。类似的解决方案的提升，也会有一些作用）。

Q3：请问，对于即时通信类产品（如微信），该如何制定内容安全策略以及审核流程，可否讲下相应的想法或思路？如有相关经验，可否介绍一下？

IM基本情况是群聊过检，私聊不过。IM对延迟尤其敏感，同时尽量避免误伤。

有一些策略上的小技巧，比如发送内容如果被检测违规，并且属于比较严重的，可以先对自己可见。

还有像视频这种，需要上传时间的，可以对用户展现的是上传中，而不是分：上传中、检测中，把实际检测时间也包含在上传过程中。这样体验能好点。

特殊时期，检测规则从严处理，尤其对那种踩红线严重违规的。

二、内容审核与用户体验，两者之间如何平衡？

源源不断的UGC内容为平台注入活力，而垃圾内容的滋生却给平台带来负面影响；既要维护平台内容安全，又要考虑用户体验，如何平衡是好？

Q1：平台进行内容审核势必会影响用户体验影响发展，如何平衡内容治理中平台企业的“安全”与“发展”？

核心思路：先保安全，再谈发展！

真被关停了就没有机会发展了。而且我觉着做安全对运营来说是加法，而不是减法，我试想了一下如果一个平台没有任何约束，难免会有一些谩骂灌水之类的，反而影响运营发展，所以安全等于保障了舒适的环境，另外就是平台的一个核心吸引力是优质内容，我理解优质环境+优质内容，这些方面对于平台发展都是不可缺少的。

安全做的多少，和公司发展阶段相关联。初期都是先业务发展，逐渐凸显问题的时候才会逐步加大安全投入。

Q2：如何平衡国家网络安全要求和用户使用自由度这两者？

国家网络安全要求是有红线的，在红线内最大程度给到用户自由，所以关键在于对国家法律法规的正确解读，及时洞察国家政治意识形态，可根据业务场景不同，制定审核严格程度的不同，避免伤及用户体验。

三、不同的岗位，如何做好内容安全？

维护平台内容安全，离不开产品、运营、技术等各部门的协作发力，那不同岗位的同学，在内容安全这条路上会遇到什么问题？

Q1：有时候违规内容和非违规内容的界限比较模糊，机器识别之后还需要人工审核，怎样进行产品设计才能让审核更高效？

一般为了最大程度保持审核的及时性、确保用户体验并保证内容安全，针对机器识别较为确定的结果直接进行处理（例如.机器判定通过的内容可以直接发出、机器判定不通过的内容可以删除）；

仅针对机器无法确定的部分流入人工审核（此时为了保证实际用户的体验，待审核的数据建议保持仅自己可见状态，针对非热点区域亦可采取先发后审策略）。

Q2：如何通过分析，感知平台内容安全态势情况？

基本三方面：

1、第三方的安全审核服务（可以感知总体业务量、违规情况的分类、数量、用户画像等内容），属于最主要的了解业务违规风险的一个渠道；

2、自身运营团队/人审团队 的数据分析（比如抽检）；

3、来自用户的信息（举报、申诉等渠道获知违规内容信息）。

Q3：技术问题，文本过滤主要用到了哪些解决方案，针对不同分类有什么策略，怎么识别富文本的文本过滤？

文本检测的算法结构最底层是通用的基础技术，如分词、词向量等；

中层应用内容安全领域相关的预处理，主要是变种内容的识别和修正；

上层是具体的检测技术，由规则引擎、相似度匹配、传统机器学习模型、深度学习模型4个模块构成。

针对富文本，易盾包装了组合接口解决方案，可将富文本通过接口一次性提交，易盾会自动拆分文本、图片分别过检，返回整体结果。

四、针对内容安全具体问题，网易又是怎么做的？

网易拥有20年内容安全体系建设经验，内部积累了丰富的“反垃圾”经验和数据，针对同学们提出的业务问题，网易有何解决方案？

Q1：易盾是如何进行视频直播和音频内容的审核的？

目前易盾针对直播场景提供了基本机器检测方案，及通过智能电视墙辅助热度检测的人工审核方案：

1.机器检测部分——直播视频目前主要通过截帧来进行过滤，直播语音主要通过感知静默时间，提取语音断句来进行语音检测的方案。

2. 智能审核电视墙——与传统的直播电视墙全量推送纯视频流审核不同，智能审核电视墙依托易盾机器检测智能化分析视频潜在风险，及时告知审核人员，嫌疑视频高亮并放大提醒，多维业务数据辅助审核，辅助热度检测（异常弹幕、异常评论、在线人数激增、礼物数激增等异常指标监控）实时动态变更嫌疑指数，帮助审核人员尽快锁定嫌疑视频，极大提升审核效率，确保视频审核效果。

Q2：如何在特殊时期针对平台安全做预警，常用预警方案？

常规存在如下几种处理方案：

1. 数据强制先审后发；

2. 建议平台对留言区、评论区、头像更换、昵称修改等涉及UGC内容产出高危区域采取短暂关闭处理/停止推送至首页功能；

3. 关闭分享功能。

五、产品经理的职业发展建议

产品经理想要转换职场环境，有哪些行业、岗位值得参考？

Q1：我是一个从内容安全平台离职的产品经理，想跳槽进入其他公司，能匹配的岗位很少，有什么相关领域可以推荐的吗？

如果不想转岗还是产品经理，可以看下目前做内容检测的互联网公司的岗位；如果考虑相关岗位，有关内容检测的，可以看下运营岗位、业务风控部门的岗位。现在看好多客户把内容风控放在了业务风控部门来做。

光看文字不过瘾，来看看群内互动实况，带你感受群内专家与同学们的思维碰撞：

▲上图为网易易盾群讨论互动问答截图

除了前期精彩有料的互动问答活动，6月17日（周三）晚20:00-21:30，网易易盾将在群内开展一场内容分享活动。

届时，网易易盾的内容安全专家，将结合网易20多年在内容安全方面的研究，围绕内容安全监管、内容安全体系搭建等话题，与大家进行分享与话题讨论！