比干的工作電腦里有張共享表格，每天，上萬(wàn)條信息在其中流轉(zhuǎn)。信息都與國(guó)內(nèi)外的風(fēng)景地標(biāo)相關(guān)，有徒步路線、登山攻略、露營(yíng)指南等等——都來(lái)自小紅書(shū)上的用戶(hù)筆記。
作為小紅書(shū)平臺(tái)治理團(tuán)隊(duì)的一員，比干負(fù)責(zé)“風(fēng)險(xiǎn)目的地挖掘”，為平臺(tái)用戶(hù)定義哪些地點(diǎn)是有人身風(fēng)險(xiǎn)的、不宜輕易前往“打卡”。
經(jīng)用戶(hù)舉報(bào)、團(tuán)隊(duì)自主巡查，風(fēng)險(xiǎn)地點(diǎn)的線索被更新入表格，由比干查證?！暗谝徊?，全網(wǎng)搜索，這個(gè)地點(diǎn)有沒(méi)有官方或企業(yè)在管理;第二步，去文旅局檢索地點(diǎn)信息，看它是否被開(kāi)發(fā);最后一步，綜合資料和過(guò)往報(bào)道，看該地點(diǎn)過(guò)去是否發(fā)生過(guò)游客傷亡事件?！币坏┐_認(rèn)某地有風(fēng)險(xiǎn)，比干會(huì)召回筆記，轉(zhuǎn)交下一環(huán)節(jié)的同事二次審核，再做最終處理：或限流，或置頂安全提醒的筆記，或貼上風(fēng)險(xiǎn)提示條。
比干說(shuō)，每年六月以后，水庫(kù)、湖泊、溪流等涉水筆記大量出現(xiàn)，團(tuán)隊(duì)的工作重心也轉(zhuǎn)向于此，“涉水地點(diǎn)分幾種，有的是有人管理的，比如水庫(kù)、海灘。還有的是無(wú)人看管的小河溝、小溪流，但是也沒(méi)有明確禁止進(jìn)入的標(biāo)牌。還有一種是雨水蓄積出來(lái)的大水坑，許多用戶(hù)也會(huì)到那里打卡，當(dāng)做一個(gè)玩水的地點(diǎn)?！倍髢烧咄殡S危險(xiǎn)。
她舉例，不久前，團(tuán)隊(duì)發(fā)現(xiàn)天津薊縣有一個(gè)叫神木峽谷的地方，大量出現(xiàn)在近期的用戶(hù)筆記中。經(jīng)她核實(shí)，神木峽谷是未開(kāi)發(fā)的野景區(qū)，內(nèi)有山間溪流。團(tuán)隊(duì)將此地定義為“風(fēng)險(xiǎn)目的地”，在相關(guān)筆記上做了貼條提醒，“該地有風(fēng)險(xiǎn)，請(qǐng)謹(jǐn)慎前往”。
團(tuán)隊(duì)還收到用戶(hù)舉報(bào)，稱(chēng)山東濟(jì)南狼貓山水庫(kù)出現(xiàn)打卡筆記，“經(jīng)查，那個(gè)水庫(kù)安全性上是有紕漏的。”比干與同事隨即將相關(guān)筆記打上了“旅游出行，安全第一”的貼條。
僅在今年六月，比干所在的風(fēng)險(xiǎn)打卡地專(zhuān)項(xiàng)小組已新增涉水風(fēng)險(xiǎn)打卡地超過(guò)70個(gè)。今年1月，小紅書(shū)開(kāi)通了風(fēng)險(xiǎn)地點(diǎn)的舉報(bào)專(zhuān)線，至今據(jù)此增添了各類(lèi)風(fēng)險(xiǎn)地點(diǎn)共229個(gè)。平臺(tái)已標(biāo)記過(guò)的風(fēng)險(xiǎn)地點(diǎn)總數(shù)超一千。
比干把自己的工作總結(jié)為“發(fā)現(xiàn)問(wèn)題，定義問(wèn)題，解決問(wèn)題”。她說(shuō)，自己只是團(tuán)隊(duì)的近四千分之一。
除風(fēng)險(xiǎn)打卡地專(zhuān)項(xiàng)小組外，小紅書(shū)平臺(tái)治理團(tuán)隊(duì)還有專(zhuān)項(xiàng)小組或隊(duì)列十余個(gè)，涉及未成年人保護(hù)、虛假種草、詐騙等多個(gè)方面，整個(gè)團(tuán)隊(duì)有成員近四千人?！敖咏脚_(tái)全部員工的一半?！毙〖t書(shū)副總裁許磊說(shuō)。
許磊表示，在信息爆炸的時(shí)代，平臺(tái)要充當(dāng)“把關(guān)人”的角色，就要做好內(nèi)容的治理工作。但內(nèi)容治理并不是簡(jiǎn)單的、流水線式的審查，相反，日常的治理工作有許多可商榷之處——比方說(shuō)，哪些內(nèi)容需要治理?除了法律與道德之外，治理是否還有別的標(biāo)準(zhǔn)?
那么，究竟什么是合理的平臺(tái)治理?它的痛點(diǎn)、難點(diǎn)和邊界分別是什么?就以上問(wèn)題，我們對(duì)話了小紅書(shū)副總裁許磊。
把關(guān)人
新京報(bào)：現(xiàn)在的平臺(tái)治理，與以往有何不同?
許磊：平臺(tái)治理隨著互聯(lián)網(wǎng)的發(fā)展逐漸演變?yōu)橐粋€(gè)重要行業(yè)。早期的互聯(lián)網(wǎng)平臺(tái)以PGC(專(zhuān)業(yè)生產(chǎn)內(nèi)容)為主，內(nèi)容生產(chǎn)者是比較固定的，比如門(mén)戶(hù)網(wǎng)站。2000年左右，網(wǎng)絡(luò)上出現(xiàn)了一些小型的論壇。這些論壇內(nèi)容比較垂直，代表著最初的UGC(用戶(hù)生成內(nèi)容)形態(tài)。但由于這些論壇體量相對(duì)較小，內(nèi)容通常比較固定，版主就可以完成審核工作。
隨后進(jìn)入搜索引擎時(shí)代，搜索引擎集成了海量的動(dòng)態(tài)信息，如果有用戶(hù)報(bào)告內(nèi)容侵權(quán)，平臺(tái)刪除該內(nèi)容，就算盡到責(zé)任。但到了web2.0時(shí)代，UGC增加，互聯(lián)網(wǎng)用戶(hù)從以論壇為代表的興趣垂類(lèi)社區(qū)，逐漸轉(zhuǎn)移和匯聚到微博、抖音、快手、小紅書(shū)這些用戶(hù)量過(guò)億的平臺(tái)上。平臺(tái)治理就變得更加復(fù)雜了，因?yàn)橛脩?hù)可以發(fā)表任何內(nèi)容。所以在UGC時(shí)代，治理很大程度上是事后把關(guān)，由平臺(tái)來(lái)?yè)?dān)任“把關(guān)人”的角色。2016年，國(guó)家出臺(tái)了網(wǎng)絡(luò)安全法，逐漸規(guī)范了平臺(tái)的主體責(zé)任。
新京報(bào)：在今天，平臺(tái)治理具體如何進(jìn)行?
許磊：現(xiàn)在各大平臺(tái)的內(nèi)容審核邏輯比較相似，基本都是先過(guò)機(jī)審模型，甄別風(fēng)險(xiǎn)。確定有問(wèn)題的，機(jī)器就直接處置，不讓內(nèi)容發(fā)出來(lái)。如果機(jī)器篩選出可疑內(nèi)容，不確定能不能發(fā)，就交由人工審核。
我們對(duì)于高曝光的，也就是通俗說(shuō)的“爆款”內(nèi)容，還有兩道人工審核。也就是當(dāng)內(nèi)容曝光量到了一定的閾值，一定會(huì)進(jìn)行人工審核。到這個(gè)審核環(huán)節(jié)，工作人員的綜合素質(zhì)會(huì)更高，對(duì)信息的甄別能力會(huì)更強(qiáng)。
早期，我們不區(qū)分隊(duì)列，多類(lèi)內(nèi)容一起審。后來(lái)摸索出要術(shù)業(yè)有專(zhuān)攻，就分出了反詐、危險(xiǎn)地打卡等等十余個(gè)隊(duì)列，讓團(tuán)隊(duì)成員集中發(fā)展審核某一隊(duì)列的能力。我們還在不斷地新增隊(duì)列，像2021年年底，新增了醫(yī)美的隊(duì)列，2022年，新增了未成年人的隊(duì)列。
新京報(bào)：什么樣的情況下，會(huì)考慮新增隊(duì)列?
許磊：我們會(huì)長(zhǎng)期觀察危險(xiǎn)信號(hào)，內(nèi)部叫做風(fēng)險(xiǎn)的挖掘和預(yù)警。
首先是要依靠站內(nèi)舉報(bào)，當(dāng)針對(duì)同一問(wèn)題的大量舉報(bào)出現(xiàn)，往往就是重要的信號(hào)。其次我們也會(huì)關(guān)注是否有異常的內(nèi)容波動(dòng)——比方說(shuō)，低俗化的內(nèi)容，不一定會(huì)被用戶(hù)舉報(bào)，但是突然同時(shí)大量出現(xiàn)，我們就會(huì)加重審核，看是否在引流或?qū)蛏嫌袉?wèn)題。
我們還會(huì)依據(jù)站外的反饋，比如媒體報(bào)道。有時(shí)候媒體報(bào)道不只是針對(duì)小紅書(shū)，而是對(duì)整個(gè)行業(yè)進(jìn)行監(jiān)督。那么如果有別的平臺(tái)的問(wèn)題被報(bào)道出來(lái)，我們也會(huì)參考自查。
2021年，平臺(tái)開(kāi)始大量出現(xiàn)醫(yī)美相關(guān)的筆記，我們觀察發(fā)現(xiàn)，這個(gè)行業(yè)有很多灰色空間。那一年也出現(xiàn)了不少醫(yī)美亂象的媒體報(bào)道。我們綜合研判下來(lái)，就新增了醫(yī)美的風(fēng)險(xiǎn)隊(duì)列。
我們有專(zhuān)門(mén)的研判團(tuán)隊(duì)，負(fù)責(zé)收集信息，定期研判有哪些新的風(fēng)險(xiǎn)信號(hào)，應(yīng)采取什么樣的對(duì)策，是否要成立專(zhuān)項(xiàng)，等等。
小紅書(shū)在風(fēng)險(xiǎn)地點(diǎn)筆記中設(shè)置風(fēng)險(xiǎn)提示貼條。受訪者供圖
新京報(bào)：哪些內(nèi)容審核需要設(shè)立專(zhuān)項(xiàng)?有過(guò)哪些專(zhuān)項(xiàng)?
許磊：通常我們立一個(gè)專(zhuān)項(xiàng)的時(shí)候，都是因?yàn)檫@個(gè)問(wèn)題本身需要被定義得更清晰。反詐就是最典型的，有些詐騙只靠機(jī)器就能識(shí)別攔截，還有些復(fù)雜的殺豬盤(pán)，只看單篇筆記內(nèi)容，并不會(huì)顯得多么異常。我們就要觀察用戶(hù)的所有過(guò)往筆記，研究他是怎么立人設(shè)、養(yǎng)人設(shè)，分析他是否有頻繁給其他用戶(hù)發(fā)評(píng)論或私信的行為，再判斷是不是詐騙。而且詐騙形式每隔一段時(shí)間就會(huì)更新，也需要我們不斷跟進(jìn)研究。這種時(shí)候就會(huì)成立專(zhuān)項(xiàng)，長(zhǎng)期跟進(jìn)。
有些專(zhuān)項(xiàng)是長(zhǎng)期存在的，比如未成年人專(zhuān)項(xiàng)，直到今天還在。它逐漸泛化成一個(gè)大類(lèi)問(wèn)題，過(guò)往的經(jīng)驗(yàn)可以利用，又不斷有新的問(wèn)題和挑戰(zhàn)出現(xiàn)。未成年人的消費(fèi)、社交、出行等等一系列方向，都需要我們長(zhǎng)期關(guān)注。
新京報(bào)：一旦鎖定違規(guī)內(nèi)容，平臺(tái)的處理方式有哪些?
許磊：最輕的處理方式是限流，限流之外就是攔截，即刪評(píng)論、刪筆記，甚至封號(hào)。最重的方式是封設(shè)備，同一臺(tái)手機(jī)或者平板，不能再使用小紅書(shū)，即使換手機(jī)號(hào)也不行。
從依靠外部信號(hào)到主動(dòng)發(fā)掘
新京報(bào)：總的來(lái)說(shuō)，平臺(tái)治理的難點(diǎn)是什么?
許磊：治理維度可以分為三個(gè)層次，動(dòng)機(jī)、行為和結(jié)果。結(jié)果是最好識(shí)別的，比方說(shuō)詐騙行為已經(jīng)產(chǎn)生了，被騙用戶(hù)舉報(bào)、投訴或者是報(bào)案了，平臺(tái)再找尋源頭進(jìn)行治理，就比較容易。動(dòng)機(jī)是最難判定的，我們沒(méi)法識(shí)別一個(gè)用戶(hù)內(nèi)心到底在想什么。
平臺(tái)治理的重心其實(shí)是在行為層，我們的工作主要是通過(guò)更前置地識(shí)別、干預(yù)“行為”，避免“結(jié)果”的發(fā)生。當(dāng)信息量足夠大，我們就可以更確定地定性某種“行為”。最難的就是那類(lèi)短文字，有的評(píng)論區(qū)里，甚至只有一個(gè)字，“私”?！八健弊挚梢源砗芏嗪x，用戶(hù)發(fā)送這個(gè)字，到底是表達(dá)要私下達(dá)成交易，還是覺(jué)得在公開(kāi)的評(píng)論區(qū)講話不方便，想轉(zhuǎn)去私信溝通?正如《信息論》里講到的，信息量越大，不確定性越小。信息量越小，不確定性越大。
在視頻、圖片、文本等內(nèi)容類(lèi)型中，其實(shí)最難審的是評(píng)論這種“短文本”，這個(gè)時(shí)候，就要結(jié)合用戶(hù)的其他筆記、其他交互場(chǎng)景來(lái)判斷，用戶(hù)評(píng)論行為可能代表著什么。
新京報(bào)：你剛才提到，在一些違規(guī)行為中，用戶(hù)的發(fā)言是有“變體”的，你們?nèi)绾巫R(shí)別“變體”?
許磊：前段時(shí)間，打拐志愿者發(fā)文稱(chēng)小紅書(shū)上有非法送養(yǎng)、領(lǐng)養(yǎng)孩子的信息，參與的用戶(hù)還會(huì)有自己的“暗語(yǔ)”。那首先，我們會(huì)在站內(nèi)收集這類(lèi)可疑的筆記和評(píng)論，分析共性。同時(shí)也會(huì)關(guān)注站外輿情，不管是網(wǎng)上的爭(zhēng)議還是媒體的報(bào)道，看是否有可用信息。我們會(huì)把所有收集到的信息，整理、歸納、總結(jié)，把一些經(jīng)常出現(xiàn)在疑似非法送養(yǎng)、領(lǐng)養(yǎng)內(nèi)容中的用詞，放入我們自己的詞庫(kù)。我們不斷升級(jí)完善詞庫(kù)、模型，“黑產(chǎn)”也在不斷調(diào)整他們的違規(guī)內(nèi)容變體，試圖逃避審核。這是一個(gè)長(zhǎng)期的對(duì)抗過(guò)程，我們會(huì)盡全力對(duì)違規(guī)內(nèi)容進(jìn)行識(shí)別和攔截。但這只能是一個(gè)后置的工作，因?yàn)槲覀儫o(wú)法預(yù)判有哪些變體會(huì)出現(xiàn)。
這中間也會(huì)出現(xiàn)難以辨別的時(shí)刻?！邦I(lǐng)養(yǎng)”在小紅書(shū)平臺(tái)是一個(gè)高頻出現(xiàn)的詞匯，許多人想領(lǐng)養(yǎng)寵物，也是發(fā)筆記或者評(píng)論說(shuō)“求領(lǐng)養(yǎng)”，并且會(huì)把寵物也稱(chēng)為“孩子”或者“毛孩子”。如果機(jī)器無(wú)法準(zhǔn)確識(shí)別，就需要我們?nèi)斯とヌ幚怼?/p>
在風(fēng)險(xiǎn)地點(diǎn)搜索界面，小紅書(shū)置頂安全提示。受訪者供圖
新京報(bào)：對(duì)于模糊的、難界定的內(nèi)容，你們治理團(tuán)隊(duì)是如何應(yīng)對(duì)的?
許磊：看事情的嚴(yán)重程度，像違法送養(yǎng)、領(lǐng)養(yǎng)孩子，這在法律和道德層面都是很?chē)?yán)重的問(wèn)題，平臺(tái)也絕不姑息。我們不僅要處理明確的違法內(nèi)容，部分只是發(fā)帖稱(chēng)自己想收養(yǎng)孩子的賬號(hào)，我們也封號(hào)了。可能在客觀上，我們只看到了用戶(hù)的動(dòng)機(jī)，持續(xù)在平臺(tái)上表達(dá)自己想要一個(gè)孩子的訴求，不意味著一定會(huì)導(dǎo)向非法送養(yǎng)和領(lǐng)養(yǎng)。但是只要我們分析認(rèn)為，他的動(dòng)機(jī)很強(qiáng)，我們就會(huì)用最嚴(yán)格的方式，去降低導(dǎo)向違法結(jié)果的可能性。
在這樣的背景下，我們?cè)谶@個(gè)專(zhuān)項(xiàng)中第一批處置了237篇筆記和1914條違規(guī)評(píng)論。也把違規(guī)并有嫌疑的賬號(hào)第一時(shí)間提交給了相關(guān)部門(mén)。
此外，我們也有發(fā)布站內(nèi)公告，告誡大家非法領(lǐng)養(yǎng)和送養(yǎng)是不可取的，收養(yǎng)孩子需要走規(guī)范的法律程序。我們希望通過(guò)與用戶(hù)溝通，可以把違法的可能性，從動(dòng)機(jī)層面就消除掉。
新京報(bào)：平臺(tái)治理通常需要依賴(lài)用戶(hù)或外部反饋?
許磊：外部反饋一定是重要的，舉一個(gè)特別典型的例子：去年下半年，有個(gè)用戶(hù)在平臺(tái)發(fā)筆記，說(shuō)出門(mén)旅游最便宜實(shí)惠的過(guò)夜方式，就是找個(gè)醫(yī)院，謊稱(chēng)自己有疾病，出幾十塊錢(qián)掛號(hào)費(fèi)，然后讓醫(yī)生觀察，在醫(yī)院的急診室睡一晚。
這樣的行為，違反公共秩序，也占用公共醫(yī)療資源，是平臺(tái)反對(duì)的。但這又是一個(gè)非常個(gè)體的行為，整個(gè)平臺(tái)上，就該用戶(hù)發(fā)了這樣一篇筆記。一直到這篇筆記被轉(zhuǎn)到別的平臺(tái)，上了熱搜，我們團(tuán)隊(duì)才發(fā)現(xiàn)有這么一篇筆記。
但同時(shí)，平臺(tái)主動(dòng)判別的比例也在上升。治理團(tuán)隊(duì)成立早期，我們是根據(jù)輿情做處置，現(xiàn)在，我們?nèi)粘９ぷ骼锏囊淮蟀耄加脕?lái)主動(dòng)探測(cè)、監(jiān)測(cè)站內(nèi)信息，而不是單純依靠外部信號(hào)了。隨著治理經(jīng)驗(yàn)的豐富，我們也會(huì)不時(shí)預(yù)判一些風(fēng)險(xiǎn)點(diǎn)。比方說(shuō)，最近到了暑假，我們就知道季節(jié)性針對(duì)未成年人、學(xué)生的風(fēng)險(xiǎn)判別又要加強(qiáng)了。最近我們就觀察到，平臺(tái)多出了許多有償兼職的筆記，真假難辨，可能涉及詐騙，需要抽出人力，留心治理。
用《社區(qū)公約》傳遞平臺(tái)的內(nèi)容價(jià)值觀
新京報(bào)：平臺(tái)治理的邊界在哪里?如何平衡治理的需求與用戶(hù)的言論自由?
許磊：很多時(shí)候，平臺(tái)當(dāng)然無(wú)法忽略或者代替用戶(hù)的決定權(quán)。比方說(shuō)危險(xiǎn)地打卡，像虎跳峽，高手去走去攀，完全沒(méi)問(wèn)題，但是對(duì)新手來(lái)說(shuō)就風(fēng)險(xiǎn)太大。針對(duì)類(lèi)似的內(nèi)容分享，我們就以風(fēng)險(xiǎn)提示條為主，給出盡量多的信息，讓用戶(hù)自己決定，要不要去走這個(gè)路線。
平臺(tái)治理的一個(gè)原則是，不能不讓別人分享內(nèi)容，而且要鼓勵(lì)那些真誠(chéng)的分享。比如有些用戶(hù)覺(jué)得某個(gè)涉水景區(qū)，夏天適合避暑，但他不一定知道該地遇汛期會(huì)很危險(xiǎn)。他發(fā)出了相關(guān)的種草內(nèi)容，平臺(tái)就要幫助他進(jìn)一步判別風(fēng)險(xiǎn)，并做好提示。
另一個(gè)原則是保護(hù)創(chuàng)作者的感受，抵制引戰(zhàn)的、冒犯的、不友善的評(píng)論或筆記，包括炫富的內(nèi)容在內(nèi)，會(huì)被限流處理。
新京報(bào)：治理團(tuán)隊(duì)內(nèi)部有規(guī)章制度可依循嗎?
許磊：有，我們內(nèi)部叫做《社區(qū)公約》。是我們治理團(tuán)隊(duì)和內(nèi)容運(yùn)營(yíng)團(tuán)隊(duì)，集體討論、制定出來(lái)的。隨著新風(fēng)險(xiǎn)、新問(wèn)題的產(chǎn)生，《社區(qū)公約》也會(huì)修訂或更新，向所有用戶(hù)公布。平臺(tái)的《社區(qū)公約》，往往比法律和公序良俗都要更嚴(yán)格一些。
隨著新風(fēng)險(xiǎn)、新問(wèn)題的產(chǎn)生，小紅書(shū)《社區(qū)公約》也會(huì)修訂或更新，向所有用戶(hù)公布。 受訪者供圖
新京報(bào)：在未來(lái)，平臺(tái)治理會(huì)如何發(fā)展?
許磊：在可預(yù)見(jiàn)的五年、十年，整個(gè)行業(yè)的平臺(tái)治理模式應(yīng)該都不會(huì)有大的變化，依然是人機(jī)結(jié)合。但是無(wú)論人或機(jī)，都會(huì)不斷提升效率，達(dá)成更高效的合作。
我相信內(nèi)容審核是永遠(yuǎn)需要有人來(lái)參與的，人可以做機(jī)器無(wú)法做的復(fù)雜判定。隨著平臺(tái)上內(nèi)容數(shù)量的不斷增多，治理團(tuán)隊(duì)也會(huì)不斷擴(kuò)容。未來(lái)的治理人員會(huì)更專(zhuān)業(yè)、更細(xì)分，比如要治理醫(yī)療領(lǐng)域的內(nèi)容，我們就會(huì)招聘有醫(yī)學(xué)背景的團(tuán)隊(duì)成員。小紅書(shū)治理團(tuán)隊(duì)也會(huì)持續(xù)擴(kuò)容，加大投入。在平臺(tái)治理上我們大的原則還是希望守土有責(zé)，對(duì)于一些高危的風(fēng)險(xiǎn)還是希望絕不姑息，這也是平臺(tái)價(jià)值觀。
文 馮雨昕
編輯 胡杰 校對(duì) 張彥君
