比干的工作電腦里有張共享表格,每天,上萬(wàn)條信息在其中流轉。信息都與國內外的風(fēng)景地標相關(guān),有徒步路線(xiàn)、登山攻略、露營(yíng)指南等等——都來(lái)自小紅書(shū)上的用戶(hù)筆記。


作為小紅書(shū)平臺治理團隊的一員,比干負責“風(fēng)險目的地挖掘”,為平臺用戶(hù)定義哪些地點(diǎn)是有人身風(fēng)險的、不宜輕易前往“打卡”。


經(jīng)用戶(hù)舉報、團隊自主巡查,風(fēng)險地點(diǎn)的線(xiàn)索被更新入表格,由比干查證?!暗谝徊?,全網(wǎng)搜索,這個(gè)地點(diǎn)有沒(méi)有官方或企業(yè)在管理;第二步,去文旅局檢索地點(diǎn)信息,看它是否被開(kāi)發(fā);最后一步,綜合資料和過(guò)往報道,看該地點(diǎn)過(guò)去是否發(fā)生過(guò)游客傷亡事件?!币坏┐_認某地有風(fēng)險,比干會(huì )召回筆記,轉交下一環(huán)節的同事二次審核,再做最終處理:或限流,或置頂安全提醒的筆記,或貼上風(fēng)險提示條。


比干說(shuō),每年六月以后,水庫、湖泊、溪流等涉水筆記大量出現,團隊的工作重心也轉向于此,“涉水地點(diǎn)分幾種,有的是有人管理的,比如水庫、海灘。還有的是無(wú)人看管的小河溝、小溪流,但是也沒(méi)有明確禁止進(jìn)入的標牌。還有一種是雨水蓄積出來(lái)的大水坑,許多用戶(hù)也會(huì )到那里打卡,當做一個(gè)玩水的地點(diǎn)?!倍髢烧咄殡S危險。


她舉例,不久前,團隊發(fā)現天津薊縣有一個(gè)叫神木峽谷的地方,大量出現在近期的用戶(hù)筆記中。經(jīng)她核實(shí),神木峽谷是未開(kāi)發(fā)的野景區,內有山間溪流。團隊將此地定義為“風(fēng)險目的地”,在相關(guān)筆記上做了貼條提醒,“該地有風(fēng)險,請謹慎前往”。


團隊還收到用戶(hù)舉報,稱(chēng)山東濟南狼貓山水庫出現打卡筆記,“經(jīng)查,那個(gè)水庫安全性上是有紕漏的?!北雀膳c同事隨即將相關(guān)筆記打上了“旅游出行,安全第一”的貼條。


僅在今年六月,比干所在的風(fēng)險打卡地專(zhuān)項小組已新增涉水風(fēng)險打卡地超過(guò)70個(gè)。今年1月,小紅書(shū)開(kāi)通了風(fēng)險地點(diǎn)的舉報專(zhuān)線(xiàn),至今據此增添了各類(lèi)風(fēng)險地點(diǎn)共229個(gè)。平臺已標記過(guò)的風(fēng)險地點(diǎn)總數超一千。


比干把自己的工作總結為“發(fā)現問(wèn)題,定義問(wèn)題,解決問(wèn)題”。她說(shuō),自己只是團隊的近四千分之一。


除風(fēng)險打卡地專(zhuān)項小組外,小紅書(shū)平臺治理團隊還有專(zhuān)項小組或隊列十余個(gè),涉及未成年人保護、虛假種草、詐騙等多個(gè)方面,整個(gè)團隊有成員近四千人?!敖咏脚_全部員工的一半?!毙〖t書(shū)副總裁許磊說(shuō)。


許磊表示,在信息爆炸的時(shí)代,平臺要充當“把關(guān)人”的角色,就要做好內容的治理工作。但內容治理并不是簡(jiǎn)單的、流水線(xiàn)式的審查,相反,日常的治理工作有許多可商榷之處——比方說(shuō),哪些內容需要治理?除了法律與道德之外,治理是否還有別的標準?


那么,究竟什么是合理的平臺治理?它的痛點(diǎn)、難點(diǎn)和邊界分別是什么?就以上問(wèn)題,我們對話(huà)了小紅書(shū)副總裁許磊。


把關(guān)人


新京報:現在的平臺治理,與以往有何不同?


許磊:平臺治理隨著(zhù)互聯(lián)網(wǎng)的發(fā)展逐漸演變?yōu)橐粋€(gè)重要行業(yè)。早期的互聯(lián)網(wǎng)平臺以PGC(專(zhuān)業(yè)生產(chǎn)內容)為主,內容生產(chǎn)者是比較固定的,比如門(mén)戶(hù)網(wǎng)站。2000年左右,網(wǎng)絡(luò )上出現了一些小型的論壇。這些論壇內容比較垂直,代表著(zhù)最初的UGC(用戶(hù)生成內容)形態(tài)。但由于這些論壇體量相對較小,內容通常比較固定,版主就可以完成審核工作。


隨后進(jìn)入搜索引擎時(shí)代,搜索引擎集成了海量的動(dòng)態(tài)信息,如果有用戶(hù)報告內容侵權,平臺刪除該內容,就算盡到責任。但到了web2.0時(shí)代,UGC增加,互聯(lián)網(wǎng)用戶(hù)從以論壇為代表的興趣垂類(lèi)社區,逐漸轉移和匯聚到微博、抖音、快手、小紅書(shū)這些用戶(hù)量過(guò)億的平臺上。平臺治理就變得更加復雜了,因為用戶(hù)可以發(fā)表任何內容。所以在UGC時(shí)代,治理很大程度上是事后把關(guān),由平臺來(lái)?yè)巍鞍殃P(guān)人”的角色。2016年,國家出臺了網(wǎng)絡(luò )安全法,逐漸規范了平臺的主體責任。


新京報:在今天,平臺治理具體如何進(jìn)行?


許磊:現在各大平臺的內容審核邏輯比較相似,基本都是先過(guò)機審模型,甄別風(fēng)險。確定有問(wèn)題的,機器就直接處置,不讓內容發(fā)出來(lái)。如果機器篩選出可疑內容,不確定能不能發(fā),就交由人工審核。


我們對于高曝光的,也就是通俗說(shuō)的“爆款”內容,還有兩道人工審核。也就是當內容曝光量到了一定的閾值,一定會(huì )進(jìn)行人工審核。到這個(gè)審核環(huán)節,工作人員的綜合素質(zhì)會(huì )更高,對信息的甄別能力會(huì )更強。


早期,我們不區分隊列,多類(lèi)內容一起審。后來(lái)摸索出要術(shù)業(yè)有專(zhuān)攻,就分出了反詐、危險地打卡等等十余個(gè)隊列,讓團隊成員集中發(fā)展審核某一隊列的能力。我們還在不斷地新增隊列,像2021年年底,新增了醫美的隊列,2022年,新增了未成年人的隊列。


新京報:什么樣的情況下,會(huì )考慮新增隊列?


許磊:我們會(huì )長(cháng)期觀(guān)察危險信號,內部叫做風(fēng)險的挖掘和預警。


首先是要依靠站內舉報,當針對同一問(wèn)題的大量舉報出現,往往就是重要的信號。其次我們也會(huì )關(guān)注是否有異常的內容波動(dòng)——比方說(shuō),低俗化的內容,不一定會(huì )被用戶(hù)舉報,但是突然同時(shí)大量出現,我們就會(huì )加重審核,看是否在引流或導向上有問(wèn)題。


我們還會(huì )依據站外的反饋,比如媒體報道。有時(shí)候媒體報道不只是針對小紅書(shū),而是對整個(gè)行業(yè)進(jìn)行監督。那么如果有別的平臺的問(wèn)題被報道出來(lái),我們也會(huì )參考自查。


2021年,平臺開(kāi)始大量出現醫美相關(guān)的筆記,我們觀(guān)察發(fā)現,這個(gè)行業(yè)有很多灰色空間。那一年也出現了不少醫美亂象的媒體報道。我們綜合研判下來(lái),就新增了醫美的風(fēng)險隊列。


我們有專(zhuān)門(mén)的研判團隊,負責收集信息,定期研判有哪些新的風(fēng)險信號,應采取什么樣的對策,是否要成立專(zhuān)項,等等。


小紅書(shū)在風(fēng)險地點(diǎn)筆記中設置風(fēng)險提示貼條。受訪(fǎng)者供圖


新京報:哪些內容審核需要設立專(zhuān)項?有過(guò)哪些專(zhuān)項?


許磊:通常我們立一個(gè)專(zhuān)項的時(shí)候,都是因為這個(gè)問(wèn)題本身需要被定義得更清晰。反詐就是最典型的,有些詐騙只靠機器就能識別攔截,還有些復雜的殺豬盤(pán),只看單篇筆記內容,并不會(huì )顯得多么異常。我們就要觀(guān)察用戶(hù)的所有過(guò)往筆記,研究他是怎么立人設、養人設,分析他是否有頻繁給其他用戶(hù)發(fā)評論或私信的行為,再判斷是不是詐騙。而且詐騙形式每隔一段時(shí)間就會(huì )更新,也需要我們不斷跟進(jìn)研究。這種時(shí)候就會(huì )成立專(zhuān)項,長(cháng)期跟進(jìn)。


有些專(zhuān)項是長(cháng)期存在的,比如未成年人專(zhuān)項,直到今天還在。它逐漸泛化成一個(gè)大類(lèi)問(wèn)題,過(guò)往的經(jīng)驗可以利用,又不斷有新的問(wèn)題和挑戰出現。未成年人的消費、社交、出行等等一系列方向,都需要我們長(cháng)期關(guān)注。


新京報:一旦鎖定違規內容,平臺的處理方式有哪些?


許磊:最輕的處理方式是限流,限流之外就是攔截,即刪評論、刪筆記,甚至封號。最重的方式是封設備,同一臺手機或者平板,不能再使用小紅書(shū),即使換手機號也不行。


從依靠外部信號到主動(dòng)發(fā)掘


新京報:總的來(lái)說(shuō),平臺治理的難點(diǎn)是什么?


許磊:治理維度可以分為三個(gè)層次,動(dòng)機、行為和結果。結果是最好識別的,比方說(shuō)詐騙行為已經(jīng)產(chǎn)生了,被騙用戶(hù)舉報、投訴或者是報案了,平臺再找尋源頭進(jìn)行治理,就比較容易。動(dòng)機是最難判定的,我們沒(méi)法識別一個(gè)用戶(hù)內心到底在想什么。


平臺治理的重心其實(shí)是在行為層,我們的工作主要是通過(guò)更前置地識別、干預“行為”,避免“結果”的發(fā)生。當信息量足夠大,我們就可以更確定地定性某種“行為”。最難的就是那類(lèi)短文字,有的評論區里,甚至只有一個(gè)字,“私”?!八健弊挚梢源砗芏嗪x,用戶(hù)發(fā)送這個(gè)字,到底是表達要私下達成交易,還是覺(jué)得在公開(kāi)的評論區講話(huà)不方便,想轉去私信溝通?正如《信息論》里講到的,信息量越大,不確定性越小。信息量越小,不確定性越大。


在視頻、圖片、文本等內容類(lèi)型中,其實(shí)最難審的是評論這種“短文本”,這個(gè)時(shí)候,就要結合用戶(hù)的其他筆記、其他交互場(chǎng)景來(lái)判斷,用戶(hù)評論行為可能代表著(zhù)什么。


新京報:你剛才提到,在一些違規行為中,用戶(hù)的發(fā)言是有“變體”的,你們如何識別“變體”?


許磊:前段時(shí)間,打拐志愿者發(fā)文稱(chēng)小紅書(shū)上有非法送養、領(lǐng)養孩子的信息,參與的用戶(hù)還會(huì )有自己的“暗語(yǔ)”。那首先,我們會(huì )在站內收集這類(lèi)可疑的筆記和評論,分析共性。同時(shí)也會(huì )關(guān)注站外輿情,不管是網(wǎng)上的爭議還是媒體的報道,看是否有可用信息。我們會(huì )把所有收集到的信息,整理、歸納、總結,把一些經(jīng)常出現在疑似非法送養、領(lǐng)養內容中的用詞,放入我們自己的詞庫。我們不斷升級完善詞庫、模型,“黑產(chǎn)”也在不斷調整他們的違規內容變體,試圖逃避審核。這是一個(gè)長(cháng)期的對抗過(guò)程,我們會(huì )盡全力對違規內容進(jìn)行識別和攔截。但這只能是一個(gè)后置的工作,因為我們無(wú)法預判有哪些變體會(huì )出現。


這中間也會(huì )出現難以辨別的時(shí)刻?!邦I(lǐng)養”在小紅書(shū)平臺是一個(gè)高頻出現的詞匯,許多人想領(lǐng)養寵物,也是發(fā)筆記或者評論說(shuō)“求領(lǐng)養”,并且會(huì )把寵物也稱(chēng)為“孩子”或者“毛孩子”。如果機器無(wú)法準確識別,就需要我們人工去處理。


在風(fēng)險地點(diǎn)搜索界面,小紅書(shū)置頂安全提示。受訪(fǎng)者供圖


新京報:對于模糊的、難界定的內容,你們治理團隊是如何應對的?


許磊:看事情的嚴重程度,像違法送養、領(lǐng)養孩子,這在法律和道德層面都是很?chē)乐氐膯?wèn)題,平臺也絕不姑息。我們不僅要處理明確的違法內容,部分只是發(fā)帖稱(chēng)自己想收養孩子的賬號,我們也封號了??赡茉诳陀^(guān)上,我們只看到了用戶(hù)的動(dòng)機,持續在平臺上表達自己想要一個(gè)孩子的訴求,不意味著(zhù)一定會(huì )導向非法送養和領(lǐng)養。但是只要我們分析認為,他的動(dòng)機很強,我們就會(huì )用最嚴格的方式,去降低導向違法結果的可能性。


在這樣的背景下,我們在這個(gè)專(zhuān)項中第一批處置了237篇筆記和1914條違規評論。也把違規并有嫌疑的賬號第一時(shí)間提交給了相關(guān)部門(mén)。


此外,我們也有發(fā)布站內公告,告誡大家非法領(lǐng)養和送養是不可取的,收養孩子需要走規范的法律程序。我們希望通過(guò)與用戶(hù)溝通,可以把違法的可能性,從動(dòng)機層面就消除掉。


新京報:平臺治理通常需要依賴(lài)用戶(hù)或外部反饋?


許磊:外部反饋一定是重要的,舉一個(gè)特別典型的例子:去年下半年,有個(gè)用戶(hù)在平臺發(fā)筆記,說(shuō)出門(mén)旅游最便宜實(shí)惠的過(guò)夜方式,就是找個(gè)醫院,謊稱(chēng)自己有疾病,出幾十塊錢(qián)掛號費,然后讓醫生觀(guān)察,在醫院的急診室睡一晚。


這樣的行為,違反公共秩序,也占用公共醫療資源,是平臺反對的。但這又是一個(gè)非常個(gè)體的行為,整個(gè)平臺上,就該用戶(hù)發(fā)了這樣一篇筆記。一直到這篇筆記被轉到別的平臺,上了熱搜,我們團隊才發(fā)現有這么一篇筆記。


但同時(shí),平臺主動(dòng)判別的比例也在上升。治理團隊成立早期,我們是根據輿情做處置,現在,我們日常工作里的一大半,都用來(lái)主動(dòng)探測、監測站內信息,而不是單純依靠外部信號了。隨著(zhù)治理經(jīng)驗的豐富,我們也會(huì )不時(shí)預判一些風(fēng)險點(diǎn)。比方說(shuō),最近到了暑假,我們就知道季節性針對未成年人、學(xué)生的風(fēng)險判別又要加強了。最近我們就觀(guān)察到,平臺多出了許多有償兼職的筆記,真假難辨,可能涉及詐騙,需要抽出人力,留心治理。


用《社區公約》傳遞平臺的內容價(jià)值觀(guān)


新京報:平臺治理的邊界在哪里?如何平衡治理的需求與用戶(hù)的言論自由?


許磊:很多時(shí)候,平臺當然無(wú)法忽略或者代替用戶(hù)的決定權。比方說(shuō)危險地打卡,像虎跳峽,高手去走去攀,完全沒(méi)問(wèn)題,但是對新手來(lái)說(shuō)就風(fēng)險太大。針對類(lèi)似的內容分享,我們就以風(fēng)險提示條為主,給出盡量多的信息,讓用戶(hù)自己決定,要不要去走這個(gè)路線(xiàn)。


平臺治理的一個(gè)原則是,不能不讓別人分享內容,而且要鼓勵那些真誠的分享。比如有些用戶(hù)覺(jué)得某個(gè)涉水景區,夏天適合避暑,但他不一定知道該地遇汛期會(huì )很危險。他發(fā)出了相關(guān)的種草內容,平臺就要幫助他進(jìn)一步判別風(fēng)險,并做好提示。


另一個(gè)原則是保護創(chuàng )作者的感受,抵制引戰的、冒犯的、不友善的評論或筆記,包括炫富的內容在內,會(huì )被限流處理。


新京報:治理團隊內部有規章制度可依循嗎?


許磊:有,我們內部叫做《社區公約》。是我們治理團隊和內容運營(yíng)團隊,集體討論、制定出來(lái)的。隨著(zhù)新風(fēng)險、新問(wèn)題的產(chǎn)生,《社區公約》也會(huì )修訂或更新,向所有用戶(hù)公布。平臺的《社區公約》,往往比法律和公序良俗都要更嚴格一些。



隨著(zhù)新風(fēng)險、新問(wèn)題的產(chǎn)生,小紅書(shū)《社區公約》也會(huì )修訂或更新,向所有用戶(hù)公布。 受訪(fǎng)者供圖


新京報:在未來(lái),平臺治理會(huì )如何發(fā)展?


許磊:在可預見(jiàn)的五年、十年,整個(gè)行業(yè)的平臺治理模式應該都不會(huì )有大的變化,依然是人機結合。但是無(wú)論人或機,都會(huì )不斷提升效率,達成更高效的合作。


我相信內容審核是永遠需要有人來(lái)參與的,人可以做機器無(wú)法做的復雜判定。隨著(zhù)平臺上內容數量的不斷增多,治理團隊也會(huì )不斷擴容。未來(lái)的治理人員會(huì )更專(zhuān)業(yè)、更細分,比如要治理醫療領(lǐng)域的內容,我們就會(huì )招聘有醫學(xué)背景的團隊成員。小紅書(shū)治理團隊也會(huì )持續擴容,加大投入。在平臺治理上我們大的原則還是希望守土有責,對于一些高危的風(fēng)險還是希望絕不姑息,這也是平臺價(jià)值觀(guān)。


文 馮雨昕

編輯 胡杰 校對 張彥君