機器磚塊AI聊天審核效果不錯 但沒法替代真人

大型遊戲創作平台《機器磚塊》已經使用機器學習 AI 進行語音聊天審核長達一年，由於該遊戲有著大量的兒童使用者，公司非常重視審核。在近日舉辦的 GDC  2024 年遊戲開發者大會期間，機器磚塊公司高級技術總監 Kiran Bhat 和語音安全負責人 Hannes Heikinheimo 透露雖然 AI 審核取得了良好的效果，但有時候真正的人類還是能把這項工作做的更好。

Bhat 在演講中說道：“即時監控語音聽起來很難，因為要監控語音，你不僅要知道對方在說什麽，還要捕捉對方說話的語氣和強度，以判斷某段話是否真的具有惡意。”

“上下文也是判斷某段話是否具有冒犯性的一部分。所以這是一個非常困難的問題。”

他繼續解釋道，公司通過將違規內容涵蓋到 4 個主要類別當中來應對這些問題，並表示 85% 的違規內容都屬於這些分類，而且“絕大多數”都可以通過 50 個關鍵詞來捕獲。他表示：“如果你已經涵蓋這些類別的前 50 個關鍵詞，那麽已經做的很不錯了。“

語音安全負責人 Heikinheimo 聲稱 AI 監管取得了令人印象深刻的成果：在運行一年後，該系統已覆蓋 31 個國家地區，並且每段“活躍聊天時間”的違規舉報數量減少了一半。使用 AI 的一個優勢是他們沒有情感且不會疲憊，因此在“非常明顯的違規情況下，機器比人類更有效、更穩定”。但是，道高一尺魔高一丈，想要真正理解意圖和進行判斷，他認為“人類仍然強過機器”。

Heikinheimo 說道：“在那些可能非常接近判定邊緣的東西上，人類仍然表現更好。或者在非常罕見的情況下，我們沒有那麽多資料供機器學習系統訓練。所以在這些情況下，人類仍然表現更好。”