以假亂真
《線上點評系統中的自動眾包攻擊和防禦》是趙燕斌等芝加哥大學研究人員發佈的一篇論文。他們的研究說明,人工智慧可以被用來生成複雜的點評資訊。這些虛假的點評不僅機器無法檢測出來,就連人類讀者也分辨不出來。
所謂複雜的點評資訊,大概是這個樣子:“我喜歡這個地方。我跟我哥一起去的,我們點了素食意大利麵,很好吃。啤酒不錯,服務也很棒。推薦這個地方,是個吃早餐的好去處。地兒小但是買賣大”。
乍一看這個點評沒有什麼奇怪的,裏面包含一些具體的建議和可信的描述,雖然最後一句有點奇怪,但整體仍然是一段說人話的表達。
實際上,這句話是一種稱為RNN(迴圈神經網絡)的深度學習技術生成的。這個RNN
網絡使用了上千條真實線上點評訓練而成。
研究人員表示,AI生成的點評已經做到了“以假亂真”,有600個用戶參與的調查顯示,這些虛假的點評不僅能逃過人類的法眼,而且還被用戶認為“有用”。
“有用”是更可怕的事情:這表明虛假點評已經可以對人類造成影響。
反抄襲軟體也對這些虛假點評無能為力,因為這些點評是逐字生成的,而不是簡單的替換已有點評中的用詞。如果使用反抄襲軟體檢測,不但很難檢測出虛假點評,而且會“誤傷”一大批真實的點評。RNN可不僅僅是對現有點評的複製。
好消息是,現在還沒有AI在現實世界中生成惡意虛假點評的案例。
壞消息是,構建一個這樣的人工智慧系統,並不需要太長的時間,所需硬體市面上都能買到,所需的點評資料庫可以在網上輕易獲得。
仍有對策
如果有人開始大規模生產這種假點評,大眾點評、Yelp這樣的網站恐怕就沒有好日子過了,畢竟,它們的招牌就是來自用戶的真實點評,如果每一條都可能是假的,誰又會繼續相信它們呢?
接下來淪陷的,會是淘寶京東亞馬遜之類的電商,雖然趙燕斌說至少它們還能限制只有買過該商品的用戶才能點評,但情況也不容樂觀。
不過,也有好消息。
研究者們說,這種假點評也不是完全沒法防範,人類覺得它們能以假亂真,但機器不見得這麼看。用電腦去分析字元的分佈等特徵,他們就會發現真假點評之間存在著細微的差異。
假點評是從真實點評裏學出來的,在這個過程中,難免會有資訊流失。假點評注重的是流暢、可信,但像字元分佈這種平時沒人關注的特徵,就做得不那麼好了。
當然,攻擊者也可以騙過檢測,換好一點的硬體,做更複雜一點的神經網絡就行。但這種檢測的意義在於至少提高了攻擊的門檻,為他們設置了一些障礙。
如果攻擊的成本高到一定程度,大部分沒那麼執著的攻擊者也就收手了。趙燕斌說:“這就是一種勝利,所有的安全工作都是這樣,提高攻擊的門檻。你永遠沒辦法阻止那種目標堅定、身手老練的攻擊者。”◆
趙燕斌說他想傳遞的資訊很“簡單”:“我希望安全界的人能和我一起,關注這類問題,這樣我們才有希望趕上。我認為,AI以驚人的速度和加速度在發展,如果我們不立刻開始研究如何抵禦,可能永遠都趕不上了。”
AI 點評能力是真是假?
我們來個小測驗吧。
這裡有6個案例,其中有一些是神經網絡(AI)生成的虛假點評,其他的是真實的人類點評。你看看是否能分辨出來是真是假。
1、我最喜歡去的意大利餐廳。大愛這家菜品,一切都很棒。我推薦生牛肉配蘆筍。可惜現在名氣太大了,越來越難在黃金時間預定到座位。
2、我們全家都是這間餐廳的超級粉絲。工作人員非常奈斯,食物很棒。雞肉非常好吃,蒜汁堪稱完美。上面配有水果的冰淇淋也很美味。強烈推薦!
3、每年聖誕節我都來,最愛意大利麵!物有所值!
4、非常好的披薩、烤寬麵條以及最好吃的扇貝之一。甜品很大很美味。
5、這裡的食物好吃得驚人,份量也很大。芝士百吉餅做得非常完美,新鮮又美味!服務很快。毫無疑問是我們最愛的地方!我們還會回來的!
6、我來這吃飯已經一年半了,除了好吃我無話可說。我總是點披薩,意大利牛肉也很好,給我留下深刻印象。服務非常出色。是我見過的服務最好的餐廳。強烈推薦。
你看出哪些點評有問題了麼?