Facebook謀殺“失控”機(jī)器人？一個(gè)常見bug引發(fā)的恐慌鬧劇

近日，當(dāng)兩個(gè)砍價(jià)機(jī)器人的聊天訓(xùn)練最終演變?yōu)楹詠y語后，F(xiàn)ACEBOOK決定暫停整改這個(gè)項(xiàng)目。

這本來只是一個(gè)AI項(xiàng)目研發(fā)中，因?yàn)椤蔼剟睢辈幻鞔_出現(xiàn)的再正常不過的BUG，被整改也是因?yàn)橛?xùn)練結(jié)果背離了開發(fā)者的期望。然而，這個(gè)小事故卻被鋪天蓋地的媒體報(bào)道過度解讀成了一段堪比“終結(jié)者”的機(jī)器失控，以及人類為了自我解救展開的“屠殺”。ELON MUSK和小扎剛就AI悲觀論干完一架，這件小事也就順勢引起了一眾吃瓜群眾的恐慌。

倫敦帝國學(xué)院教授、DEEPMIND高級研究科學(xué)家MURRAY SHANAHAN的評論也許可以總結(jié)這個(gè)荒謬的局面：臉書這個(gè)實(shí)驗(yàn)性代碼出了個(gè)有趣的小故障，結(jié)果就被不負(fù)責(zé)任的媒體盯上了。

6月中旬，F(xiàn)ACEBOOK人工智能研究所（FAIR）的研究人員發(fā)布了一篇論文，介紹了他們研發(fā)的機(jī)器人具有的新功能 ：談判能力。有趣的是，機(jī)器人有時(shí)會假裝對無價(jià)值項(xiàng)目感興趣，只有通過放棄它才能“妥協(xié)” ——這是人們經(jīng)常使用的有效談判策略。

之后，F(xiàn)ACEBOOK 人工智能研究所（FAIR）繼續(xù)用機(jī)器學(xué)習(xí)對兩個(gè)聊天機(jī)器人進(jìn)行對話策略升級，結(jié)果發(fā)現(xiàn)它們自行發(fā)展出了人類無法理解的獨(dú)特語言。

一批頗具知名度的海外科技媒體首先報(bào)道了此次事故：“FACEBOOK引發(fā)廣泛爭議的智能對話機(jī)器人項(xiàng)目發(fā)明了人類無法理解的語言?！?/p>

6月20日，《大西洋月刊》公布了FACEBOOK研發(fā)的AI機(jī)器人BOB和ALICE的一段“對話”記錄，并稱“機(jī)器人創(chuàng)造了人類無法理解的語言”，引起了大批恐慌。

幾天前，F(xiàn)ACEBOOK 的研究院宣布暫停整改這一項(xiàng)目，根據(jù)某家海外媒體的說法，原因是“擔(dān)心可能會對這些AI失去控制”。這本來只是作者一句略帶黑色幽默的玩笑，卻在昨天幾乎占據(jù)了各大科技媒體頭版，引發(fā)了一波三折的”失控“大戲。

這話再傳下去，說辭就變成了：“這就是人類屈從AI的后果！如果這樣的病毒傳染到了軍事機(jī)器人上，那結(jié)果將會是致命的?！?/p>

當(dāng)然，也有些“辯證”的文章，為“發(fā)明新語言”的這兩位機(jī)器人先驅(qū)辯護(hù)。

“讓機(jī)器人發(fā)明自己的語言也是好事啊。這樣一來我們就不用花那么多精力搭建那么多API了，讓機(jī)器們自行完成溝通豈不妙哉！”

這場小事故簡直要發(fā)展成為了“機(jī)器人因先驅(qū)發(fā)明語言而壯烈犧牲 VS AI大惡魔即將降臨”的科幻腦洞辯論賽。

那么，這場鬧劇的背后究竟發(fā)生了什么——FACEBOOK的機(jī)器人是否真的學(xué)會了新語言？他們的研究出了什么問題？而FACEBOOK又是為什么叫停了這一項(xiàng)目呢？

在跟風(fēng)恐慌之前，讓我們先搞清楚下邊這幾個(gè)問題：

問題1：機(jī)器人是否發(fā)明了新語言？他們真的在通過這些人類看不懂的語言密謀嗎？

讓我們先來回顧一下案發(fā)現(xiàn)場。這是兩位機(jī)器人在討論一批物品分配時(shí)產(chǎn)生的對話。

很明顯，這段對話仍然是基于基本的英語詞匯發(fā)生的，但連起來讀就讀不懂了。這段對話究竟有什么含義呢？

FACEBOOK的研究者指出，他們確實(shí)在認(rèn)真地討價(jià)還價(jià)，這些無比“智障”的語言絕不是在密謀搞事情。

“I”和“TO ME”的不斷重復(fù)其實(shí)是它倆在商討各自應(yīng)該拿到幾件物品。比如BOB說的“I CAN I I EVERYTHING ELSE” 可能的含義是，“I’LL HAVE TWO AND YOU HAVE EVERYTHING ELSE.”

那么，為什么機(jī)器人在與人類對話的時(shí)候還能好好說話，到了兩個(gè)機(jī)器人對話的場景下就開始犯二了呢？

正如我們在前一問中分析的，機(jī)器人看似荒誕的對話其實(shí)有些類似于人類群體內(nèi)因默契達(dá)成的暗號。之所以這個(gè)機(jī)器人暗號看起來“蠢蠢的”，是因?yàn)镕ACEBOOK科研團(tuán)隊(duì)在開發(fā)前期沒有為機(jī)器人設(shè)置正確的“獎勵”，鼓勵他們說人話。

這兩只AI機(jī)器人在相互對話訓(xùn)練中意識到，在當(dāng)前場景下它們并不需要用到英語這樣復(fù)雜的語言，除非使用這樣的語言能夠?yàn)樗麄儙碜銐虻摹蔼剟睢薄Ｋ麄兊哪繕?biāo)就是達(dá)成一個(gè)令雙方滿意的談判結(jié)果，而使用什么樣的語言對它們來說并不重要。

這樣的錯(cuò)誤在語言模型初學(xué)者的嘗試中十分常見，只不過這次出現(xiàn)在了FACEBOOK這樣技術(shù)背景雄厚的公司上，這一錯(cuò)誤就被想象成了機(jī)器人的“早慧”。

那為什么會出現(xiàn)“TO ME”和“I”的大量重復(fù)，而不是其他詞匯的重復(fù)呢？

文摘通過采訪了解到，這也是語言模型本身的特性決定的。在這一概率模型下，如果沒有合適的“獎勵”引導(dǎo)，機(jī)器人會選擇更常用的詞匯，來降低犯錯(cuò)的風(fēng)險(xiǎn)。顯然，“TO ME”和“I”在英語中出現(xiàn)的頻率是相當(dāng)高的。

此外，這些詞匯的重復(fù)出現(xiàn)也體現(xiàn)了該模型的另一特征——FACEBOOK此次模型用到的RNN（RECURRENT NEURAL NETWORKS）使得語言的生成受上下文的影響，機(jī)器人不斷重復(fù)“TO ME”和“I”就是繞進(jìn)了一個(gè)循環(huán)。

問題3：FACEBOOK是否因恐慌AI過度智能而“謀殺”了這個(gè)機(jī)器人？

FACEBOOK此次整改這一項(xiàng)目正是因?yàn)樗麄円庾R到了我們在上一問題中解釋的BUG。

“我們的目標(biāo)是設(shè)計(jì)出可以和人類進(jìn)行對話的砍價(jià)機(jī)器人，而不是僅僅能夠和自身對話的機(jī)器人?！盕ACEBOOK的研究者M(jìn)IKE LEWIS這樣說道。

另外，F(xiàn)ACEBOOK也并沒有叫停這一項(xiàng)目。他們只是去重新訓(xùn)練機(jī)器人了，讓機(jī)器人的對話更符合英語文法。

“因害怕AI發(fā)明出新語言而‘謀殺’自家發(fā)明的機(jī)器人”實(shí)在是無稽之談。

上周文摘推送過一篇NYU教授寫給AI新聞記者的信，提出了媒體報(bào)道AI時(shí)常出現(xiàn)的問題和建議，也許在這個(gè)時(shí)候格外的應(yīng)景和實(shí)用。

在AI未來發(fā)展上，小扎和ELON MUSK吵得不可開交，孰是孰非或許我們現(xiàn)在還無從分曉。AI可能帶來的危險(xiǎn)我們當(dāng)然應(yīng)該警惕。然而，面對當(dāng)前的AI發(fā)展成果，比起吸引眼球和以訛傳訛，我們還是該更實(shí)事求是一些。