本文作者為James Bridle，外媒科技專欄作家。

　　臥室里，那個語音操控的小玩意兒(暗指亞馬遜Alexa音箱)突然發(fā)出一陣陣滲人的笑聲，還偷偷地把你與對象間的枕邊談話發(fā)送給了你的同事;前一秒，你的孩子還在Youtube上看著小豬佩奇的動畫片，下一秒屏幕上的畫面就變成了殺戮和流血事件;還有，你曾經(jīng)用來和老朋友溝通聯(lián)系的聊天軟件，竟然變成了政客們操縱選舉和煽動政變的工具。

　　我們的思維方式產(chǎn)生了異變，這個世界也變得更奇怪了。我們開始相信，世界上的一切都可以計(jì)算，我們能通過新的技術(shù)來解決任何問題。然而，這些技術(shù)并非完全中立：它們反映了我們的政治傾向和偏見，它們超越了國家和法律的管控范圍;甚至于，連技術(shù)的創(chuàng)造者都開始無法理解自己的發(fā)明。最終，我們對這個世界了解得越來越少，因?yàn)檫@些強(qiáng)大的技術(shù)正在逐步掌控我們的生活。

　　新技術(shù)不僅能增強(qiáng)我們的能力，還能重塑以及指導(dǎo)這種能力，讓我們在科學(xué)、政治、教育、戰(zhàn)爭、商業(yè)等領(lǐng)域有所建樹。當(dāng)然，情況有好有壞。如果我們沒辦法理解復(fù)雜技術(shù)的確切功能，那么這些技術(shù)就會被自私的企業(yè)和個人加以濫用。這種例子，在我們身邊不勝枚舉。我們每天所遇到的不透明制度、歧視事件、暴力、民粹主義等問題都與之存在著因果關(guān)系。

　　我們所身處的，不再是技術(shù)光芒所加持的烏托邦世界，而是充滿了詭異及不可預(yù)見事件的黑暗時代。廣泛傳播信息的啟蒙理想并沒有讓我們獲得更多的相互理解與和平;相反，其似乎正在助長社會分裂、不信任、陰謀論和虛假政治。為了看清事實(shí)，我想是時候要了解技術(shù)的發(fā)展過程，以及我們對其寄予厚望的原因了。

　　在20世紀(jì)50年代，電氣工程師所繪制的系統(tǒng)圖表里出現(xiàn)了一個新的符號，一個模糊的圓圈。慢慢地，這個圓圈逐漸變成了一朵云的形狀。不管工程師的工作內(nèi)容是什么，他們都可以把其連接到這個云上。還有一個云，它則是一個動力系統(tǒng)，或是數(shù)據(jù)交換中心，當(dāng)然也能被稱為計(jì)算機(jī)網(wǎng)絡(luò)。簡單來說，云是一種降低復(fù)雜性的做法，讓用戶能夠?qū)Ｐ娜プ鍪诸^上的事情。隨著時間的推移，網(wǎng)絡(luò)規(guī)模轉(zhuǎn)擴(kuò)大，互聯(lián)網(wǎng)程度也逐漸提高，云的重要性也就越發(fā)明顯。云變?yōu)榱艘粋€流行語和商業(yè)賣點(diǎn);它跳出了工程師的速記圖表，搖身一變，成為了一個象征。

　　今天，云作為互聯(lián)網(wǎng)的核心，是一個由強(qiáng)大的能量組成的全球系統(tǒng)。但是，其仍保留著一個神秘的光環(huán) —— 幾乎不可能被完全掌控。我們在云里工作，在云里存儲和取回東西;我們一直在體驗(yàn)云，卻從沒真正理解云。云并不是一個只有水和無線電波、讓你整日不停工作的遙遠(yuǎn)秘境。它是一個確切的物理基礎(chǔ)設(shè)施，囊括了電話線、光纖、衛(wèi)星、海底電纜，以及計(jì)算機(jī)倉庫。云被應(yīng)用到許多光鮮亮麗大建筑里，我們在那購物、存取錢、社交……正因?yàn)槲覀儽槐砻娴哪切└∪A生活蒙蔽，所以就不那么注意到背后的云。因?yàn)椴伙@眼，所以它也就不容易受到批評、調(diào)查，以及監(jiān)管的影響。

　　在過去的幾十年里，世界各地的交易大廳變得越來越安靜，因?yàn)槿祟惞ぷ魅藛T已經(jīng)被自動化的數(shù)字交易銀行所取代。數(shù)字化意味著股票交易所內(nèi)的交易活動越來越頻繁。機(jī)器處理交易工作時，它們能夠立即做出反應(yīng)。人們還開發(fā)了一種被稱為高頻交易算法(High-Frequency Trading ，簡稱HFT)的技術(shù)，能夠在一天之內(nèi)處理幾百萬次交易，甚至能夠在每筆交易中賺個一兩分錢。

　　在這種高速的運(yùn)轉(zhuǎn)的市場中，怪事不斷。2010年5月6日，道瓊斯指數(shù)開盤低于前一天。過了幾個小時之后，由于受到希臘債務(wù)危機(jī)事件的影響，該指數(shù)開始緩慢下跌。然后，到了下午2：42分，道瓊斯指數(shù)開始迅速下跌。在不到5分鐘的時間里，股市就被抹掉了600多個點(diǎn);其最低峰值要比前一天的平均數(shù)低了將近1000個點(diǎn)，幾乎相當(dāng)于總市值的10%，而且突破了歷史單日跌幅記錄。但是，在3：07分的時候，其開始迅速上升。在不到25分鐘的時間里，其將近回復(fù)了600個點(diǎn)。

　　在這混亂的25分鐘里，價值560億美元的20億股票幾經(jīng)易手。更糟糕的是，其中的許多交易訂單都被美國證券交易委員會(Securities Exchange Commission，簡稱SEC)判定為了“不實(shí)價格”——要么低至1便士，要么高至10萬美元。這起事件后被人們稱為“閃電崩盤”，多年后仍被調(diào)查討論。

　　監(jiān)管機(jī)構(gòu)的一份報(bào)告顯示，高頻交易技術(shù)是導(dǎo)致價格波動異常的原因。許多的HFT項(xiàng)目應(yīng)用都有這樣一個設(shè)置：當(dāng)價格到達(dá)特定的數(shù)字時，系統(tǒng)會自動賣出股票。所以，一旦股價下跌，那么就會有大批應(yīng)用被同時觸發(fā)，大量拋售股票。隨后，價格下降時又觸發(fā)了另一組算法，產(chǎn)生了一個連鎖反應(yīng)，導(dǎo)致更多的股票被拋售。結(jié)果，連人類交易員也無法控制局勢。

　　還有人認(rèn)為，這其實(shí)是算法引發(fā)的危機(jī)。人們發(fā)現(xiàn)了這樣的一種情況，HFT應(yīng)用向交易所發(fā)送了大量“不可執(zhí)行”的訂單;這些訂單因?yàn)閮r格波動太大，以至于被交易所忽視。但是，其真實(shí)的目的是為了抬空系統(tǒng)，以便在混亂中執(zhí)行其他交易。

　　無獨(dú)有偶，“閃電崩盤”并不是算法導(dǎo)致的唯一亂局。2016年10月，英國脫歐時，英美匯率也經(jīng)歷了一次快跌閃回。2012年10月，美國股市總交易量中4%的訂單被某種算法迅速買入賣出，一名評論人挖苦道：“這些算法的動機(jī)真是難以理解?！?/p>

　　2013年4月23日，《美聯(lián)社》(Associated Press)遭到黑客入侵，發(fā)布了一條虛假新聞：“白宮發(fā)生兩起爆炸，奧巴馬重傷”。雖然《美聯(lián)社》記者迅速做出了澄清，但是算法還是造成了股市動蕩。當(dāng)日下午1：08分，距離假新聞發(fā)布僅相隔1分鐘，道瓊斯指數(shù)下降了150個點(diǎn)，隨后又回彈到了之前的水平。在此期間，1360億美元的股票市場價值蒸發(fā)。

　　2015年，三星推出了一款智能冰箱;其集成了谷歌的日歷服務(wù)，讓用戶能夠在廚房直接訂購雜貨。但這也意味著，黑客能夠入侵該設(shè)備，盜取用戶的郵箱密碼。德國的研究人員發(fā)現(xiàn)，飛利浦的一款彩色燈泡能被惡意代碼侵入，影響范圍可從單個裝置蔓延到整個城市;嚴(yán)重的話，甚至?xí)|發(fā)感光性癲癇。這種情況昔日只會出現(xiàn)在小說情節(jié)里面;但現(xiàn)如今，物聯(lián)網(wǎng)已經(jīng)把這種虛構(gòu)的夢魘帶到了現(xiàn)實(shí)之中。

　　在Kim Stanley Robinson的小說《極光》(Aurora)中，他描述了一艘負(fù)責(zé)把人類送到恒星上的智能飛船。由于這段旅程耗時過長，這個飛船最大的任務(wù)，就是要確保人類還清醒地活著;為此，這艘飛船無所不用其極：其能通過傳感器監(jiān)視各方、隨意開關(guān)密封艙門、發(fā)出造成生理疼痛的噪音，以及用消防設(shè)備降低船艙含氧量，等等。

　　有趣的是，Google Home也提供了許多類似的功能：聯(lián)網(wǎng)攝像頭、智能門鎖、智能恒溫器、安防警報(bào)系統(tǒng)……說實(shí)話，只要某個黑客有點(diǎn)能耐，他就能像那艘飛船一樣，把住在里面的人類耍得團(tuán)團(tuán)轉(zhuǎn)。

　　在摒棄這種瘋狂小說情節(jié)之前，我們再來好好思考一下算法在證券交易所的所作所為。這些事件并非個例，而是復(fù)雜系統(tǒng)中的日常情況。現(xiàn)在的問題是，這種流氓算法在更廣泛的現(xiàn)實(shí)中又會是什么樣子的呢?

　　流氓算法，會是病毒嗎?2016年10月21日，一個叫做Mirai的病毒軟件橫空出世。受它影響，大部分的互聯(lián)網(wǎng)服務(wù)遭侵蝕長達(dá)數(shù)小時。當(dāng)研究人員深入了解Mirai時，他們發(fā)現(xiàn)，這一病毒軟件主要針對那些安全性能較差的聯(lián)網(wǎng)設(shè)備(比如安防攝像頭，或是電子錄像機(jī))，并把他們變成一群機(jī)器人。僅僅數(shù)周，Mirai就感染了50萬臺設(shè)備。

　　此外，還有2010年的Stuxnet，這是在工業(yè)控制系統(tǒng)內(nèi)發(fā)現(xiàn)的另一種病毒。事實(shí)上，這個病毒已經(jīng)達(dá)到了軍用武器的級別。研究人員分析后發(fā)現(xiàn)，Stuxnet專門針對的是西門子離心機(jī)。

　　直到今天，人們?nèi)匀粵]有弄清楚Stuxnet和Mirai的確切來源，以及開發(fā)者。但是，它們可能現(xiàn)在就在你辦公室的攝像機(jī)里，或是你廚房的智能水壺中偷偷繁殖著。

　　或者說，流氓算法是眾人真實(shí)的夢魘?2015年夏天，雅典的債務(wù)危機(jī)繁重，舉國動蕩。在那兒的一家醫(yī)院里，醫(yī)生和護(hù)士要比平日里更加繁忙。因?yàn)椋?dāng)時住在里面的人，都是頂尖的政治家和公務(wù)員，他們正遭遇著嚴(yán)重的睡眠問題。然而，陪伴這些政要每日入睡的，都是身邊的那些醫(yī)療機(jī)器。這些機(jī)器記載著他們的呼吸、行動狀況，夜半低語，然后把這些信息一同發(fā)送回北歐制造商的數(shù)據(jù)庫里。當(dāng)然，一同被發(fā)送過去的，還有政要們的詳細(xì)醫(yī)療記錄。那么，誰又知道會不會有人從中做手腳呢?

　　如今的時代，我們有各式各樣的可穿戴設(shè)備。我們天真地認(rèn)為，自己的身體能夠像這些設(shè)備一樣，被升級、被優(yōu)化。這些設(shè)備記錄著我們的位置、心跳，甚至是腦電波。廠商不停地勸說，讓我們在睡覺的時候也戴著這些手表、手環(huán)，以便記錄睡眠數(shù)據(jù)。那么，這些數(shù)據(jù)都去哪兒了，它們到底屬于誰，什么時候才會被公布?我們清晨的夢境、午夜的恐懼、奔跑時的汗水…那個沒有防備下的自我本質(zhì)，如今變成了系統(tǒng)升級的佐料;而我們自己，卻對此一無所知。

　　或者說，流氓算法無處不在。貧富差距加劇、國家解體、邊境軍事化、個人自由被削弱、極右翼團(tuán)隊(duì)的崛起、自然環(huán)境的退化……這些也許不是新技術(shù)帶來的直接影響;但是，正是因?yàn)槲覀儫o法正確認(rèn)識技術(shù)增強(qiáng)的復(fù)雜性，加速了個人和公司行為的廣泛性和網(wǎng)絡(luò)性，于是才導(dǎo)致了這些后果。

　　1997年的紐約，世界象棋冠軍Garry Kasparov與IBM設(shè)計(jì)的深藍(lán)(Deep Blue)第二次對弈。當(dāng)Kasparov落敗時，他表示，深藍(lán)的一些動作聰明且充滿創(chuàng)意，必定是人為干預(yù)的結(jié)果。然而，事實(shí)并非如此。深藍(lán)的一舉一動，靠的是那塊擁有1.4萬超并行結(jié)構(gòu)的芯片，能夠每秒分析出2億個棋盤落子點(diǎn)。即使Kasparov深謀遠(yuǎn)慮，然而一柄長槍難敵一營火炮。

　　時間線來到了2016年，谷歌的AlphaGo迎戰(zhàn)韓國專業(yè)選手李世石。在第二場比賽時，AlphaGo做了一個讓對手頗為吃驚的舉動，其將子落在了距離棋盤中心相對較遠(yuǎn)的位置。評論員說道：“這個舉動太奇怪了。”曾敗在AlphaGo手上的Fan Hui表示：“我還以為是系統(tǒng)出錯了，一般人類不會這么下。”

　　后來，AlphaGo贏得了這場比賽，以及后來的系列賽事。AlphaGo內(nèi)嵌一個神經(jīng)網(wǎng)絡(luò)，里面擁有數(shù)百萬個專業(yè)棋手的落子數(shù)據(jù)。此外，工程師還讓Alphago自我練習(xí)數(shù)百萬次。因此，其生成的落子策略會優(yōu)于人類棋手。但是，Alphago自己是很難分辨清楚這些策略的：我們知道它落子的位置，卻不知道它落子的原因。

　　谷歌翻譯是在2006年推出的，其采用的是一種名為統(tǒng)計(jì)語言推理(statistical language inference)的技術(shù)。該系統(tǒng)并沒有嘗試去理解語言的構(gòu)造原理，而是直接吸收運(yùn)用大量現(xiàn)有的譯文。簡單來說，谷歌翻譯并沒有用人類的思維來理解語言，而是靠數(shù)據(jù)驅(qū)動，直接處理映射單詞。

　　正因如此，谷歌翻譯造成的錯誤比比皆是，讓人啼笑皆非。但在2016年，系統(tǒng)開始采用谷歌大腦(Google Brain)開發(fā)的神經(jīng)網(wǎng)絡(luò)，翻譯能力呈指數(shù)級提高。其不再交叉引用文本，而是建立了一個自己的模型。

　　同年，谷歌大腦的其他研究員開發(fā)了另外三個網(wǎng)絡(luò)，分別稱為Alice、Bob，以及Eve，專門用來學(xué)習(xí)如何加密信息。過程如下：Alice和Bob手上有一個加密數(shù)字要是，但是Eve不知道;接著，Alice會執(zhí)行文本操作，然后發(fā)送給Bob和Eve。如果Bob破解信息，那么Alice就加一分;如果Eve破解信息，那么Alice就扣一分。

　　經(jīng)過數(shù)千次的測試和迭代，Alice和Bob最終能夠在Eve無法破解信息的情況下溝通;這有點(diǎn)兒像我們今天用的私密郵件一般。但關(guān)鍵的是，我們并不了解這種加密工作，具體的操作被網(wǎng)絡(luò)層層阻隔。Eve不知道的東西，我們也不知道;機(jī)器正在學(xué)會保守秘密。

　　我們?nèi)绾卫斫庾约涸谑澜缟系奈恢?、我們與他人以及機(jī)器的關(guān)系，最終將決定技術(shù)的發(fā)展方向。我們不能忽視網(wǎng)絡(luò)，我們只能在網(wǎng)絡(luò)中思考。現(xiàn)如今，影響著我們的技術(shù)不會憑空消失;在許多情況下，我們也不希望它消失。畢竟，還有一個70億人口的星球在依賴著它。對于現(xiàn)在所處的惡劣環(huán)境，我們并非無能為力;我們要做的，就是思考、思考、再思考。

　　科技是我們自我的延伸，存在于機(jī)器設(shè)施編碼，以及知識行為框架中。計(jì)算機(jī)并沒有給我們所有的答案，而是讓我們向這個世界用新的方式提出了新的問題。