北美首頁 | 新聞 | 時尚 | 大陸 | 台灣 | 美國 | 娛樂 | 體育 | 財經 | 圖片 | 移民 | 微博 | 健康
Value Engine Stock Forecast
ENTER SYMBOL(S)

微軟首席人工智能科學家鄧力離職 加盟Citadel

http://finance.sina.com   2017年05月18日 23:16   北京新浪網

  來源:機器之心

  (原標題:微軟首席人工智能科學家鄧力離職,加盟對沖基金巨頭Citadel)

  作者:李亞洲

  微軟人工智能首席科學家、IEEE Fellow鄧力向機器之心透露,他已從微軟離職,加入對沖基金公司Citadel擔任首席人工智能官(Chief Artificial-Intelligence Officer)。

  他在和機器之心確認GMIS 2017大會有關他信息的郵件中寫道:「我最近已經離開了微軟的崗位,加入了一家新的美國公司Citadel——世界上最成功的投資公司之一。Citadel在人工智能創新上的機遇及對增進公司在該領域領導地位的熱情讓我倍感振奮。」

  作為深度學習、人工智能、自然語言理解與語音識別方面的專家,鄧力早在2009年就同Geoffrey Hinton教授合作,首次提出並將深度神經網絡應用到大規模語言識別中,顯著提高了機器對語音的識別率,極大推動了人機交互領域的發展與進步。目前,鄧力的研究方向主要為應用於大數據、語音、文本、圖像和多模態處理的深度學習和機器智能方法。在語音、NLP、大數據分析、企業智能、互聯網搜索、機器智能、深度學習等領域,鄧力曾獲70多項美國或國際專利。同時,他還獲得過 IEEE、國際言語通訊協會、美國聲學協會、亞太信號與信息處理協會、微軟等組織授予的多項榮譽。2015 年,憑藉在深度學習與自動語音識別方向做出的傑出貢獻,鄧力獲 IEEE 技術成就奬。

  Citadel 是全球最大的多策略對沖基金之一,目前掌管至少260 億美元資産,以其量化交易策略及程序化交易系統出名。在美國,Citadel 還是最大的期權交易機構和經紀交易商之一。相比其巨額資産管理規模和高槓桿,Citadel 更引人注目的是擁有華爾街「最大牌」的「金融顧問」——前美聯儲主席伯南克。

  Citadel 去年雇佣了來自德意志銀行、專注機器學習的量化交易專家 Christian Hesse。其它全球著名對沖基金如 Man Group、Winton 、Aspect Capital 也在充實自己的機器學習專家隊伍。

  以下是機器之心對鄧力的研究歷程所做的梳理:

鄧力的 Google Scholar 學術影響力鄧力的 Google Scholar 學術影響力

  1978-1982 年鄧力本科就讀於中科大,學習神經科學和生物物理學專業。1982 年前往美國研究聽覺神經系統與其計算模型。

  1984-1986 年在完成博士論文期間,他用物理模型和神經模型來做人類聽覺模擬和語音識別。但受當時的客觀條件限制,神經網絡運算速度太慢。他也嘗試過提取生物模型特徵加入隱馬爾科夫模型裏,結果同樣不理想,因為兩者並非成熟的、可匹配的系統。后來,他發現純統計方法更有效。因此從 80 年代中末期至深度學習爆發前,鄧力一直在做包括統計模型和計算人工神經網絡在內的相關研究。

  1993-1994 年左右在加拿大滑鐵盧大學任職教授期間,鄧力和他的一位博士生合作了一篇論文:當把線性項加到非線性項之后,可以增強神經網絡的記憶能力。他做了很多數學上的推演,來分析為何記憶能力可以得到增強。雖然當時的計算機的計算力不夠,模型也很簡單,但這已經是一套完整的系統。當他們把這個結果真正用在語音識別上時,卻還是沒能獲得大大超過隱馬爾科夫模型的性能。這位博士生論文的 External Examiner 是 Geoffrey Hinton,他看過論文后表示「神經網絡成功真是太難了」。雖然博士生拿到了博士學位,但這次研究的結果讓鄧力暫時放下了神經網絡的研究,開始轉向貝葉斯統計方法和生成模型(Generative Models)。

  1999 年底,鄧力放棄滑鐵盧大學的終身正教授職位正式加入微軟美國研究院,主攻語音識別和機器學習方向。在有效的深層神經網絡學習方法發明之前,他用貝葉斯網絡方法把隱馬爾科夫模型(頂層)和人類語音生成模型相結合,並設計了很多層次,以期將重要的物理現象模擬出來。隱馬爾科夫模型只是模擬了大腦對語音符號編碼的行為,但整個語音生成過程中還包括肌肉運動控制、口腔內聲道運動等環節,最后通過聲學轉化才能變成語音,這就需要包括對噪音環境的模擬等在內的許多層次。這種多層結構能自然地用深層生成模型來實現。

  2002 至 2006 年期間,鄧力在微軟領導一支團隊在這方面做了很多研究工作,當時相對有效的機器學習工具是貝葉斯網絡等方法。但如果隱含變數層數很多,並且在動態過程中進行語音識別,它的學習和推斷過程很難駕馭,增加層數后帶來的計算複雜度呈指數級增長。他們發明了很多方法來近似指數級增長的計算,近似之后結果還不錯,但與精心設計和調製的隱馬爾科夫模型相比,準確率上並沒有非常大的進步。

  后來,鄧力了解到 Hinton 2006 年關於深度信念網絡的論文(注:《A fast learning algorithm for deep belief nets》),其模型也是有很多層的生成式的結構,但卻並沒有出現計算複雜度無法駕馭的問題。

  2009 年,鄧力請 Hinton 作為他的顧問來微軟深入討論這些問題,他們發現深度信念網絡比較容易的原因之一是它不涉及動態。因此鄧力和研究團隊把嚴謹的動態模型暫時去掉,將時域上相鄰的向量數加大來近似嚴謹的動態模型。最后得到的簡化模型就成為目前著名的深度神經網絡。同時,鄧力和 Hinton 同他們的同事與學生合作把隱馬爾科夫模型和深度神經網絡結合起來。

  2010-2011 年鄧力和團隊在微軟經過大規模的實驗后,使得深度神經網絡在工業界的大型語音識別上取得了革命性的突破。在此期間及隨后數年,鄧力每年都抽空到中國演講深度學習,語音語言處理和人工智能,包括微軟亞洲研究院,中科大,清華,北大,訊飛,台灣中研院,以及 IEEE 和其他協會組織的會議。

  2011 年之后,鄧力和團隊繼續對深度神經網絡做了一系列的改進,包括引入深度 LSTM 循環網絡,深度 CNN 和新型的學習方法,例如 sequence learning 和 ensemble learning。這些創新繼續大幅提高語音識別準確度,並成功將之整合入語音理解和語音翻譯。

  2014 年初,鄧力在微軟創立 Deep Learning Technology Center(DLTC)。2016 年初,微軟執行副總裁陸奇任命他為首席人工智能科學家。自 2014 年初,鄧力組建並帶領全新並日益增大的 DLTC 團隊將深度學習的成功從語音識別,理解和翻譯擴展到公司多方面的業務。這包括基於 DSSM,LSTM 和記憶網絡的互聯網(Bing)搜索和問答,電子郵件及企業檔案搜索,聊天和對話機器人,具備解釋性和深度學習高效能的機器閲讀/問答/翻譯,多模態深度學習,看圖说話,市場和銷售數據的深度學習及商業應用,等等。同時也在公司內培養的一大批精通深度學習的工程師和研究人員。

  2016 下半年,微軟執行副總裁沈向陽任命鄧力為微軟人工智能學院(AI School)的總負責人組建學院。經過幾個月的努力,學院建成並於 2017 四月底成功畢業了一批來源於美國微軟工程師的首屆學員。

Bookmark and Share
|
關閉
列印
轉寄
去論壇發表評論
DJIA17773.64
-57.12
NASDAQ4775.36
-29.93
S&P 5002065.30
-10.51

今日焦點新聞

新浪推薦