Cohere聯(lián)合創(chuàng)始人艾丹·戈麥斯（Aidan Gomez）（圖片來源：多倫多大學(xué)）
艾丹·戈麥斯（Aidan Gomez）是一位著名的AI研究者，也是Cohere的聯(lián)合創(chuàng)始人。他是少數(shù)在Google Brain工作時創(chuàng)造Transformer算法的研究者之一。此次交流中，他談到了自己的經(jīng)歷以及他的初創(chuàng)公司Cohere，該公司以他早些時候的工作為基礎(chǔ)。
戈麥斯在加拿大長大，后來他去了多倫多大學(xué)學(xué)習(xí)。在那里，他在大二的時候發(fā)現(xiàn)了人工智能，并開始狂熱地閱讀有關(guān)該主題的學(xué)術(shù)論文，是一名機(jī)器學(xué)習(xí)研究員和數(shù)學(xué)迷。
“我變得癡迷，我就是日夜不停地閱讀論文，”他回憶說。“我會帶著一篇研究論文入睡。”
他在文獻(xiàn)中一直看到一個名字——杰夫·辛頓（Geoffrey Hinton ）——他的附屬機(jī)構(gòu)也是多倫多大學(xué)，盡管辛頓早已停止教學(xué)。戈麥斯通過電子郵件與他聯(lián)系，向辛頓提出一個小技術(shù)問題。令他驚訝的是，辛頓回應(yīng)了他，這位世界上最著名的AI研究者向一個當(dāng)時還是匿名的本科生解釋了一個普通的問題。
在他的本科學(xué)習(xí)期間，戈麥斯前往科技創(chuàng)新的中心——硅谷——那里他成為了著名的Google Brain團(tuán)隊的一名實習(xí)生。在那里，他與領(lǐng)域內(nèi)一些最聰明的人合作，包括在開發(fā)谷歌TensorFlow模型框架中發(fā)揮了重要作用的Lukasz Kaiser。
“Kaiser想把機(jī)器學(xué)習(xí)研究者們編譯的每一個數(shù)據(jù)集都放入一個模型中，使其在輸入和輸出方面都完全Multi-model（多模態(tài)）。”戈麥斯說。
為了支持這個項目，戈麥斯幫助建立了一個名為Tensor2Tensor的軟件基礎(chǔ)設(shè)施，該設(shè)施可以在成千上萬的GPU之間分配計算任務(wù)。他說，這主要集中于自回歸模型，特別是基于注意力的模型。“我們聽說Google翻譯的一個團(tuán)隊也對基于注意力的自回歸模型感興趣，Lukasz說服他們過來，并在Tensor2Tensor上構(gòu)建它。”
接下來的10周，我們一直在趕制這個模型。“由于我們得到的結(jié)果非常出色，所以壓力只是越來越大，”戈麥斯回憶道。“這是早期非常成功、可以大規(guī)模擴(kuò)展的架構(gòu)之一，我們的大規(guī)模GPU集群帶來了極高的性能。”
“沒人在睡覺；我每天工作14個小時編碼，建設(shè)這個基礎(chǔ)設(shè)施，使它更為健壯，運(yùn)行實驗，這就是我們得到變壓器算法的方式。”
現(xiàn)在，Transformer算法只有大約20行代碼。基本層是一個多層感知器（MLP），Transformer實際上只是一些堆疊在一起的MLP和一個注意力層。在Transformer之前，有這些非常復(fù)雜的LSTM架構(gòu)，沒有統(tǒng)一的架構(gòu)。有了Transformer，所有這些都被拆除，留下的是簡單的、表現(xiàn)良好的、可擴(kuò)展的“內(nèi)核”東西。
Transformer算法為先進(jìn)的自然語言處理打開了大門，使機(jī)器能夠理解和生成類似人類的語言。OpenAI的首席科學(xué)家Ilya Sutskever立即利用它建立了第一個生成預(yù)訓(xùn)練Transformer模型——GPT，現(xiàn)在已經(jīng)發(fā)展到第四代GPT-4。Transformer引領(lǐng)了正在改變世界的生成AI革命。
戈麥斯接著共同創(chuàng)立了一家公司，Cohere，目的是使人們能夠接觸到這種變革性的算法和圍繞它構(gòu)建的大型語言模型。Cohere致力于使LLM（大型語言模型）盡可能地實用和有用，以滿足不同的垂直任務(wù)和行業(yè)的需要。
戈麥斯大部分時間都沒有參與關(guān)于生成式AI（AIGC）對人類的威脅的辯論。但考慮到AI近期的顯著進(jìn)步，戈麥斯表示，越來越難以否認(rèn)機(jī)器獲得感知能力的想法。
隨著AI感知潛力的展現(xiàn)，戈麥斯強(qiáng)調(diào)了負(fù)責(zé)任開發(fā)和倫理考慮的重要性。他呼吁AI社區(qū)以保護(hù)人類價值、隱私和社會福祉的承諾來面對進(jìn)步。他相信，通過培養(yǎng)對AI開發(fā)的深思熟慮和透明的方法，我們可以減少風(fēng)險，最大化它所提供的好處。（本文首發(fā)鈦媒體App）
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機(jī)號后發(fā)表評論