在創(chuàng)辦Anthropic之前，Dario Amodei曾在百度、Google及OpenAI任職。說起Google，Dario認(rèn)為很多科研人員把Google當(dāng)做他們學(xué)術(shù)生涯的延續(xù)，這點(diǎn)和當(dāng)年的貝爾實(shí)驗(yàn)室很像。
Google濃厚的學(xué)術(shù)氛圍和優(yōu)質(zhì)的產(chǎn)業(yè)資源吸引了大量頂級(jí)科研人才，開展數(shù)以百計(jì)的創(chuàng)新科研項(xiàng)目，Transformer只是其中之一。
無論從算力資源還是人才密度來看，Google理應(yīng)是AI浪潮的最大受益者。但是Google的組織架構(gòu)是為了“搜索”服務(wù)的，并沒有把AI相關(guān)的要素有效的組織起來。
如果當(dāng)時(shí)Google能夠把算力優(yōu)勢(shì)、關(guān)鍵學(xué)術(shù)成果、人才優(yōu)勢(shì)有效利用起來，它本可以成為AI領(lǐng)域的唯一主導(dǎo)者。
AI公司的商業(yè)模式取決于Scaling Law是否持續(xù)成立。
假設(shè)Scaling Law在未來相當(dāng)長(zhǎng)一段時(shí)間保持有效，那么AI將帶來巨大的經(jīng)濟(jì)價(jià)值，涉及人類社會(huì)的方方面面。
Dario認(rèn)為，隨著大模型不斷Scaling up，單個(gè)模型的訓(xùn)練成本將超過百億美金，甚至達(dá)到千億美金。因此這將成為一個(gè)準(zhǔn)入門檻極高的生意，大模型將成為國(guó)家級(jí)基礎(chǔ)設(shè)施，只會(huì)有少數(shù)幾家科技巨頭，甚至國(guó)有企業(yè)參與其中，形成寡頭壟斷的競(jìng)爭(zhēng)格局。
當(dāng)然這里有一個(gè)關(guān)鍵問題，是否會(huì)有公司愿意開源千億參數(shù)的大模型？
Dario對(duì)此深表懷疑，千億規(guī)模的模型的推理成本非常高昂，甚至超過訓(xùn)練成本，開源模型的商業(yè)價(jià)值將會(huì)受限。
要想在競(jìng)爭(zhēng)中生存發(fā)展，AI公司需要找到自己的差異化定位，Dario提供了兩種思路。
其一是基座模型能力差異化。A公司可以訓(xùn)練出一個(gè)專門寫代碼的模型，B公司可以訓(xùn)練擅長(zhǎng)創(chuàng)意寫作的模型，C公司訓(xùn)練出一個(gè)虛擬伴侶模型。與其拼盡全力做基座萬能大模型，不如選擇一個(gè)領(lǐng)域做深做透，專項(xiàng)訓(xùn)練。
其二是模型與應(yīng)用的垂直整合。理論上看，你可以把模型層和應(yīng)用側(cè)解耦分離，但實(shí)操中要把應(yīng)用做到極致，往往需要對(duì)模型進(jìn)行專項(xiàng)訓(xùn)練，這是大模型公司得天獨(dú)厚的優(yōu)勢(shì)。
Dario認(rèn)為未來AI公司不能只提供API能力輸出，而應(yīng)該深度介入應(yīng)用層。雖然目前基于大模型的應(yīng)用還很薄，但未來會(huì)越做越厚，逐漸形成壁壘。
Scaling Law目前只是基于觀察總結(jié)的經(jīng)驗(yàn)，可能持續(xù)很久，也可能隨時(shí)停止。根據(jù)目前的觀察，Dario認(rèn)為Scaling Law還將持續(xù)相當(dāng)一段時(shí)間。
假設(shè)Scaling Law在達(dá)到AGI之前失效，AI公司的處境可能與光伏類似。
縱觀光伏行業(yè)，技術(shù)創(chuàng)新層出不窮，帶來了巨大的經(jīng)濟(jì)價(jià)值，但并不具備壟斷屬性，導(dǎo)致光伏企業(yè)利潤(rùn)率整體偏低。
與光伏行業(yè)類似，AI行業(yè)的市場(chǎng)規(guī)模非常巨大，但公司想要保持較高的margin并非易事。
如果Scaling Law持續(xù)有效，在不久的將來，AI模型有可能成為一個(gè)國(guó)家國(guó)防領(lǐng)域最重要的資產(chǎn)之一。
另一方面，針對(duì)AI的misuse和autonomy問題，如果不加以嚴(yán)格監(jiān)管，可能導(dǎo)致較大的社會(huì)問題和安全隱患。
因此，政府會(huì)在AI領(lǐng)域扮演越來越重要的角色，但不太可能對(duì)AI公司進(jìn)行國(guó)有化，具體的有效介入方式還需要探索。
未來的AI生態(tài)將由大模型與小模型共同構(gòu)成。大模型強(qiáng)大但價(jià)格昂貴，小模型便宜且推理迅速，但沒有那么智能。
根據(jù)Dario所言，Anthropic正在嘗試構(gòu)建“蜂群協(xié)作”的推理模式，由大模型將一個(gè)復(fù)雜的任務(wù)拆解成數(shù)個(gè)簡(jiǎn)單的子任務(wù)，然后把每個(gè)子任務(wù)分配給一個(gè)小模型來處理，最后將小模型處理的結(jié)果統(tǒng)一匯總給大模型，輸出最終結(jié)果，整個(gè)處理過程就像蜂群一樣。
Dario認(rèn)為AI能帶來財(cái)富的增長(zhǎng)和富足的生活，但也極有可能加劇貧富差距。
發(fā)達(dá)國(guó)家將率先受益于AI帶來的生產(chǎn)力進(jìn)步，實(shí)現(xiàn)GDP的雙位數(shù)增長(zhǎng)，但財(cái)富可能高度集中于頭部科技公司及其員工，而非平均分配。
與此同時(shí)，發(fā)展中國(guó)家的居民可能無法共享AI帶來經(jīng)濟(jì)增長(zhǎng)的果實(shí)，并面臨更加嚴(yán)峻的就業(yè)壓力。
基于此前生物學(xué)的學(xué)術(shù)背景，Dario對(duì)AI在生命科學(xué)中的應(yīng)用前景頗為重視。
在大模型誕生之前，AI在生命科學(xué)中最多只是輔助工具，即使是AlphaFold也沒有從根本上改變這一定位。但在不久的將來，AI將逐漸走到臺(tái)前，成為生物科研領(lǐng)域的核心參與者。
縱觀整個(gè)20世紀(jì)，生命科學(xué)的所有進(jìn)展都是由極個(gè)別的重大發(fā)現(xiàn)推動(dòng)的，比如基因測(cè)序技術(shù)，以及CRISPR基因編輯技術(shù)。
Dario認(rèn)為，大模型將十倍甚至百倍的提升科學(xué)發(fā)現(xiàn)的速度。
以CRISPR為例，這項(xiàng)技術(shù)最初是在細(xì)菌中發(fā)現(xiàn)的一種天然免疫系統(tǒng)，用于防御病毒入侵。當(dāng)細(xì)菌遭受噬菌體攻擊時(shí)，會(huì)將入侵者的DNA片段整合到自身的CRISPR序列中，并通過RNA和Cas蛋白來定位并消滅這些入侵者。
這項(xiàng)技術(shù)早在30年前就被發(fā)現(xiàn)，但是直到2013年哈佛醫(yī)學(xué)院的George Church才首次使用CRISPR技術(shù)完成了RNA介導(dǎo)的人類基因組編輯。如果科學(xué)家使用 AI加快從科學(xué)發(fā)現(xiàn)到應(yīng)用轉(zhuǎn)化的速度，這無疑是全人類的福音。
Dario判斷，AI有望在未來10年內(nèi)實(shí)現(xiàn)原本預(yù)計(jì)整個(gè)21世紀(jì)才能達(dá)成的生物學(xué)進(jìn)展，治愈罕見疾病，讓我們拭目以待。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論
大模型將成為一個(gè)準(zhǔn)入門檻兒較高的生意
AI公司的生存之道是差異化
AI行業(yè)的市場(chǎng)規(guī)模非常巨大
好文！
原發(fā)視頻和報(bào)告的鏈接貼在了我的公眾號(hào)內(nèi)，歡迎自取。
政府會(huì)在AI領(lǐng)域扮演越來越重要的角色
未來的AI生態(tài)將有大模型與小模型共同構(gòu)成