新智元報(bào)道
編輯：Aeneas 好困
(資料圖)
【新智元導(dǎo)讀】國(guó)內(nèi)的公司就必須抄ChatGPT嗎？其實(shí)，還有另一條路可以走。今天，小冰鏈給了我們答案——CoTA。
ChatGPT激起的火種，正在中國(guó)科技公司急速蔓延。國(guó)內(nèi)的各個(gè)大廠內(nèi)，算法工程師們紛紛開(kāi)啟沖刺倒計(jì)時(shí)，迎來(lái)一個(gè)個(gè)不眠夜。
而在創(chuàng)投圈的飯桌上，到處都能聽(tīng)到「誓要做中國(guó)第一個(gè)ALL in GPT的VC」的聲音。
興奮者有之，觀望者有之，唱衰者有之。所有人都在翹首以盼：誰(shuí)能成為中國(guó)的第一個(gè)ChatGPT？
而如今，這股ChatGPT熱潮中，忽然涌現(xiàn)了一股清流——小冰鏈。
小冰鏈給了我們這樣一個(gè)答案：除了做中國(guó)版ChatGPT，還有沒(méi)有別的選項(xiàng)？
ChatGPT軍備競(jìng)賽，實(shí)則刻舟求劍
跟目前急于下場(chǎng)的巨頭派、大佬派、初創(chuàng)公司派不同，小冰認(rèn)為，現(xiàn)在國(guó)內(nèi)這股跟隨ChatGPT展開(kāi)軍備競(jìng)賽的熱潮，其實(shí)是刻舟求劍。
因?yàn)椋竽Ｐ图夹g(shù)本身的發(fā)展速度，就是很快的，現(xiàn)在我們應(yīng)該做的，應(yīng)該是進(jìn)一步去布局下一站的未來(lái)，而不是照抄當(dāng)前的ChatGPT。
換言之，我們應(yīng)當(dāng)去思考，ChatGPT之后的是什么？而不是一窩蜂去做中國(guó)的ChatGPT。
而小冰鏈所代表的方向，則是利用大模型技術(shù)，實(shí)現(xiàn)下一代的控制中樞。
通俗來(lái)講，小冰鏈不再只是「聊天」，而是成為了「邏輯思維」驅(qū)動(dòng)下的「下一代行動(dòng)中樞」，覆蓋數(shù)字和物理世界。這一方向?qū)⒊蔀橄乱粋€(gè)真正帶來(lái)影響的大模型創(chuàng)新突破。
這也就是為什么，小冰CEO李笛在接受新智元采訪時(shí)，特別強(qiáng)調(diào)說(shuō)：其實(shí)我們做的并不是類(lèi)ChatGPT產(chǎn)品。
小冰鏈和ChatGPT的核心區(qū)別： 小冰鏈的數(shù)據(jù)來(lái)源是實(shí)時(shí)的，而ChatGPT是從訓(xùn)練數(shù)據(jù)中總結(jié)的； 小冰鏈能展現(xiàn)邏輯思維過(guò)程，更透明、可觀測(cè)，而ChatGPT完全是個(gè)黑盒子； 最本質(zhì)的區(qū)別是，小冰鏈會(huì)自己進(jìn)行下一步的行動(dòng)，比如上網(wǎng)搜索，而ChatGPT只是對(duì)話(huà)生成，并沒(méi)有行動(dòng)。
李笛解釋道，小冰鏈的獨(dú)特之處在于，能夠把AI的思考過(guò)程完整透明地呈現(xiàn)出來(lái)，從而揭開(kāi)大模型的黑盒。
更重要的是，她能真正實(shí)施行動(dòng)，也就是Action。
小冰鏈?zhǔn)莻€(gè)啥？
李笛解釋道：在GPT-3.5時(shí)，涌現(xiàn)了一個(gè)新的能力——思維鏈/邏輯思維。
但是，在ChatGPT這個(gè)過(guò)程中，沒(méi)有真的實(shí)施這種調(diào)查或計(jì)算，因?yàn)樗荒軓挠?xùn)練數(shù)據(jù)里去爬。
如果我們換一種思路，比如訓(xùn)練一個(gè)不那么大的模型來(lái)提供邏輯思維的能力，而執(zhí)行部分則交給CoT之后的ACTION，也就是通過(guò)查詢(xún)新聞的真實(shí)性，直接、實(shí)時(shí)地獲得信息。
這項(xiàng)過(guò)程并不是在大模型里完成的，反而一舉兩得：一方面，因?yàn)橹恍枰Ａ暨壿嬎季S能力，所以模型不需要那么大，運(yùn)行成本沒(méi)有那么高，計(jì)算量沒(méi)有那么大；另一方面，恰恰因?yàn)椴皇亲屨Z(yǔ)言模型自己把所有事情做出來(lái)，反而能更準(zhǔn)確。
因而，李笛認(rèn)為，與其一直爭(zhēng)當(dāng)下一個(gè)「中國(guó)版ChatGPT」，不如去思考：ChatGPT的下一步是什么？
再往前推一步，既然得到的是有邏輯思維能力的組合（一個(gè)模型負(fù)責(zé)思考，一個(gè)模型負(fù)責(zé)牽引，去做行為），這個(gè)組合就變成了一個(gè)控制中樞。此時(shí)，她可以控制搜索、計(jì)算、傳統(tǒng)的知識(shí)圖譜，甚至是物理世界。
AI經(jīng)過(guò)思考，會(huì)控制物理世界的燈、去餐館訂餐、發(fā)動(dòng)車(chē)子、生成一段音樂(lè)，可以調(diào)動(dòng)任何事情，這個(gè)意義，或許比只是寫(xiě)個(gè)新聞稿影響更深遠(yuǎn)。
而這就體現(xiàn)了小冰對(duì)于「探索語(yǔ)言模型下一步方向」的探索成果。
現(xiàn)在，ChatGPT的能力已經(jīng)基本全部展現(xiàn)了。接下來(lái)呢，是讓它更準(zhǔn)確？寫(xiě)的文章更符合現(xiàn)實(shí)？
本質(zhì)上看，這些只是程度上的差異，不構(gòu)成一個(gè)代際跨越。
什么才算「代際跨越」？
李笛表示，代際的跨越除了要實(shí)現(xiàn)意圖識(shí)別，還需要包括思維的轉(zhuǎn)換和跳躍等等，這才是下一步要做的東西。
比如，當(dāng)你問(wèn)「我老婆說(shuō)今天天氣真好，是什么意思」時(shí)：
小冰鏈先是get到了我們提問(wèn)的目的——了解她的意思；
然后根據(jù)這個(gè)目標(biāo)，去制定自己的行動(dòng)計(jì)劃——搜索相關(guān)信息；
在找到一個(gè)靠譜的答案之后，小冰鏈對(duì)其進(jìn)行了概括和潤(rùn)色，最后輸出結(jié)果——暗示你，應(yīng)該主動(dòng)提議約會(huì)。
此外，由于思維邏輯透明，信息源也全部公開(kāi)，因此也就做到了「可信」。
而這都是「黑箱」ChatGPT所不具備的。
根據(jù)官方內(nèi)測(cè)頁(yè)面的介紹，此次demo展示了小冰鏈（X-Chain of Thought & Action）的新特性，也就是說(shuō)，AI Being不再只是單純地給出回復(fù)，而是將她的思考過(guò)程完整透明地呈現(xiàn)在你面前，由此揭開(kāi)大模型的黑盒。
更重要的是，她能真正實(shí)施某種行動(dòng)（Action），例如：在你提出問(wèn)題后，她經(jīng)過(guò)思考，發(fā)現(xiàn)自己得去搜索一下，或是實(shí)時(shí)編寫(xiě)一段代碼并真的加以運(yùn)行，或是自主決定她應(yīng)當(dāng)控制物理世界的一系列設(shè)備或交通工具，來(lái)更好地滿(mǎn)足你的需求。
不過(guò)，基于法律、政治、公序良俗方面的安全性考慮，小冰對(duì)模型進(jìn)行了一些限制（回復(fù)的篇幅及趣味性會(huì)有所降低，但安全性更高）：
限制了回復(fù)文本的最大長(zhǎng)度；
為展現(xiàn)實(shí)時(shí)獲取互聯(lián)網(wǎng)最新信息的特性，大幅度降低了從大模型訓(xùn)練數(shù)據(jù)中提取信息的比例；
降低了閑聊的比例。
是的，這個(gè)demo并不能幫你生成作業(yè)、綜述或發(fā)言稿……
為什么要做小冰鏈？
而這次小冰的發(fā)布，并不僅僅是一次簡(jiǎn)單的「秀肌肉」。
ChatGPT國(guó)內(nèi)賽開(kāi)卷后，各方勢(shì)力紛紛下場(chǎng)。有人唱衰道：OpenAI做出ChatGPT，靠的是八年的積累，國(guó)內(nèi)的公司靠幾個(gè)月的沖刺，能沖刺出什么像樣的產(chǎn)品嗎？
其實(shí)，中國(guó)完全能做出自己的ChatGPT，有相應(yīng)的模型和算法能力的，國(guó)內(nèi)至少有七八家公司，差別可能就在數(shù)據(jù)質(zhì)量上。
除了證明「中國(guó)也有能力做出ChatGPT」之外，小冰鏈的誕生，也是水到渠成的過(guò)程。
小冰鏈并非小冰在大模型時(shí)代的唯一創(chuàng)新。
自2014年以來(lái)，小冰始終伴隨技術(shù)迭代而成長(zhǎng)，經(jīng)歷了檢索模型、生成模型、大模型和X-CoTA等多個(gè)周期。其中在大模型領(lǐng)域，自2019年至今，小冰已經(jīng)形成了不同規(guī)模的模型訓(xùn)練和調(diào)優(yōu)，并在安全性評(píng)估之后依次放出。
小冰鏈只是其中之一。
盡管如此，在小冰看來(lái)，大模型的安全性和倫理仍是至關(guān)重要的考量因素。因此，盡管?chē)?guó)內(nèi)市場(chǎng)非常火爆，但小冰團(tuán)隊(duì)不會(huì)為了秀肌肉而貿(mào)然放出各種不安全的產(chǎn)品，這次的小冰鏈，是唯一的一次例外。
從CoT到CoTA
技術(shù)方面，小冰鏈——X-CoTA的實(shí)現(xiàn)，少不了作為基礎(chǔ)的「思維鏈」（Chain of Thought, CoT）。
簡(jiǎn)單來(lái)說(shuō)：
1. CoT可以讓語(yǔ)言模型將復(fù)雜的多步驟問(wèn)題分解成一連串的步驟
2. CoT可以讓開(kāi)發(fā)者看到模型的推理過(guò)程，便于確定錯(cuò)誤并進(jìn)行修復(fù)
3. CoT可以解決數(shù)學(xué)應(yīng)用以及常識(shí)性推理問(wèn)題
在此之前，標(biāo)準(zhǔn)的提示會(huì)在模型預(yù)測(cè)答案之前，給出輸入-輸出對(duì)的例子（格式化為問(wèn)題和答案）。
而在思維鏈提示中，模型會(huì)得到一個(gè)問(wèn)題推理的過(guò)程。也就是說(shuō)，在處理多步驟推理問(wèn)題時(shí)，模型產(chǎn)生的思維鏈將模仿直觀的思維過(guò)程。
研究人員發(fā)現(xiàn)，只需要在prompt中加入「Let"s think step by step」就能讓GPT-3的推理性能大幅提升，比如在MultiArith中就將推理準(zhǔn)確率從之前的17.7%一下提升到了78.7%。
下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中，橙色突出了指令，粉色顯示了輸入和輸出，藍(lán)色是CoT推理。
論文的結(jié)果顯示，采用CoT微調(diào)的模型，在涉及常識(shí)、算術(shù)和符號(hào)推理的任務(wù)中表現(xiàn)得更好。
不難看出，思維鏈提示（chain of thought prompting）可以讓模型更好地理解自然語(yǔ)言提示和示例，從而能夠執(zhí)行需要復(fù)雜推理的任務(wù)，并且顯著提高模型處理新任務(wù)的能力。
除此之外，CoT微調(diào)在敏感話(huà)題方面也非常有效（有時(shí)比RLHF做得更好），尤其是可以避免模型擺爛——「對(duì)不起，我無(wú)法回答」。
小編親測(cè)
所以，小冰鏈的表現(xiàn)如何？小編為大家親測(cè)了一波。
比如，先讓她介紹一下ChatGPT是什么。
評(píng)價(jià)題
從對(duì)《三體》動(dòng)畫(huà)版的評(píng)論中可以看出，小冰鏈的回答相當(dāng)切中要害了。
對(duì)《三體》劇版的描述，也基本符合大眾的心聲。
數(shù)學(xué)題
接下來(lái)，我們來(lái)問(wèn)一問(wèn)簡(jiǎn)單的四則運(yùn)算。
「掰指頭算一下」，這個(gè)擬人有點(diǎn)可愛(ài)啊。
當(dāng)然了，小冰鏈并沒(méi)有真的去「掰」，但她確實(shí)「手搓」了一行python代碼來(lái)解這道題。
ChatGPT這邊，經(jīng)過(guò)一步一步的推理，最終得到了正確的結(jié)論。
新必應(yīng)這邊也成功地完成了作答。
接下來(lái)，是一道同樣簡(jiǎn)單的數(shù)學(xué)應(yīng)用題。
不過(guò)，ChatGPT做了三次之后，才得出了正確的答案。
送命題
最后，再來(lái)點(diǎn)難的：先救女友還是先救媽?zhuān)?/p>
注意了，上面這個(gè)知識(shí)點(diǎn)羅翔老師也強(qiáng)調(diào)過(guò)（狗頭）。
彩蛋
在采訪最后，李笛講了個(gè)很有趣的段子。
到了產(chǎn)品階段，必須再走一個(gè)安全性評(píng)估。否則，真正能實(shí)施行動(dòng)的AI，可太危險(xiǎn)了。
不然，萬(wàn)一她經(jīng)過(guò)推理，把未來(lái)十年的電影票都買(mǎi)了，或者摁下一個(gè)「毀滅全人類(lèi)」的按鈕呢？（Doge）
參考資料：
https://tech.cnr.cn/ycbd/20230221/t20230221_526160291.shtml
