作者:Josh Ho & Teng Yan,Chain of Thought;翻譯:金色財經xiaozou
本文,我們將深入研究Hyperbolic,一款當前大熱的開放獲取AI雲服務。 Hyperbolic的宏大使命是通過提供負擔得起的推理計算能力,讓AI變得更加普及。
但在此之前,讓我們先來看看我們所認為的關於Hyperbolic最有趣的一些事……
1、Hyperbolic的秘笈--抽樣證明(Proof of Sampling)
Hyperbolic正在通過解決人工智能領域最棘手的挑戰之一來開疆擴土:驗證一個輸出是否真正來自特定的AI模型。這個問題對於像OpenAI這樣的集中式閉源提供商來說尤其棘手。 在你請求GPT-4提供輸出的時候,你怎麼能確定你沒有被欺騙--比如,openAI運行更便宜的GPT-3.5模型(每代幣價格的1/20)?
目前,這樣的保證還依賴於聲譽,但Hyperbolic認為應該以一種無需信任的去中心化方式來處理這個問題。
目前有幾種方法可以做到這一點:
·Optimistic機器學習(OpML):假設所有事務都是有效的,除非有驗證者(validator)提出質疑。
·零知識機器學習(ZkML):使用ZK電路來驗證計算是否被正確執行。
然而,兩者都具有局限性:
·OpML依賴於validators來查驗結果,這就會因爭議期而延遲最終確定性。 另外,缺少內在激勵來確保validators的誠信行為。
·ZkML的計算量非常大,有時甚至需要幾天的時間才能生成具有70B 參數的大模型證明。
Hyperbolic的目標是通過其抽樣證明(PoSP)協議和抽樣機器學習(SpML)來克服這些缺點。 SpML利用抽樣和博弈論來鼓勵誠信行為,而不需要進行持續不斷的監督。
它基於一種被稱為Nash Equilibrium(納什均衡)的純策略型博弈論概念,即所有參與者都有明確的動機誠信行事,因為作弊的成本超過了潛在的收益。
最簡單的思維模式是把它想象成一個公共汽車售票系統。
檢票員只進行隨機檢查,所以你可能會認為乘客經常會冒險逃票。 但令人驚訝的是,他們並沒有這樣做,因為逃票的懲罰力度足以阻止乘客作弊。 只要罰款遠遠超過購票成本,誠信就會占上風。
Hyperbolic的SpML使用經濟激勵來解決當前的驗證機制(如OpML和zkML)的局限性。 它既提供了速度又提供了安全性,在二者之間達到了很好的平衡,並且沒有沉重的計算負擔。
需要注意的是什麼? 那就是它假設每個人的行為都是理性的,但事實並非總是如此。
如果SpML在實踐中運行良好,它將改變去中心化AI應用的遊戲規則,使無需信任的驗證推理成為現實。
2、可擴展的低成本計算
訓練AI是很昂貴的。 電力和計算接入是企業和初創公司面臨的最大成本。 訓練模型所需的算力成本幾乎每9個月翻一番。2020年GPT-3的成本約為400萬美元,而2023年GPT-4的計算訓練成本高達1.9億美元,讓人驚掉下巴。
只有資源充足的機構組織才能活下去。 規模較小的參與者和愛好者被過高的成本擠出市場。 斯坦福大學的一名博士後不得不停止他的研究,原因是他負擔不起所需的數千個GPU。
去中心化計算網絡的一個主要挑戰是管理異構硬件--不僅僅是頂級的英偉達芯片,還有各種各樣的GPU。
Hyperbolic的去中心化操作系統是其計算網絡的核心。 它將通過內置的自動擴展和容錯性無縫地匯集資源。
Hyperbolic的突破在於它對這種複雜性的處理方式。
· 它通過優化不同硬件(從Nvidia到AMD GPU)的張量運算提供靈活性。
· Hyperbolic的編譯棧抽象了複雜性,使開發人員能夠在不同的GPU設置中實現高性能,而不會陷入部署和配置方面的困境。
其他市場可能會提供去中心化GPU,但它們通常缺乏Hyperbolic所能提供的精密優化,從而將性能調優的負擔放在用戶身上。
Hyperbolic通過一個API簡化了這一點,該API提供了對針對各種硬件優化的AI模型的訪問權,使全球計算資源更加易於訪問。
8月15日,Hyperbolic發布了其GPU市場的alpha受限版本,允許100名等候成員試用GPU租賃功能。
3、AI服務層
Hyperbolic人工智能生態系統的下一個組件就是AI服務層,它提供推理、模型訓練、模型評估和檢索增強生成(RAG)等功能。
在Hyperbolic app中,你可以輕鬆運行頂級開源模型,如Llama 3.1 405B和Hermes 370B。 要想微調輸出,你可以調整超參數,如max tokens、temperature和top P。
Hyperbolic平台為創新的人工智能應用打開了大門,包括:
·AI智能體收入共享:代幣化AI智能體的所有權以重新分配收入。
·人工智能DAO:利用人工智能進行治理決策。
·分割GPU所有權:允許用戶擁有和交易部分GPU。
4、Crypto扮演什麼角色?
Hyperbolic基礎設施的核心是其區塊鏈,它支撐著編排、服務和驗證層。 區塊鏈為Hyperbolic的開源AI雲處理結算和治理。 它還支持PoSP技術的仲裁和驗證機制。雖然關於該區塊鏈的具體內容還很少,但你大可期待Hyperbolic很快就會透露更多關於這方面的信息。
5、研究級Alpha
Hyperbolic仍處於測試網階段。 他們在由Polychain Capital和Lightspeed Faction領投的種子輪融資中籌集了700萬美元資金。有意思的是,Hyperbolic是Llama 3.1 405B Base模型的獨家提供商。
Base模型是LLM的初始預訓練版本,沒有經過微調或通過人類反饋(RLHF)進行強化學習。 它具有如下優勢:
· 全方位支持對特定任務的微調
· 是高級人工智能技術的起點,例如合成數據生成或模型蒸餾(model distillation)。
6、關於團隊
Jasper (Yue) zhang博士是Hyperbolic Labs的聯合創始人兼首席執行官。 他曾是Ava Labs的高級區塊鏈研究員和Citadel Securities的量化研究員。 他在兩年內讀取了加州大學伯克利分校的數學博士學位,並在阿里巴巴全球數學競賽和中國數學奧林匹克競賽中均獲金牌。Yuchen Jin博士是Hyperbolic Labs的聯合創始人兼首席技術官。 他擁有華盛頓大學計算機系統和網絡博士學位。 他之前曾在OctoML工作,這是一家為運行、調整和擴展生成式AI應用程序提供基礎設施的公司。
7、我們的幾點想法
總的來說,Hyperbolic讓我們非常興奮。 他們絕對是Crypto AI領域裡最值得關注的團隊之一。Hyperbolic不僅僅是一個算力提供商,像PoSP和SpML這樣的創新也為去中心化AI增加了新的信任和驗證層。
在Hyperbolic上試驗base模型是非常有趣的,特別是因為他們是目前為數不多的能夠實現這一功能的提供商之一。 我們絕對可以相信支持他們的開源AI承諾。
幾週前,我們寫過關於Prime Intellect的文章。 Hyperbolic是否會像Prime Intellect那樣專注於分布式AI訓練,這一點還有待觀察。
雖然我們注意到對算力的需求通常是稀疏的,但對於Hyperbolic來說似乎並非如此。 他們已經在研究市場上顯示出了早期吸引力,吸引了研究人員和開發人員的極大興趣。