FX168財經報社(北美)訊 週二(2月20日)，Groq是最新出現的人工智能(AI)工具，憑藉其響應速度和可能無需GPU的新技術，正在席捲社交媒體。
Groq的公開基準測試在社交媒體平臺X上瘋傳後一夜成名，顯示其計算和響應速度優於流行的人工智能聊天機器人ChatGPT。
(來源：X)
這是因爲Groq背後的團隊爲大型語言模型(LLM)開發了自己的定製專用集成電路(ASIC)芯片，使其每秒可以生成大約500個tokens。相比之下，該模型的公開版本ChatGPT-3.5每秒可以生成大約40個tokens。
該模型的開發商Groq Inc聲稱已經創建了第一個運行模型的語言處理單元(LPU)，而不是通常用於運行AI模型的稀缺且昂貴的圖形處理單元(GPU)。
(來源：X)
在 ArtificialAnalysis.ai最近進行的基準測試中，Groq在幾個關鍵性能指標（包括延遲與延遲）上優於其他8名參與者，包括吞吐量和總響應時間。Groq的網站指出，LPU的卓越性能，尤其是Meta AI的Llama 2-70b模型，意味着「意味着「必須擴展軸才能在延遲與吞吐量圖表上繪製 Groq」。
根據ArtificialAnalysis.ai的數據，Groq LPU實現了每秒241個tokens的吞吐量，大大超過了其他託管提供商的能力。這種性能水平是競爭解決方案速度的兩倍，並有可能爲跨各個領域的大型語言模型開闢新的可能性。Groq的內部基準進一步強調了這一成就，聲稱達到每秒300個代幣，這是傳統解決方案和現有提供商尚未接近的速度。
（來源：ArtificialAnalysis.ai）
GroqCard加速器是這項創新的核心，售價爲19,948美元，可供消費者輕鬆購買。從技術上講，它擁有高達750 TOP(INT8)和188 TFLOP(FP16 @900 MHz)的性能，以及每個芯片230 MB SRAM和高達80 TB/s的片上內存帶寬，優於傳統的CPU和GPU設置，特別是在法學碩士任務中。這一性能飛躍歸因於LPU能夠顯着減少每個字的計算時間並緩解外部內存瓶頸，從而實現更快的文本序列生成。
（來源：CryptoSlate）
將Groq LPU卡與成本相似的英偉達旗艦A100 GPU進行比較，Groq卡在處理大量簡單數據 (INT8) 的速度和效率至關重要的任務中表現出色，即使 A100 使用先進技術來提高其性能也是如此。然而，當處理更復雜的數據處理任務（FP16）時，需要更高的精度，Groq LPU無法達到A100的性能水平。
從本質上講，這兩個組件在AI和ML計算的不同方面都表現出色，Groq LPU卡在高速運行LLMS 方面極具競爭力，而A100在其他方面領先。Groq將LPU定位爲運行LLM的工具，而不是原始計算或微調模型。
然而，Groq背後的公司並不最近成立的。它成立於2016年，當時註冊的商標名爲Groq。去年11月，當馬斯克自己的人工智能模型（也稱爲 Grok，但拼寫爲「k」）受到關注時，最初的Groq背後的開發人員發表了一篇博客文章，呼籲馬斯克選擇另外的名字。
自從Groq在社交媒體上瘋傳以來，馬斯克和X上的Grok頁面都沒有對這兩個工具名稱的相似性發表任何評論。
儘管如此，平臺上的許多用戶已經開始將LPU模型與其他流行的基於GPU的模型進行比較。
一位從事人工智能開發的用戶稱Groq是需要低延遲的產品的「遊戲規則改變者」，低延遲是指處理請求和獲得響應所需的時間。
(來源：X)
另一位用戶表示，Groq的LPU可以爲GPU提供「巨大的改進」，以滿足未來人工智能應用的需求，並表示它也可能成爲人工智能「高性能硬件」的良好替代品。
在此背景下，業界主要的人工智能開發商正在尋求開發內部芯片，以避免僅僅依賴英偉達的模型。
據報道，OpenAI正在向世界各地的政府和投資者尋求數萬億美元的資金來開發自己的芯片，以克服產品擴展方面的問題。