FX168財經報社(北美)訊 週五(12月8日)，谷歌的一個團隊提出了使用人工智能技術，通過移動手機數據（如照片和搜索記錄）創建用戶生活的「鳥瞰」視圖的構想。
該構想被命名爲「Project Ellmann」，以傳記作家和文學評論家Richard David Ellmann的名字命名。該構想的目標是利用類似於Gemini的大型語言模型（LLM），攝取搜索結果，識別用戶照片中的模式，創建聊天機器人，並「回答以前無法回答的問題」，「Project Ellmann的目標是成爲「用戶的生活故事的講述者」。
目前尚不清楚谷歌是否計劃在Google Photos或其他產品中實現這些功能。根據谷歌的一篇博客文章，Google Photos擁有超過10億用戶和4萬億的照片和視頻。
Ellman 項目只是谷歌提議利用人工智能技術創建或改進其產品的衆多方式之一。週三，谷歌推出了最新的「最強大」和最先進的人工智能模型 Gemini，在某些情況下它的性能優於 OpenAI 的 GPT-4。該公司計劃通過 Google Cloud 向廣泛的客戶授權 Gemini，以便他們在自己的應用程序中使用。 Gemini 的突出特點之一是它是多模式的，這意味着它可以處理和理解文本之外的信息，包括圖像、視頻和音頻。
Project Ellman是谷歌提出的使用人工智能技術創建或改進其產品的衆多方式之一。谷歌於週三推出了其最新的「最強大」和先進的人工智能模型Gemini，該模型在某些情況下超過了OpenAI的GPT-4。公司計劃通過Google Cloud將Gemini授權給廣泛的客戶，讓他們在自己的應用程序中使用。Gemini的一個突出特點是它是多形態的，意味着它可以處理和理解文本之外的信息，包括圖像、視頻和音頻。
Google Photos的產品經理在最近的內部峯會上與Gemini團隊一起展示了Project Ellman。文件中寫道，過去幾個月，團隊一直在確定大型語言模型是使這種「鳥瞰」生活故事成爲現實的理想技術。
Ellmann可以利用傳記、過去的瞬間和後續照片來拉取上下文，以比「只是帶有標籤和元數據的像素」更深入地描述用戶的照片。演示文稿提出，它可以識別一系列時刻，如大學時代和作爲父母的時光。
「大型語言模型之所以讓這種鳥瞰方法如此強大，其中一個原因是它能夠從各個不同高度獲取未結構化的上下文，並使用它來改善它對內容的其他區域的理解。」
該團隊還演示了「Ellmann Chat」，描述爲：「想象一下打開ChatGPT，但它已經瞭解您生活的一切。你會問它什麼？」
它展示了一個樣本聊天，其中用戶問：「我有寵物嗎？」然後它回答說是的，用戶有一隻狗，穿着一件紅雨衣，然後提供了狗的名字以及它最常與之見面的兩個家庭成員的名字。
聊天的另一個例子是用戶詢問他們的兄弟姐妹上次訪問的時間。另一個詢問它列出與他們居住地相似的城鎮，因爲他們正在考慮搬家。Ellmann都提供了答案。
Ellmann還呈現了用戶的飲食習慣摘要。展示文稿中寫道：「該用戶似乎喜歡意大利食物。有幾張通心粉的照片，還有一張披薩的照片。」它還說，用戶似乎喜歡嘗試新食物，因爲他們的一張照片上有一份它不認識的菜單。
根據演示文稿，該技術還可以根據用戶的截圖確定用戶正在考慮購買的產品、他們的興趣、工作和旅行計劃。它還暗示將能夠知道他們最喜歡的網站和應用程序，舉例說明了Google Docs、Reddit和Instagram。
一位谷歌發言人表示：「谷歌照片一直在使用人工智能來幫助人們搜索他們的照片和視頻，我們對LLM解鎖更多有用體驗的潛力感到興奮。這是一個團隊在早期階段探索的構想。一如既往，我們將花費所需的時間，確保我們以負責任的方式進行，將用戶的隱私保護作爲首要任務。」
大型科技公司競相創造人工智能驅動的「記憶」
Project Ellmann可能有助於谷歌在科技巨頭之間的競爭中創造更加個性化的生活記憶。
多年來，谷歌照片和蘋果照片一直提供「記憶」服務，並根據照片中的趨勢生成相冊。
在11月，谷歌宣佈，在AI的幫助下，Google Photos現在可以將相似的照片分組，並將截圖整理成易於查找的相冊。
蘋果在6月宣佈，其最新軟件更新將包括其照片應用程序能夠識別照片中的人、狗和貓的功能。它已經可以對面孔進行分類，並允許用戶通過姓名搜索它們。
蘋果還宣佈了即將推出的Journal App，該應用將使用設備上的AI根據最近的照片、位置、音樂和鍛鍊情況創建個性化建議，促使用戶撰寫描述他們記憶和經歷的段落。
但是，蘋果、谷歌和其他科技巨頭仍在努力解決適當顯示和識別圖像的複雜性。
例如，由於2015年的報道發現蘋果公司將黑人錯誤標記爲大猩猩，蘋果和谷歌仍然避免對大猩猩進行標籤。蘋果iOS和谷歌的Android平臺是大多數世界智能手機的基礎。今年，紐約時報的調查發現，其都關閉了對靈長類動物進行視覺搜索的能力，因爲擔心將人類標記爲動物。
隨着時間的推移，包括谷歌、Facebook 和蘋果在內的公司已經增加了控制功能，以儘量減少不需要的記憶，但用戶報告稱，它們有時仍然會顯示不需要的記憶，並要求用戶手動進行切換。