英偉達(dá)ChatRTX迎0.3版本更新 新增照片搜索、AI語(yǔ)音識(shí)別等功能

英偉達(dá)今日宣布，旗下AI聊天機(jī)器人ChatRTX進(jìn)行0.3版本更新，此次更新不僅增加了對(duì)谷歌的Gemma、ChatGLM3和OpenAI的CLIP等多種人工智能模型的支持，還首次集成了先進(jìn)的Whisper語(yǔ)音識(shí)別系統(tǒng)，為用戶帶來(lái)前所未有的智能交互體驗(yàn)。

英偉達(dá)今年三月曾公開AI聊天機(jī)器人ChatRTX，使用者可以在有著英偉達(dá)RTX技術(shù)支援的Windows PC和工作站上，與儲(chǔ)存在本地端的資料互動(dòng)。ChatRTX利用檢索增強(qiáng)生成、英偉達(dá)TensorRT-LLM軟體與英偉達(dá)RTX加速等技術(shù)，將聊天機(jī)器人功能帶至有著RTX技術(shù)支援的Windows PC和工作站上。在LLM的支援下，使用者可以透過(guò)ChatRTX查詢他們的筆記和檔案，且由于ChatRTX在使用者裝置本機(jī)端運(yùn)行，能夠快速生成相關(guān)回應(yīng)。

英偉達(dá)表示，最新版本加入支援其他LLM，包括由谷歌訓(xùn)練出最新的開放式、可在本地端運(yùn)行的Gemma。Gemma是Google使用與自家Gemini模型相同的研究和技術(shù)，專為負(fù)責(zé)任AI開發(fā)而打造的模型。ChatRTX現(xiàn)在也支援基于通用語(yǔ)言模型框架的開放式中英雙語(yǔ)ChatGLM3大型語(yǔ)言模型。

英偉達(dá)指出，由于支援OpenAI的對(duì)比語(yǔ)言和影像預(yù)訓(xùn)練技術(shù)，使用者能與影像資料進(jìn)行互動(dòng)。經(jīng)過(guò)訓(xùn)練和細(xì)化后的CLIP神經(jīng)網(wǎng)絡(luò)，從自然語(yǔ)言監(jiān)督中學(xué)習(xí)視覺(jué)概念。也就是說(shuō)，這個(gè)模型會(huì)辨識(shí)在影像集里「看到」的東西。因ChatRTX支援CLIP，使用者可透過(guò)單字、術(shù)語(yǔ)和短語(yǔ)，與裝置本機(jī)端的相片和影像進(jìn)行互動(dòng)，無(wú)需使用復(fù)雜的詮釋資料標(biāo)記。

另外，新版本的ChatRTX還讓使用者可以用自己的聲音與資料進(jìn)行聊天。由于有支援使用AI處理口語(yǔ)的自動(dòng)語(yǔ)音識(shí)別系統(tǒng)Whisper，使用者可以在應(yīng)用程式上用語(yǔ)音進(jìn)行查詢，ChatRTX將以文字加以回應(yīng)。這意味著用戶不再局限于鍵盤輸入，而是可以通過(guò)簡(jiǎn)單的語(yǔ)音指令來(lái)與機(jī)器人交互，查詢本地?cái)?shù)據(jù)，享受更為自然和高效的溝通方式。