在數字化浪潮的推動下,人工智能技術正以前所未有的速度滲透到各行各業中, 越來越多的AI概念正在深入我的的生活。
不少公司正在開發AI伴侶應用程序,這些應用程序能夠提供情感支持和陪伴,如Replika AI,它允許用戶與一個AI聊天機器人建立關系,隨著時間的推移,AI伴侶會學習用戶的偏好和習慣。
今天開源君就來和大家分享一個非常有趣的開源項目 - ,讓開發者能夠輕松創建和部署虛擬數字人。
項目地址:https://github.com/GuijiAI/duix.ai
,全稱為"Dialogue User Interface System",是一個集成了數字化虛擬人與AI技術的開源項目,由硅基智能開發的,旨在打造一個數字人智能交互平臺。它通過結合最新的人工智能研究成果,為用戶提供了一系列強大的功能和工具,使得虛擬人不僅能夠進行智能交互,還能夠在多種商業場景中得到應用。
允許開發者在Android和iOS等設備上一鍵部署,為用戶提供即時的虛擬人互動體驗。這個SDK不僅提供了直觀的效果展示,還支持用戶進行二次開發,可以根據提供的開放文檔輕松開發出定制化的虛擬人應用。
的目標是降低技術門檻,讓更多企業和開發者能夠快速接入并利用AI技術,推動數字化轉型。不僅代表了技術的進步,更是對未來人機交互方式的一次大膽探索。
-
一鍵快速集成:無需客戶提供技術團隊進行配合,支持低成本快速部署在多種終端及大屏。
-
網絡依賴小:無網絡環境可運行。
-
可自由定制:可根據客戶需求滿足視頻、媒體、客服、金融、廣電等多個行業的多樣化需求。
-
畫質流程清晰:模型支持50幀/秒以上的超流暢畫面質量,超電影級標準的24幀/秒。
-
突出的實時渲染能力:視頻生成效率超過1:0.5(生成時長:生成耗時),達到直播/實時交互應用標準。
-
真人級的交互質量:模型對動作、微表情乃至聲音唇形的精準同步,實現。
-
模型對算力要求低:無論是個人電腦、平板、車載系統,甚至是手機,都能流暢運行。
Duix.ai提供了詳細的文檔和示例代碼,幫助開發者快速上手。無論是Android還是iOS平臺,Duix.ai都提供了相應的SDK和API,使得集成變得簡單快捷。
Android平臺上,需要支持Android 7.0至Android 13系統,硬件至少需要4核CPU和4G內存。
-
在 build.gradle 文件中添加依賴配置。
-
配置: 在AndroidManifest.xml中添加必要的權限,如INTERNET和MODIFY_AUDIO_SETTINGS等。
-
初始化: 在應用的onCreate()方法中初始化DUIX對象,并設置回調以處理SDK事件。
-
渲染: 使用RenderSink接口來接收和渲染數字人形象。
-
播報: 通過提供wav文件路徑啟動數字人播報功能。
iOS平臺,則需要Xcode和iOS 12.0以上環境,iPhone X及以上設備。
-
安裝: 通過Xcode將DUIX SDK集成到iOS項目中。
-
初始化: 使用GJLDigitalManager類初始化數字人模型,并指定顯示視圖。
-
渲染: 調用toStart方法開始渲染數字人。
-
播報: 使用toSpeakWithPath方法播放音頻文件,驅動數字人進行播報。
-
控制: 提供了取消播放、暫停、播放和結束渲染的方法。
以上這些步驟提供了在Android和iOS平臺上使用duix.ai SDK的基本流程。具體的實現和配置細節需要參考項目的詳細文檔和示例代碼。
接下來開源君帶大家來看看,duix.ai數字人的實時驅動效果。
比如類似野蠻女友的風格
情感大師的風格
duix.ai項目提供了14個內置的數字人形象,可以直接體驗數字人的魅力。
內置的模特模板和AI模型包可以通過公網地址下載,可以快速開始數字人的定制和開發。
GitHub上官方已多次更新,后續將更新上線更多數字人形象模型。
是一個非常有前景的開源項目,不僅提供了一個功能強大的數字人SDK,還通過完全開源的方式,鼓勵和支持開發者進行創新和優化,為整個行業提供了一個創新的平臺。無論是對于企業還是個人開發者來說,duix.ai都是一個值得關注和嘗試的項目。
更多細節功能,感興趣的可以到項目地址查看:
項目地址:
https://github.com/GuijiAI/duix.ai
由于新崗位的生產效率,要優于被取代崗位的生產效率,所以實際上整個社會的生產效率是提升的。
但是具體到個人,只能說是:
“最先掌握AI的人,將會比較晚掌握AI的人有競爭優勢”。
這句話,放在計算機、互聯網、移動互聯網的開局時期,都是一樣的道理。
我在一線互聯網企業工作十余年里,指導過不少同行后輩。幫助很多人得到了學習和成長。
我意識到有很多經驗和知識值得分享給大家,也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑,所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限,很多互聯網行業朋友無法獲得正確的資料得到學習提升,故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰學習等錄播視頻免費分享出來。
該階段讓大家對大模型 AI有一個最前沿的認識,對大模型 AI 的理解超過 95% 的人,可以在相關討論時發表高級、不跟風、又接地氣的見解,別人只會和 AI 聊天,而你能調教 AI,并能用代碼將大模型和業務銜接。
- 大模型 AI 能干什么?
- 大模型是怎樣獲得「智能」的?
- 用好 AI 的核心心法
- 大模型應用業務架構
- 大模型應用技術架構
- 代碼示例:向 GPT-3.5 灌入新知識
- 提示工程的意義和核心思想
- Prompt 典型構成
- 指令調優方法論
- 思維鏈和思維樹
- Prompt 攻擊和防范
- …
該階段我們正式進入大模型 AI 進階實戰學習,學會構造私有知識庫,擴展 AI 的能力。快速開發一個完整的基于 agent 對話機器人。掌握功能最強的大模型開發框架,抓住最新的技術進展,適合 Python 和 JavaScript 程序員。
- 為什么要做 RAG
- 搭建一個簡單的 ChatPDF
- 檢索的基礎概念
- 什么是向量表示(Embeddings)
- 向量數據庫與向量檢索
- 基于向量檢索的 RAG
- 搭建 RAG 系統的擴展知識
- 混合檢索與 RAG-Fusion 簡介
- 向量模型本地部署
- …
恭喜你,如果學到這里,你基本可以找到一份大模型 AI相關的工作,自己也能訓練 GPT 了!通過微調,訓練自己的垂直大模型,能獨立訓練開源多模態大模型,掌握更多技術方案。
到此為止,大概2個月的時間。你已經成為了一名“AI小子”。那么你還想往下探索嗎?
- 為什么要做 RAG
- 什么是模型
- 什么是模型訓練
- 求解器 & 損失函數簡介
- 小實驗2:手寫一個簡單的神經網絡并訓練它
- 什么是訓練/預訓練/微調/輕量化微調
- Transformer結構簡介
- 輕量化微調
- 實驗數據集的構建
- …
對全球大模型從性能、吞吐量、成本等方面有一定的認知,可以在云端和本地等多種環境下部署大模型,找到適合自己的項目/創業方向,做一名被 AI 武裝的產品經理。
- 硬件選型
- 帶你了解全球大模型
- 使用國產大模型服務
- 搭建 OpenAI 代理
- 熱身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地計算機運行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何優雅地在阿里云私有部署開源大模型
- 部署一套開源 LLM 項目
- 內容安全
- 互聯網信息服務算法備案
- …
學習是一個過程,只要學習就會有挑戰。天道酬勤,你越努力,就會成為越優秀的自己。
如果你能在15天內完成所有的任務,那你堪稱天才。然而,如果你能完成 60-70% 的內容,你就已經開始具備成為一名大模型 AI 的正確特征了。