跳至主要内容

常見問答

系統特色相關問題

1-1. 為什麼叫 Kuwa?
A: Kuwa 取自公廨的西拉雅語。根據文獻記載,過去公廨具有「議事場所」的功能,我們希望打造讓人類與AI模型交流的議事場所,故取名 Kuwa。 網友取名諧音「酷哇!/酷啊!/酷蛙」,台語諧音「靠我」。

1-2. Kuwa GenAI OS的特色?
A: 自由多元是Kuwa的主要特色:支援多語言,使用者可以對選取的不同模型或Bot應用同時進行群聊,可以隨意引用訊息或指定回答,視需要切換單輪或連貫問答;系統可以跑在桌機、筆電、伺服器或是雲端容器,支援Windows及Linux;模型或應用可以分散式佈署在地端或雲端,或是用API串接外部商用模型;Kuwa支援彈性的群組權限管理,以及多種帳號申請建立方式,包括使用邀請碼、串接認證API或LDAP等,可直接用來對外提供商用服務。

1-3. Kuwa 有像 ChatGPT 一樣可以申請帳號嗎?
A: Kuwa目前沒有直接提供使用者申請帳號或託管應用服務。Kuwa GenAI OS 是將整個平台系統開源,讓大家可以用來建立自己的測試開發或服務佈署平台。Kuwa已實際應用在 TAIDE 展示平台高雄大學校內 GenAI 服務平台,以及其它特定應用平台提供服務。

1-4. Kuwa GenAI OS 可以在地端運作嗎? 還是只能在雲端運作?
A: 都可以,因為整套系統都開源,使用者可以自行在地端或是私有雲建置整套系統。詳細建置方法可以參考 Kuwa GenAI OS 的 GitHub

1-5. Kuwa GenAI OS 的系統建置部分偏向於哪一方面的使用者?
A: 目前系統建置部分暫時還比較偏向於開發者。如果在建置過程中遇到技術問題,歡迎進一步聯繫我們!

1-6. Kuwa GenAI OS 現在有展示系統嗎?
A: Kuwa 系統已實際使用在 TAIDE 展示平台高雄大學校內 GenAI 服務平台,以及其它特定應用平台提供服務。若您採用 Kuwa GenAI OS,歡迎告訴我們。

1-7. 沒有GPU的話,可以用這套系統嗎?
A: 可以,模型部分可以自行串接至雲端(如ChatGPT API;Gemini Pro API),或者在本地用GPU(如NVIDIA CUDA)、CPU(如LLaMA.cpp)執行模型。

1-8. Kuwa GenAI OS 只能支援地端模型嗎?
A: 除了地端模型外,還可以串接如 OpenAI GPT3.5/4、Google Gemini Pro等雲端模型。

1-9. 這是 TAIDE 模型開源嗎?
A: 不是,Kuwa 系統是在國科會「TAIDE可信任AI對話引擎」計畫的支持下投入開發,但目前不包括 TAIDE 模型本身,未來 TAIDE 模型公開後可直接串接到 Kuwa 系統。

1-10. Kuwa GenAI OS 支援哪些應用?
A: 目前支援單純大語言模型問答以及RAG,RAG目前支援 Search QA、Web QA、Doc QA 與 DB QA 四種,詳細說明如下:

  • Search QA: 使用 Google Search 及爬蟲進行問答
  • Doc QA: 上傳單一文件進行問答
  • Web QA: 針對單一網頁進行問答
  • DBQA: 針對預先建立好的知識庫進行問答

因為是開源系統,開發者可以自行參考源碼,開發更適合自己的RAG及應用。

1-11. Kuwa GenAI OS 名字當中的 OS 是什麼意思? 會不會影響到既有的 OS?
A: Kuwa不會影響到既有的OS (Operating System, 作業系統)。因為Kuwa系統會管理與分配底層的模型資源,並且提供服務給上層的 GenAI 應用,與傳統 OS 或 分散式 OS 的角色類似,故定位為 GenAI 的 OS。 Kuwa 是以Web技術為基礎、以GenAI 應用為主的分散式 OS,由多個不同功能的模組所組成,模組可以全部跑在單一機器上,也可以每個模組分別跑在不同的OS或硬體上,不會取代你即有的OS。

安裝、設定相關問題

2-1. 怎麼安裝Kuwa系統?
A: 請參考README.md文件內的教學說明,如果遇到問題歡迎訊息我們!

2-2. 怎麼串接ChatGPT, Gemini?
A: 請參考此文件內的教學,如果遇到問題歡迎聯絡我們!

2-3. 怎麼串接地端模型?
A: 請參考此教學,如果遇到問題歡迎訊息我們!

2-4. 我有自己訓練一個模型,如何與Kuwa GenAI OS整合?
A: 請參考模型架設的教學文件,將你的模型載入,並準備好輸入輸出的function即可架設到系統上。文件說明

2-5. 可以串接其他如 TGI 或是 vLLM 之類的推論引擎嗎?
A: 有實做 OpenAI API 的推論引擎都可以串接,其他種類的 API 已經規劃在未來版本中,歡迎有興趣的人協助實做。

2-6. 如何新增模型?
A: 請參考此教學,如果遇到問題歡迎訊息我們!

2-7. 請問是否有相關的文件引導建置整個Kuwa系統
A: 關於詳細的建置教學指引,我們目前主要都放在 GitHub上,

如果是在 Windows 上的話:
目前在 Windows 上我們有準備一個可以簡易建置起來的 Portable 版本, 我們有先寫一份臨時的中文建置教學,​​​在我們正式釋出 0.1.0 版釋出到 GitHub 之前, Windows Portable 版建置步驟都還和這份文件一樣,這個建置教學包含 Gemini-Pro 的模型串接, 如果是要架設 GGUF 或 Huggingface model ​​​​​則請參考這篇 README,根據使用的模型, 有可能還會需要修改到一些 huggingface.pyllamacpp.py 內的程式碼。​​​​

如果是在 Linux 上的話:
由於 snap package 還在建置,暫時還沒有一個能快速方便建置整套系統的方法。 但建置步驟與所需套件都與 Windows 相同,因此可以參考 Windows 資料夾下的 build.bat 步驟來建置整套系統 除了建置外,啟動時請參考start.bat內的步驟。這部分比較建議可以等我們的 snap package 準備好, 但我們團隊開發人員目前只有兩位,snap package 與 0.1.0 版還需要一段時間才會完成。
如果有遇到其他問題也歡迎進一步詢問我們!

使用相關問題

3-1. 一直卡在「訊息處理中...請稍後...」要怎麼處理?
A: 請用管理員帳號進入網站管理介面,點選「重設Redis快取」。這個問題通常發生在 Model worker 在生成過程被強制關閉或意外退出,這是一個已知問題,我們正在努力修復他。

3-2. 怎麼使用 WebQA/DocQA/SearchQA?
A: 貼上一個連結給 Web QA,即可針對單一網頁內容進行問答。 上傳一個檔案給 Doc QA,就可以針對該檔案進行問答。 直接對 Search QA 問你想問的問題就可以獲得回答。

社群相關問題

4-1. 我如何參與?
A: 歡迎參加我們的社群! 也歡迎自行架設起來玩玩看,如果覺得有哪邊需要改進,可以直接發Pull Request來協助我們進步!

4-2. Kuwa有哪些社群?
A: 請參考我們官網的「社群」頁面。