社群的朋友大家好，

TAIDE 模型於今天釋出，我們很開心也能釋出內建 TAIDE LX 7B Chat 4bit 模型的 Windows 版客製化 Kuwa 系統。

此客製化系統為自解壓縮的單一執行檔，並將 TAIDE 模型內建成預設的地端模型選項，可在 CPU 與 GPU 環境下執行，讓大家可以方便快速的體驗 TAIDE 模型的效果，並進行GenAI的相關應用。

此外，此系統基於稍早釋出的 v0.2.0-beta 進行客製化，因此也可以使用 TAIDE 模型進行 RAG應用。惟須注意 RAG 會產生較長的輸入，建議使用 GPU 版本進行推論。

Kuwa 系統及 TAIDE 模型仍還在持續開發及改善，難免會發生不穩。本系統生成的內容僅供參考，不擔保其正確性，仍需使用者再行查證；請勿將不適的對話內容公開，以免帶來不預期的困擾。

TAIDE官網: https://taide.tw/
Kuwa官網: https://kuwaai.org/zh-Hant/

社群的朋友大家好，

蒐集大家的意見之後，我們預計在v0.2.0推出大家期待已久的RAG功能。
目前RAG的部份已經內部測試完畢，所以我們推出v0.2.0-beta來邀請大家一起測試有沒有符合心目中的樣子。
此外，本次更新也一併提供 TAIDE API 與 TAIDE 模型的串接方式，
同時我們也調整了系統的安裝腳本及修復一些已知的 bug，讓整個系統更穩定、容易擴充與使用。 若有任何建議或是覺得可以改善的地方，請告訴我們！

本次更新詳細內容如下：

Windows Portable 版​

1. 調整模型架設方式：
   • 預設啟用 Gemini Pro 與 ChatGPT 的 API
   • 預設使用 Gemini Pro 來啟動 WebQA 與 Document QA 的 RAG 應用
2. 廢除 env.bat，改用 run.bat來啟動executor
3. 改進 executor 功能：
   • 允許直接設定執行指令、參數等資訊
   • 調整 init.bat 作為單純輔助建立 run.bat 的工具，使用者也可直接撰寫run.bat來啟動所需模型
4. 修正 v0.1.0版 PHP 下載連結不存在的錯誤（因版本更新而被封存）
5. 整合 RAG 至 Windows 版本簡易啟動框架下
6. 指定檔案路徑改善
   • 在 Windows 版本的 executors 資料夾下，檔案預設會使用相對路徑指定
7. 修正 Custom 類別的 executor 錯誤
8. 權限調整：
   • 只有管理 Tab 權限的群組可以在模型新增的時候直接被賦予該模型使用權限
9. 修正 Windows 版本中 Redis 因使用 localhost 作為 IP 導致 DNS 查詢每次需延遲 2 秒的問題

Docker 版​

1. 整合 RAG (Document QA / Web QA / DB QA) 至 executor 的 Docker image 與 compose 系統中
2. 提供 Gemini Pro 使用全域 API key 的 compose 範例
3. 補完文件缺漏字句

Executor​

1. 提供 TAIDE API executor，可直接串接國網的 TAIDE API
2. 移植 RAG executor (Document QA / Web QA / DB QA / Search QA) 到新版框架上
3. 讓 RAG executor 支援自動模型尋找、i18n與中斷生成

Kernel​

1. 提供列出目前可用 executor 的 API

Multi-chat​

1. 調整無訊息狀態的 timeout 等待時間：
   • 從 1 分鐘延長至 2 分鐘，以因應 RAG 處理速度的空窗等待時間
2. 修復 AdminSeeder 的 bug：
   • 修正給予重複的模型使用權限的問題
3. 新增網站傳送 kuwa token 到 executor 上的功能：
   • 用以修正 RAG 過去無歸屬的 API token 問題
4. 增加調整預設模型圖片路徑的方法：
   • 可透過 .env 檔案的 LLM_DEFAULT_IMG 進行設定
5. 修正 v0.1.0 的 API 無法正常使用的 Bug

已知問題及限制

1. 目前 Windows 版的 Document QA 因為函式庫的相依性問題，可以讀取 .doc 及 .docx 格式的檔案，但可能無法讀取部份的 .pdf 檔案。若有需要，請改用 Linux 版的 Kuwa。
2. RAG 相關應用因會產生較長的輸入，若僅使用 CPU 版串接地端模型時容易產生超時錯誤，建議串接雲端模型，或是利用 GPU 版串接地端模型再使用 RAG 應用。

各位開發者、使用者午安，

我們在初版釋出後，聽到了不少使用者的問題與回饋，
現在v0.1.0穩定版已釋出，此版本在Windows版安裝方式上，做了些許的調整
這次的更新同步釋出了Docker版本，供使用者快速安裝、依需求調整環境架構，
也修正了一些使用上已知的小bug，

以下是此次更新主要的更新內容

Windows Portable 版​

1. 模型架設方式調整，現在可以簡易的設定更多模型
2. 修正使用 MySQL 或 PostgreSQL 時會發生的多種錯誤
3. Readme 更新的更完整

Docker 版​

1. 可透過 Docker Compose 一件啟動整個系統與多個 Executor
2. 選用穩定的軟體堆疊，可直接作為生產環境
3. 模組化設計，可自由選擇要啟動的 Executor 種類與數量

Executor​

1. 加上命令列介面啟動器，可一鍵啟動多種 Executor，並允許將Prompt模板、System Prompt、生成設定 (Generation config)等常用的參數用指令帶入
2. 支援Huggingface Transformers與Llama.cpp等常見地端模型推論框架
3. 支援與 OpenAI API 或 Gemini-Pro API 相容的推論服務，如vLLM、LiteLLM等
4. 將常用功能包成 Executor 框架，如自動註冊重試、自動註銷、自動歷史紀錄修剪、中斷生成等
5. 將 Executor 框架打包成套件，方便自行擴充 Executor
6. 修正 llama.cpp executor 的生成錯誤 bug
7. 底層框架換成 FastAPI 以提昇效率與穩定性

Multi-chat​

1. 網站機率跳到/stream route 的 bug 修正
2. 模型預設圖片
3. 一些小 Bug 修復
4. 多了更多設定網站用的 Command line 工具

如需從舊版遷移至新版，請參考此份遷移指南

這是從最初版更新至v0.1.0穩定版的教學

1. 請先透過git clone https://github.com/kuwaai/genai-os.git --tag v0.1.0，或從此處下載並解壓縮，取得一份乾淨的v0.1.0版專案
2. 這邊將舊版專案稱為old資料夾，剛才取得的新版專案稱為new資料夾，如果有這些檔案，請將這些檔案完整複製並取代到對應的位置：
   • old/multi-chat/storage/app/ => new/src/multi-chat/storage/app/
   • old/multi-chat/database/database.sqlite => new/src/multi-chat/database/database.sqlite
   • old/multi-chat/public => new/src/multi-chat/public
   • old/multi-chat/.env => new/src/multi-chat/.env
3. 除了第二點提到的這些檔案，如果您還有自行修改、增加那些檔案，也請複製過去
4. 如果您是windows portable版本，請將以下資料夾或檔案移動至對應位置(由於Python版本有變，無須移動Python資料夾)：
   • old/windows/nginx-1.24.0/ => new/windows/packages/nginx-1.24.0/
   • old/windows/node-v20.11.1-win-x64/ => new/windows/packages/node-v20.11.1-win-x64/
   • old/windows/php-8.1.27-Win32-vs16-x64/ => new/windows/packages/php-8.1.27-Win32-vs16-x64/
   • old/windows/Redis-6.0.20-Windows-x64-msys2/ => new/windows/packages/Redis-6.0.20-Windows-x64-msys2/
   • old/windows/RunHiddenConsole/ => new/windows/packages/RunHiddenConsole/
   • old/windows/composer.phar => new/windows/packages/composer.phar
5. 如果您是Linux上執行的，請來到new/src/multi-chat/executables/sh/底下執行production_update.sh，如果是Windows Portable版，請執行new/windows/底下的build.bat
6. 檔案更新這樣應該就完成了，此時可以檢查是否有東西壞掉，Windows Portable版的部分請接續新版的模型設定教學來設定模型。

Hi Humans! Welcome to Kuwa!
嗨，人類您好！👋 歡迎來到Kuwa！🤖

Kuwa GenAI OS是一個自由、開放、安全且注重隱私的生成式人工智慧服務系統，包括友善的大語言模型使用介面，以及能支援生成式人工智慧應用的新型GenAI核心。

主要特色如下：

1. 🌐 提供多語言GenAI開發與部署的整體解決方案，支援Windows及Linux
2. 💬 提供群聊、引用、完整 Prompt 列表的匯入/匯出/分享等友善使用功能
3. 🔄 可靈活組合 Prompt x RAGs x Bot x 模型 x 硬體/GPUs以滿足應用所需
4. 💻 支援從虛擬主機、筆記型電腦、個人電腦、地端伺服器到公私雲端的各種環境
5. 🔓 開放原始碼，允許開發人員貢獻並根據自己的需求打造自己的客製系統

Kuwa系統是在國科會「TAIDE可信任AI對話引擎」計畫的支持下投入開發，已實際做為TAIDE計畫展示及開發測試平台，以及在其它多個應用場域進行使用。

我們是來自高雄大學資工系的學生及系友組成的團隊，希望讓大家都可以有自己的AI開發或服務平台。目前Kuwa系統還有許多進步空間，竭誠歡迎您加入Kuwa開源社群參與此開源計畫 🙌，一起進入GenAI的新時代。

官網： https://kuwaai.org/
中文： https://kuwaai.org/zh-Hant/