notion 繁體中文化 在 コバにゃんチャンネル Youtube 的最佳解答
「notion 繁體中文化」的推薦目錄：
- 關於notion 繁體中文化 在 コバにゃんチャンネル Youtube 的最佳解答
- 關於notion 繁體中文化 在 大象中醫 Youtube 的最佳解答
- 關於notion 繁體中文化 在 大象中醫 Youtube 的精選貼文
- 關於notion 繁體中文化 在 [LLMs] 台灣繁中語言模型BLOOM-zh & FFM - 看板AI_Art 的評價
- 關於notion 繁體中文化 在 Notion 繁體中文社群｜筆記x 資料庫x 生產力工具 - Facebook 的評價
- 關於notion 繁體中文化 在 Reamd7/notion-zh_CN: notion 中文化 - GitHub 的評價
- 關於notion 繁體中文化 在 notion中文化方法2023-在Facebook/IG/Youtube上的焦點新聞 ... 的評價
- 關於notion 繁體中文化 在 notion中文化方法2023-在Facebook/IG/Youtube上的焦點新聞 ... 的評價
- 關於notion 繁體中文化 在 notion繁體中文的蘋果、安卓和微軟相關APP，FACEBOOK 的評價
notion 繁體中文化 在 Notion 繁體中文社群｜筆記x 資料庫x 生產力工具 - Facebook 的推薦與評價
社團為Notion首位官方中文顧問Kevin主持～ 這裡有最新的Notion資訊和分享，也歡迎私訊加入我們的Notion工作區，可以體驗到Notion Team Plan的功能喔～～ ... <看更多>
notion 繁體中文化 在 Reamd7/notion-zh_CN: notion 中文化 - GitHub 的推薦與評價
2.3.0 支持使用cloudflare worker 进行代理notion.so 域名进行加速及国际化; 2.2.0 支持安卓版本notion，与官方版共存的汉化！ 2.1.0：支持中文版快捷命令！支持拼音输入 ... ... <看更多>
notion 繁體中文化 在 [LLMs] 台灣繁中語言模型BLOOM-zh & FFM - 看板AI_Art 的推薦與評價
今天整理的資訊，也分享一份簡易版本在板上，
這部分自己研究自己理解會有點複雜，部分內容來自台灣智慧雲端的AI超算年會。
－
1.台灣有兩個「繁體中文語言模型」
分別是
聯發科 & 教育部國家教育研究院 & 中央研究院詞庫小組 的
BLOOM-Zh(繁體中文增強型BLOOM模型)
跟
華碩 & 科技部國家實驗研究院國家高速網路與計算中心中心 = 台灣智慧雲端 的
FFM(Formosa Foundation Model, 福爾摩沙基礎語言模型 ,或稱台智雲版的繁中BLOOM)
對，台灣的兩個繁體中文語言模型都是源自於開源的BLOOM語言模型，非純中文模型，
而且兩個模型的研發單位跟資料來源都不同，但又都同時具有官方背景。
－
2.開源的BLOOM語言模型介紹
全稱: BigScience Large Open-science Open-access Multilingual Language Model
主導公司 Hugging Face 在2022.05啟動的專案，由全球60個國家、逾250個機構，
以及超過1,000名研究人員的貢獻，最後由法國超級電腦Jean Zay執行117天的訓練而成。
https://huggingface.co/bigscience/bloom
https://images.plurk.com/2qBw9sRFznxBhnObkBiPtq.png
最大的版本具有 176B(1760億) 參數，對照組GPT3:175B / GPT3.5: 200B
BLOOM模型可理解46種語言及13種程式語言，包含法文、西班牙文、越南文、中文或多種
印度及非洲語言，大約只有超過30%的訓練資料為英文(但缺少德文、日文、俄文)。
能要求BLOOM撰寫食譜、翻譯或摘要，也能要求BLOOM撰寫程式碼。
https://www.ithome.com.tw/news/151935
https://edge.aif.tw/hhri-20230223-stevechen/
釋出的版本包含
BLOOM-560m / 1b1 / 1b7 / 3b / 7b1 / 176b ，b = billion，參數量
176B版本有約等於GPT3.5的同級水準。
簡體中文語料占比16.2% 繁體中文語料占比0.05%
https://images.plurk.com/7iD8Y7Dz4p6vNlUtNAPiYC.png
https://huggingface.co/docs/transformers/model_doc/bloom
https://huggingface.co/bigscience/bloom/blob/main/README.md
*
語言模型的開源通常包含以下內容
模型的架構：也就是該模型的基本設計，包括它是如何構建的、如何運作的等。
訓練程式 ：這是用來訓練模型的程式，它定義了如何使用數據來訓練模型。
預訓練模型：這是一種已經過訓練的模型，用戶可以直接使用它來生成文本或者在特
定的任務上進行微調。
但需要注意的是，開源並不意味著訓練數據也被公開。
(以上文字from GPT4 Web Browsing)
－
3.BLOOM-Zh 語言模型介紹
第一個繁體中文(特化)語言模型，分為1b1版跟3b版，改自 BLOOM-1b1 / BLOOM-3b，
開源在 Hugging Face，也是唯一開源的繁體中文語言模型，3b版公開日期 2023.04，
預期使用情境包含問答系統、文字編修、廣告文案生成、華語教學、客服系統
https://huggingface.co/ckip-joint/bloom-3b-zh
2022年5月，聯發創新基地、中央研究院和國家教育研究院展開合作計畫，使用大型語言
模型BLOOM的繁體中文模型再訓練與優化。
聯發創新基地則建置了訓練的硬體環境，制訂各種符合國際標準的繁體中文評量指標，收
集更近期的語料，並對模型進行能更有效讀懂使用者的指示（prompt）的特別訓練。
國家教育研究院提供了大量高品質的繁體中文語料，作為主要的訓練材料。中央研究院詞
庫小組則針對模型生成的文字是否具有偏見或敵意等不合適的內容，進行自動偵測與改正
的研究與評估。
https://www.nownews.com/news/6063736
https://ezone.ulifestyle.com.hk/article/3517038
中研院詞庫小組是台灣負責研究繁體中文自然語言處理的研究單位，
曾在2019年開發並公開BERT和GPT-2的繁體中文優化版本。
具體做的事情可以參考下面這篇 【斷開中文的鎖鍊！自然語言處理 (NLP)是什麼？】
https://aiacademy.tw/what-is-nlp-natural-language-processing/
實際上效果...
https://images.plurk.com/5Nwi4czISV7b6TYLhWZxs8.png
沒意外就是之前很多人說"很爛的繁中BLOOM模型"
－
4.台智雲 FFM 語言模型介紹
第一個企業級繁體中文(特化)大型語言模型，
分為7b1版跟176b版，改自 BLOOM-7b1 / BLOOM-176b，據說有個500b的版本。
正式發表於2023.05，之前都稱為台智雲(TWS)版的繁中BLOOM模型，預計2023.07上線，
僅對企業用戶，沒有打算開放民用。
https://tws.twcc.ai/ai-llm/ (未更新FFM資料)
https://www.youtube.com/watch?v=ay1AinPNaBs&t=96s (2023.02的早期介紹影片)
2018年，科技部國研院國網中心結合廣達、台灣大、華碩等三大國內企業共同組隊建造的
「雲端服務及大數據運算設施暨整合式階層儲存系統」（簡稱AI雲端平台/ 臺灣AI雲
TWCC），擁有命名為「台灣杉二號」（TAIWANIA 2）的AI超級電腦主機。
2021年2月成立，華碩集團子公司，與國家高速網路與計算中心合作，承作TWCC的維運和
銷售。華碩身為台智雲最大股東，台智雲董事長由華碩營運長謝明傑兼任，而台智雲總經理由華
碩雲端總座吳漢章擔任。
台灣大、兆豐金和永豐金合計投資共1.3億元，成為高科技業、電信資通、金融證券三強
鼎立的多元股東結構。
https://images.plurk.com/3nyYXfyUVnMTEMul6Gqbxb.png
https://www.genetinfo.com/investment/featured/item/37784.html
https://www.clarisonic.com.tw/archives/64649
資料來源是意藍資訊有限公司，
意藍資訊有限公司是一間專業在分析台灣產業與社群的公司，
幾乎囊括台灣各大社群平台的使用者公開資料，專注在產業應用與社群分析上。
https://images.plurk.com/1arTjoKZ00R82O614Tbjsc.png
https://www.eland.com.tw/
FFM Demo起來的感覺粗估有達到GPT 3.5的水準，同時對於台灣具有相當多的事實資訊，
包括台灣的地理與歷史資訊、商業品牌與市場資訊、文化資訊等等。
主打企業可以針對訓練模型、本地存放、符合台灣資安與法規需求等等。
現場一些Demo與投影片畫面:
https://images.plurk.com/2MYAIt9XLhn76VKbdGxsx0.png
https://images.plurk.com/11oRzMol8ASfgG4teMvCrB.png
https://images.plurk.com/DSlxBdEbuAnKYw8oVWeb6.png
https://ithome.com.tw/news/156934
https://images.plurk.com/3oba15qvtTT00CqkFz4I6J.png
https://images.plurk.com/3RZda9yAXseTqBSdvKeWIn.png
https://images.plurk.com/7livkx0dYvbV6aOF4PQE6D.png
https://images.plurk.com/5Rw06HI9QudUMXyv6EFYMy.png
https://images.plurk.com/dn7Vc29N9DbFd2a1NseH1.png
https://images.plurk.com/29jyqilxZHEfF7L4UwpQ0A.png
https://images.plurk.com/2vaYCZUa4Vee95TVtYU72O.png
生成式AI市場數據
https://images.plurk.com/1iRdK0weumTW7deHwUYEJJ.png
https://images.plurk.com/2bvMJedSS4w3rQQo79OPT.png
剩下的整理報告我就不貼了，因為不能民用所以跟大部分的使用者其實也沒什麼關係XD
主要就是幫大家區分一下繁體中文語言模型的區別，不然讀起來很混亂。
有興趣歡迎提問。
--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題！
AI情報屋營業中
噗浪：https://www.plurk.com/Zaious
IG ：https://www.instagram.com/zaious.design/
日曆：https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.61.231 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1684735647.A.E3F.html
沒差，我只是發了都發了就慢慢補完XD
※ 編輯: ZMTL (60.250.61.231 臺灣), 05/22/2023 15:35:59
... <看更多>