Search
#精選好文
【1.2 毫秒！#NVIDIA TensorRT 8 運行 BERT-Large 推理創紀錄】
支援NVIDIA GPU平台的深度學習推理框架「TensorRT」，是可以滿足電腦視覺、自動駕駛、工業自動化、資料中心等AI運算需求的框架。
自今年 5 月 TensorRT 8-嘗鮮版發表後，NVIDIA 終於在 20 日發表 TensorRT 8 正式版。TensorRT 8正式版與以往版本相比，能在1.2毫秒內運行全球廣為採用的基於transforemer模型之一BERT-Large，即將語言查詢推理時間縮短至上一版一半，創下最新紀錄，為搜尋引擎、廣告推薦和聊天機器人的AI模型提供支援。
更多精彩內容→ https://reurl.cc/GmOL5A
#關於AI的那些事
從新創企業現狀觀察AI發展熱度
作者 : 黃燁鋒，EE Times China
2021-07-12
從人工智慧(AI)新創企業市場，以及類似Nvidia新創加速計畫(NVIDIA Inception)的專案，都可觀察AI技術或產業如今的發展熱度...
現在的很多生態締造者對於潛在生態的開發都十分在意：比如說及早深入教育市場，生態建設「從娃娃抓起」(編按：指從小開始)；再或者對新創企業的扶持或孵化計畫。這裡所謂的「生態締造者」的範圍可以很廣，比如雲端供應商、作業系統供應商、針對應用開發解決方案的供應商，以及各種硬體廠商等。
這些其實是吸引更多開發者，潛移默化中造成開發習慣、黏性的關鍵。《電子工程專輯》中國版(EE Times China)先前拜訪過微軟(Microsoft) Azure一批又一批的孵化企業；還有華為HarmonyOS當下對眾多新創企業的扶持……這類新創企業扶持項目都有著相當易於理解的商業邏輯，亦屬常規操作手段。
而在AI生態建構上頗具代表性的應該就是Nvidia，畢竟筆者之前也一直在提Nvidia在AI生態打造上的完備程度多高，這種生態對新創企業的扶持當然也是必不可少的。Nvidia新創加速計畫(NVIDIA Inception)進入中國是在2016年，這個計畫本身就在加速AI創業公司發展。從AI新創企業市場，以及類似Nvidia新創加速計畫這樣的專案，都可觀察AI技術或產業如今的發展熱度。
AI市場這兩年的新機遇
截至去年底，這項計畫在全球範圍內覆蓋了超過7,000家AI新創公司，去年一年加入Nvidia新創加速計畫的公司數量較上一年多出了25%。從Nvidia的總結來看，新冠肺炎疫情可能很大程度推動了該計畫。之前Nvidia業務開發VP Jeff Herbst曾提過：「2020年一場全球性質的瘟疫攪動了經濟發展。但新創生態系統卻在此期間一度繁榮，這很可能不是巧合。」
這些AI新創企業，依照類別來看主要包括了IT服務、醫療健康、媒體與娛樂。看起來是完全符合預期，就如同疫情期間全球的PC和資料中心市場發展受到刺激一樣，這恰好也是Nvidia業務發展的重點。可以說，疫情雖然短時間內造成了停工停產，但Nvidia可能是這波行情下獲得最大發展機會的企業之一。
數位生活方式的轉變促成了很多領域的快速發展，包括在家辦公、遠端醫療、家庭娛樂等。隨Nvidia大趨勢本身的利多，以及大環境的影響，去年加入Nvidia新創加速計畫的新創企業的一大部分都在這些類別中。
在中國市場上，該計畫去年扶持的企業超過800家。這個數字也極大程度說明了AI在中國發展的繁榮。換句話說，全球25%的成長量也可間接表現出，新冠疫情的蔓延客觀上也推動了AI的發展，而且不止於醫療健康。
AI新創投資市場現狀
Nvidia新創加速計畫可認為是觀察AI新創企業，乃至整個AI產業發展的冰山一角。CB Insights先前公佈了一份AI 100榜單，列出100家AI新創企業——而且據說是從超過6,000家企業中選出來的。這份榜單涵蓋了跨18個核心產業的各種解決方案，這個數字其實已蠻驚人。這份榜單總結了這些年來AI新創公司獲得的融資金額、最具代表性的產業類別，以及有不少企業處在A輪融資階段。其中12家是獨角獸，而在地理位置分佈中，64%位於美國，8家位於英國，6家在中國和以色列等。
針對這個市場有一些更細緻的資料可以列舉。以前不久微軟豪擲197億美元收購Nuance為代表，目前美國最大的5家科技公司中，有4家大量收購了AI新創企業。其中蘋果(Apple)最多，收購次數達到了29次——這也是CB Insights前不久才更新的資料。僅今年一季，全球與AI新創企業相關的交易(如收購、兼併等)次數就達到了626次，交易金額大約是177億美元。與去年相比，2020年整年的資料是354億，這其中的增量還是相當可觀的。有投資機構認為，預期今年針對AI相關的企業交易量會是去年的2~3倍，這種持續活躍和加速的趨勢仍相當明確。
很多機構針對企業所作的統計也顯示，企業對於AI產品的採用計畫正在增加，或者說更多的企業在數位化轉型過程中準備應用AI。Signal AI針對1,000位C級高層的統計顯示，92%認為自家企業需要依靠AI技術來提升決策制定流程。GTC 2021上，Nvidia共同創辦人暨執行長黃仁勳針對Nvidia發佈的AI for Enterprise特別提到：「我們將AI擴展到企業的邊緣。我們相信企業產業邊緣將會是AI產生巨大影響的地方，包括醫療健康、倉儲物流、生產製造、零售、農業、交通。AI還沒有觸達這些產業，但現在不同了。」
所以從投資方和需求方兩個方面來看，AI新創企業相關的投資都在持續擴大。不過這一現象可能與其他熱門領域的發展具有極高的相關性。比如推行SaaS的企業如今受到格外的關注——而這些企業普遍將AI作為企業產品的一部分。所以AI成為某些正在快速成長中的市場的組成部分受到追捧，本身也是AI成長的原因。達成全球AI交易金額的新記錄，可能會在今年持續發生；今年截至目前交易輪次也仍然表現出了熱度。
這其中有一點轉變，是近一年才發生。亦即去年很多企業對於AI的接受度仍然不高——AI之前的存在更像是一種行銷手法：即告訴客戶和投資人，產品中有AI技術才能獲得青睞；而現階段逐漸在轉變至用AI來更實際地解決現實問題的階段發展，或者不需要再去反覆解釋究竟為什麼要接受AI。AI也變得越來越平常，這也是大部分技術走向成熟的必由之路。雖然從投資風向來看，這個市場遠未及成熟，Nvidia在此時持續做針對AI新創企業的新創加速計畫投入，還是相當好的時機。
兩個新創加速計畫示例
與此同時，Nvidia新創加速計畫在客觀上也是降低產業進入門檻的一種方式，所以該計畫本身又在推動AI產業發展。從這個層面來看，這一市場行為與Nvidia本身在技術上進行生態建構還是一脈相承。
對於加入計畫的AI新創企業而言，該計畫提供的支援主要包括幾點：Nvidia的部分產品折扣、AI技術支援(包括Nvidia深度學習學院DLI線上自主培訓課程免費兌換200次)、Nvidia管道的市場推廣(如在GTC大會上給予展示、演講等的機會)、融資服務、業務推薦等，也就是從技術和市場兩方面提供一些基礎支援。除了免費加入的新創企業，計畫中另設有高階會員(設定要求包括至少完成A輪融資或已產生業務收入等)有更多的支援，比如開發者關係支持、更多市場推廣等。
這些服務和支援，基本也顯示了當代新創企業扶持計畫的常規，大方向上也符合AI新創風向的趨勢。這裡列舉兩個加入Nvidia新創加速計畫的新創企業的例子，大致可從中體會此類新創扶持計畫的價值。
中國有家名為心咚科技的企業，主要業務方向是將AI技術融入到時尚、服飾產業。這家公司產品的核心，包括了物理引擎和數位面料中心：設計師藉由心咚科技的產品，可以將現實中的實物面料和服飾，虛擬地呈現出來。這其實很類似於「原型產品」、「設計驗證」，虛擬產品因此能做到「零廢棄物製造」。市面上大多數現有的3D服裝設計軟體都只是視覺模擬，而沒有工業級高精準度物理模擬所需的運算結果。
所以心咚科技採用Nvidia的GPU及互連等方案，實現了高效能運算(HPC)應用，完成對複雜光線追蹤、視覺化運算工作負載的處理，以虛擬的方式完成從選擇面料、成衣設計、審稿、打版到生產過程。心咚科技本身是Nvidia新創加速計畫會員，這個例子也顯示AI相關技術新創企業借助Nvidia的資源、支援和平台，能夠加速應用實踐和延展。
再舉個例子，美國有家新創企業Zippin，他們的產品針對零售店購物可實現自動結帳，這個過程主要是對消費者購買的零食、飲料等進行影像辨識。顧客在支援Zippin系統的店內買東西之後就可以離開，app會保留收據，追蹤消費記錄後收費(app或信用卡支付)。這個專案的市場契機，主要來自國外很多體育館、娛樂場所重開，Zippin自動結帳無人商店不需要排隊就能買東西。
Zippin如今的業務擴展似乎還頗順利，其商店數量在穩步增加，包括一些大型體育場館和零售連鎖店；而且擴展到了美國以外，包括巴西、俄羅斯、日本。這套「自動結帳」系統相關AI的核心部分，應該是商品的影像辨識，並且結合更多感測器實現位置、重量辨識等。不僅是顧客買了什麼，也在於商店本身的庫存管理自動化，Zippin用的是Nvidia Jetson在終端進行模型推理。
Zippin聯合創始人兼首席科學家Motilal Agrawal在談加入新創加速計畫時提到，「Nvidia新創加速計畫團隊與我們見面、借給Zippin第一個NVIDIA GPU並針對我們的應用提供關於Nvidia SDK的指導。」
這兩個例子都是在Nvidia新創加速計畫扶持下，業務得以擴大影響力或開展落地的典型。Nvidia在其官網列舉的實例還有不少，本身也算是對這些企業的市場宣傳途徑之一，可能不同參與者受惠於新創加速計畫的體驗是不同的：Nvidia自己列舉的案例中，有家AI醫療影像手術導航機器人相關新創企業，相當推崇Nvidia深度學習學院DLI 的培訓課程，包括部分課程後Nvidia頒發的一些認證證書。如前面所述，Nvidia深度學習學院DLI線上自主培訓課程也是Nvidia新創加速計畫的重要組成部分，這類課程對於AI新創企業的養成具備相當的價值。
無論是免費的自主培訓課程，還是Nvidia GPU產品折扣、AI技術支援、市場推廣、融資服務、業務推薦，這些Nvidia新創加速計畫的組成部分。對AI新創企業快速入門和進階AI開發、加速產品上市，以及對於Nvidia本身培養AI生態有其價值。
正如本文一開頭所述，這種潛在開發生態與習慣的培養，是大部分生態締造者佈局生態時的必要行為。AI新創企業市場如此火熱，是Nvidia開展新創加速計畫的契機。與此同時，這類計畫本身又在促進AI整個產業往前發展，也是推動AI產業現階段百花齊放、迸發AI創意的起點。
資料來源：https://www.eettaiwan.com/20210712nt61-ai-development-from-the-dynamics-of-new-venture/?fbclid=IwAR1AVhpCZaFFqeTnmgvW7ZoTBBv48gtKEMsxZa4u4i_BDryyVfKnQcYLQ40
加速AI導入，讓您每一分每一秒都榨滿GPU算力！
AI研發要進行機器學習/深度學習開發，需要IT人員協助建構環境、管理資源，卻不知道怎麼開始？
無論是要自己買GPU，還是要上雲端，AI-Stack都能協助你規劃需求，輕鬆管理IT與使用者流程，馬上行動與我們聯繫吧！
#數位無限軟體
#最佳代理商零壹科技
#NVIDIA推薦搭配軟體
要自組AI 深度學習 訓練用的電腦時，選購 Nvidia GPU 總有太多的型號讓人不知如何挑選，我以自身的經驗說明影響 GPU 的重要參數並將GTX與RTX系列的價格與 ... ... <看更多>
一般說來，我不會推薦英偉達NVIDIA Titan Xp，就其性能而言，價格死貴了。繼續使用GTX 1080 Ti吧。不過，NVIDIA Titan Xp在計算機視覺研究人員當中，還是 ... ... <看更多>
深度學習 gpu 推薦 在 [請益] 顯示卡3060 12g 跑深度學習問題請益- 看板PC_Shopping 的推薦與評價
不好意思打擾各位 爬了許多文章但還是有點隔靴搔癢的感覺
我想要組一台深度學習的電腦 (NLP相關)
顯卡的部分許多人推薦3060 12g 顯存高 比較不會有問題
有幾個問題想要請益板上厲害的各位
(本人沒在玩遊戲 純粹為了跑深度學習)
1.
華碩的3060 12g顯卡有分PH, Dual, TUF這三個等級
微星的分為ventus 2X 以及 ventus 3X 還有 Gaming Z trio
技嘉的分為EAGLE, GAMING這兩個等級
大家對於技嘉的評價是散熱比較差 但是在3080以上才比較明顯 3060沒差
如果要拿來做深度學習的話 要選哪個品牌以及規格呢?
還是3060以下都沒差 就隨便選 按照自己喜好就好了呢?
2. 會推薦去徵二手的嗎 還是買全新的去避開礦卡會更好呢?
有想到新的問題會再補充上來 謝謝各位
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.181.160 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/PC_Shopping/M.1679161737.A.093.html
還是PH Dual都不要 或是 PH就不要
另外謝謝你的建議!
※ 編輯: pfii1997119 (114.25.181.160 臺灣), 03/19/2023 10:23:27
... <看更多>