Search
#2021INSIDE未來日｜AIoT 可說是眾多科技關鍵字裡，改變世界力量最強、產值也最大的現在進行式之一。顧名思義，AIoT 是人工智慧（AI） 加上物聯網（IoT）混合產出的架構。
然而，這兩個概念其實原本都不新。但 2012 年 Alex Krizhevsky、Ilya Sutskever 兩位多倫多大學的學生改變了這一切，他們直接使用 NVIDIA 的 GPU 套上卷積式神經網路的深度學習模型，運算速度比 CPU 快上 70 倍。一舉拿下 ImageNet 冠軍，讓以機器學習為主的 AI 技術迅速普及至世間。
不過，講到這裡，你真的了解 AIoT 嗎？
#INSDIE未來日 將在9/24（五）重啟，讓你一次看懂 AI + IoT，你準備好跟著AIoT數位轉型了嗎？現在就來登記參加免費線上論壇：https://lihi1.cc/Q2Pp6
摩爾定律放緩 靠啥提升AI晶片運算力？
作者 : 黃燁鋒，EE Times China
2021-07-26
對於電子科技革命的即將終結的說法，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的，但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……
人工智慧(AI)的技術發展，被很多人形容為第四次科技革命。前三次科技革命，分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭，比如有人說第四次科技革命是生物技術革命，還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術，而且作為資訊技術的組成部分，卻又獨立於資訊技術，即表示它有獨到之處。
電子科技革命的即將終結，一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續，也就意味著資訊技術的整棟大樓建造都將出現停滯，那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有，但這波革命始終也沒有結束。
AI技術本質上仍然是第三次科技革命的延續，它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度，那麼這個領域自然就不可小覷，就像當年GPU出現專門為圖形運算服務一樣。
所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現，很大程度上也是因為摩爾定律的發展進入緩慢期：電晶體的尺寸縮減速度，已經無法滿足需求，所以就必須有某種專用架構(DSA)出現，以快速提升晶片效率，也才有了專門的AI晶片。
另一方面，摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期，電晶體製程進步為晶片帶來了相當大的助益，那是「happy scaling down」的時代——CPU、GPU都是這個時代受益，不過Dennard Scaling早在45nm時期就失效了。
AI晶片作為第三大類處理器，在這波發展中沒有趕上happy scaling down的好時機。與此同時，AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節，燧原科技創始人暨CEO趙立東說：「現在訓練的GPT-3模型有1750億參數，接近人腦神經元數量，我以為這是最大的模型了，要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題，說最大模型超過萬億參數，又是10倍。」
英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說：「前兩年用GPU訓練一個大規模的深度學習模型，其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪，以及提供運算力的AI晶片不夠高效。
不過作為產業的底層驅動力，半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到，針對這個問題的一些前瞻性解決方案——有些已經實現，有些則可能有待時代驗證。
XPU、摩爾定律和異質整合
「電腦產業中的貝爾定律，是說能效每提高1,000倍，就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說，「若每瓦功耗只能支撐1KOPS的運算，當時的這種運算形態是超算；到了智慧型手機時代，能效就提高到每瓦1TOPS；未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求，如果依然沿著CMOS這條路去走，當然可以，但會比較艱辛。」
針對性能和效率提升，除了尺寸微縮，半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化，以及處理架構的革新。
(1)AI晶片本身其實就是對處理器架構的革新，從運算架構的層面來看，針對不同的應用方向造不同架構的處理器是常規，更專用的處理器能促成效率和性能的成倍增長，而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU，即AI處理器)，乃至更專用的ASIC出現，都是這類思路。
CPU、GPU、NPU、FPGA等不同類型的晶片各司其職，Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情，「整合起來各取所需，用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類，Core CPU、Xe GPU，以及透過收購獲得的AI晶片Habana等。
另外針對不同類型的晶片，可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令，本質上是特別針對深度學習做加強。「專用」的不一定是處理器，也可以是處理器內的某些特定單元，甚至固定功能單元，就好像GPU中加入專用的光線追蹤單元一樣，這是當代處理器普遍都在做的一件事。
(2)從電晶體、晶片結構層面來看，電晶體的尺寸現在仍然在縮減過程中，只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降，需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後，電晶體變為FinFET結構，在3nm之後，電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET)，其本質都是電晶體本身充分利用Z軸，來實現微縮性能的提升。
劉明認為，「除了基礎元件的變革，IC現在的發展還是比較多元化，包括新材料的引進、元件結構革新，也包括微影技術。長期賴以微縮的基本手段，現在也在發生巨大的變化，特別是未來3D的異質整合。這些多元技術的協同發展，都為晶片整體性能提升帶來了很好的增益。」
他並指出，「從電晶體級、到晶圓級，再到晶片堆疊、引線接合(lead bonding)，精準度從毫米向奈米演進，互連密度大大提升。」從晶圓/裸晶的層面來看，則是眾所周知的朝more than moore’s law這樣的路線發展，比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮，來彈性擴展性能的方案。
台積電和Intel這兩年都在大推將不同類型的裸晶，異質整合的技術。2.5D封裝方案典型如台積電的CoWoS，Intel的EMIB，而在3D堆疊上，Intel的Core LakeField晶片就是用3D Foveros方案，將不同的裸晶疊在一起，甚至可以實現兩片運算裸晶的堆疊、互連。
之前的文章也提到過AMD剛發佈的3D V-Cache，將CPU的L3 cache裸晶疊在運算裸晶上方，將處理器的L3 cache大小增大至192MB，對儲存敏感延遲應用的性能提升。相比Intel，台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連，而不是micro-bump，做到更小的打線間距，以及晶片之間數十倍通訊性能和效率提升。
這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面，即新材料的導入專家們沒有在論壇上多說，本文也略過不談。
1,000倍的性能提升
劉明談到，當電晶體微縮的空間沒有那麼大的時候，產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market，理論上應該也屬於成本的一部分。
電晶體微縮方案失效以後，「多元化的技術變革，依然會讓IC性能得到進一步的提升。」劉明說，「根據預測，這些技術即使不再做尺寸微縮，也會讓IC的晶片性能做到500~1,000倍的提升，到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進；單裸晶儲存容量變得越來越大，IC依然會為產業發展提供基礎。」
500~1,000倍的預測來自DARPA，感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應，而且有更實際的工程問題待解決，比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。
不過1,000倍的性能提升，的確說明摩爾定律的終結並不能代表第三次科技革命的終結，而且還有相當大的發展空間。尤其本文談的主要是AI晶片，而不是更具通用性的CPU。
矽光、記憶體內運算和神經型態運算
在非傳統發展路線上(以上內容都屬於半導體製造的常規思路)，WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣，或者仍在商業化的極早期。
(1)近記憶體運算和記憶體內運算：處理器性能和效率如今面臨的瓶頸，很大程度並不在單純的運算階段，而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率，可能是提升整體系統性能時，一個非常靠譜的思路。
這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的，應該不在少數。所謂的近記憶體運算，就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3)，以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」，cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。
這兩年在近記憶體運算方面比較有代表性的，一是AMD——比如前文提到3D V-cache增大處理器的cache容量，還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構，也更早應用了HBM2記憶體方案。這些實踐都表明，儲存方面的革新的確能帶來性能的提升。
另外一個例子則是Graphcore的IPU處理器：IPU的特點之一是在裸晶內堆了相當多的cache資源，cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作，極大提升頻寬、降低延遲和功耗。
近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中，多層級的儲存結構，資料的搬運不僅僅在處理和儲存之間，還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。
構建非馮(non-von Neumann)架構，把傳統的、以運算為中心的馮氏架構，變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。
記憶體內運算的就現在看來還是比較新，也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法，儲存單元本身就有運算能力，理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目，畢竟可極大減少海量資料的移動操作。
其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部，部分執行資料處理工作；主要應用於神經網路(因為非常契合神經網路的工作方式)，以及這類晶片具體的工作方法上，可能更傾向於神經型態運算(neuromorphic computing)。
對於AI晶片而言，記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時，有比較頻繁的資料存取操作，這對性能和功耗都有影響。不過記憶體內運算的具體實施方案，在市場上也是五花八門，早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構，用40nm嵌入式NOR，在儲記憶體內部執行運算，不過替換掉了數位週邊電路，改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。
劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中，近記憶體運算的這個方案應該和AMD的3D V-cache比較類似，把儲存裸晶和運算裸晶疊起來。
劉明指出，「這是我們最近的一個工作，採用hybrid bonding的技術，與矽通孔(TSV)做比較，hybrid bonding功耗是0.8pJ/bit，而TSV是4pJ/bit。延遲方面，hybrid bonding只有0.5ns，而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上，前文也提到了它具備更高的互連密度和效率。
另外這套方案還將DRAM刷新頻率提高了一倍，從64ms提高至128ms，以降低功耗。「應對刷新率變慢出現拖尾bit，我們引入RRAM TCAM索引這些tail bits」劉明說。
記憶體內運算方面，「傳統運算是用布林邏輯，一個4位元的乘法需要用到幾百個電晶體，這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法，然後利用基爾霍夫定律完成列的累加。」劉明表示，「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存，沒有資料搬運。」這是記憶體內運算的常規思路。
「無論是基於SRAM，還是基於新型記憶體，相比近記憶體運算都有明顯優勢，」劉明認為。下圖是記憶體內運算和近記憶體運算，精準度、能效等方面的對比，記憶體內運算架構對於低精準度運算有價值。
下圖則總結了業內主要的一些記憶體內運算研究，在精確度和能效方面的對應關係。劉明表示，「需要高精確度、高運算力的情況下，近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術，這幾年的進步也非常快。」
去年阿里達摩院發佈2020年十大科技趨勢中，有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式，這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題：是記憶體廠商，還是數文書處理器廠商？(三星推過記憶體內運算晶片，三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)
(2)神經型態運算：神經型態運算和記憶體內運算一樣，也是新興技術的熱門話題，這項技術有時也叫作compute in memory，可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是，這種結構更偏「類人腦」。
進行神經型態研究的企業現在也逐漸變得多起來，劉明也提到了AI晶片「最終的理想是在結構層次模仿腦，元件層次逼近腦，功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。
傳說中的Intel Loihi就是比較典型存算一體的架構，「這片裸晶裡面包含128個小核心，每個核心用於模擬1,024個神經元的運算結構。」宋繼強說，「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來，構成接近1億神經元的系統，讓學術界的夥伴去試用。」
「它和深度學習加速器相比，沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線，功耗很低，也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為，不採用同步時脈，「刺激的時候就是一個非同步電動勢，只有工作部分耗電，功耗是現在深度學習加速晶片的千分之一。」
「而且未來我們可以對不同區域做劃分，比如這兒是視覺區、那兒是語言區、那兒是觸覺區，同時進行多模態訓練，互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片，似乎也是Intel在XPU方向上探索不同架構運算的方向之一。
(2)微型化矽光：這個技術方向可能在層級上更偏高了一些，不再晶片架構層級，不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面，已有應用了，發出資料時，連接埠處會有個收發器把電訊號轉為光訊號，透過光纖來傳輸資料，另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高，內部元件數量大，尺寸也就比較大。
Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的，就是把光和電子相關的組成部分高度整合到晶片上，用IC製造技術。未來的光通訊不只是資料中心機架到機架之間，也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大，也就是所謂的I/O功耗牆，這是這類微型化矽光元件存在的重要價值。
這其中存在的技術挑戰還是比較多，如做資料的光訊號調變的調變器調變器，據說Intel的技術使其實現了1,000倍的縮小；還有在接收端需要有個探測器(detector)轉換光訊號，用所謂的全矽微環(micro-ring)結構，實現矽對光的檢測能力；波分複用技術實現頻寬倍增，以及把矽光和CMOS晶片做整合等。
Intel認為，把矽光模組與運算資源整合，就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上，這類技術還是頗具前景，Intel此前說目標是實現每根光纖1Tbps的速率，並且能效在1pJ/bit，最遠距離1km，這在非本地傳輸上是很理想的數字。
還有軟體…
除了AI晶片本身，從整個生態的角度，包括AI感知到運算的整個鏈條上的其他組成部分，都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面，針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體，透過軟體最佳化就能實現幾倍的性能提升。
宋繼強說，「我們發現軟體最佳化與否，在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。
在AI開發生態上，雖然Nvidia是最具發言權的；但從戰略角度來看，像Intel這種研發CPU、GPU、FPGA、ASIC，甚至還有神經型態運算處理器的企業而言，不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台，用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。
在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下，處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升；而一些新的技術方向，包括近記憶體運算、記憶體內運算和微型矽光，能夠在資料訪存、傳輸方面產生新的價值；神經型態運算這種類腦運算方式，是實現AI運算的目標；軟體層面的最佳化，也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩，AI晶片的性能、效率提升在上面提到的這麼多方案加持下，終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。
資料來源：https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg
邊緣AI 2026將成 IoT晶片發展核心
04:102021/05/02 工商時報 集邦科技資深分析師曾伯楷
隨著智慧工廠、城市等場景對數據分析越發需要精準、即時且大量處理的需求，AI與IoT結合已是現在進行式。在AI晶片助益下，IoT邊緣與終端裝置可透過機器學習或深度學習等技術加值，同時帶出無延遲、低成本、高隱私等優勢，顯示出AI晶片的重要性。預估全球AI晶片產值至2025年將達720億美元。
與此同時，邊緣運算透過AI使終端設備於運行上更加智慧，不僅保有邊緣運算於延遲性、隱私性、連接性、功耗、成本等優勢，並進一步使系統具有主動性與智慧性。若以場景角度切入，邊緣AI相較傳統邊緣運算，其主要帶來的效益包括數據處理過濾和邊緣智慧分析，此也將成為兩技術持續結合的動能。
一、MCU、連接晶片、AI晶片為IoT晶片產業鏈三大關鍵零組件。 物聯網在傳統上多以感知層、網路層、系統層與應用層作為架構堆疊，主要經濟效益雖來自應用層的智慧情境發展，然感知層所需的產業鏈之上游零組件仍是支撐終端場景運作重要核心，其中又以微控制器（MCU）、連接晶片與AI晶片最關鍵。
MCU方面，建立在高效能、低功耗與高整合發展主軸下，IoT MCU現行從通用MCU演化成特定為IoT應用或場景所打造，如2021年3月STMicroelectronics推出新一代超低功耗微控制器STM32U5系列，可用於穿戴裝置與個人醫療設備；Silicon Labs同期推出PG22 32位元MCU，主打空間受限且須低功耗的工業應用、Renesas RA4M2 MCU著眼IoT邊緣運用等。
連接晶片方面，受物聯網設備連線技術與標準各異影響，通訊成物聯網晶片中相當重要的一環，從蜂巢式的4G、5G、LTE-M、NB-IoT，到非蜂巢式的LoRa、Sigfox、Wi-Fi、Wi-SUN等，從智慧城市、工廠、家庭至零售店面皆被廣泛運用，範圍擴及至太空，如2020年下旬聯發科與國際航海衛星通訊公司（Inmarsat）合作，成功以NB-IoT晶片完成全球首次5G物聯網高軌衛星資料傳輸測試。AI晶片方面，隨著智慧工廠、城市等場景對數據分析越發需要精準、即時且大量處理的需求，AI與IoT結合已是現在進行式。此外，Microsoft在其2021年3月舉辦的年度技術盛會Ignite 2021上指出，2022年邊緣運算市場規模將達到67.2億美元，與深度學習晶片市場相當吻合，亦提及市場預估至2025年全球深度學習晶片市場將有望達663億美元。同時，Microsoft認為至2026年全球AI晶片有3／4將為邊緣運算所用，顯示出IoT晶片於邊緣運算的發展將成未來廠商重要布局之一。
二、邊緣AI效益顯著，成長動能仰賴數據處理過濾、邊緣智慧分析。
首先，從邊緣運算定義來看，市場雖已談論數年但定義與類別始終未統一，原因是各廠商於邊緣託管工作的目的不盡相同。例如對電信商而言，初步處理數據的微型數據中心是其邊緣端，而對製造商來說邊緣裝置可能是生產線的感測器，此也造就邊緣運算的分類方式略有出入。另外，例如IBM有雲端邊緣、IoT邊緣與行動邊緣的類別，ARM多將邊緣視為雲端與終端間的伺服器等裝置，亦有個人邊緣、業務邊緣、多雲邊緣等類型。
其次，從邊緣運算類別來看，現行分類趨勢和研究方式尚有以數據產生源為核心，藉由設備與數據源的物理距離作為分類參考，並將其分為厚邊緣（Thick Edge）、薄邊緣（Thin Edge）與微邊緣（Micro Edge）。厚邊緣多用以表示處理高數據流量的計算資源，並配有高階CPU、GPU等，例如數據中心的數據儲存與分析；薄邊緣則包含網路設備、工業電腦等以整合數據為主要目的，除了配有中間處理器外，也不乏GPU、ASIC等AI晶片；微邊源因與數據源幾無距離，故常被歸類為生成數據的設備或感測器，計算資源雖較為匱乏，但也可因AI晶片發揮更大效益。
整體而言，邊緣運算透過AI使終端設備於運行上更加智慧，不僅保有邊緣運算於延遲性、隱私性、連接性、功耗、成本等優勢，並進一步使系統具有主動性與智慧性，在平台管理、工作量合併與分布式應用也更有彈性。若以場景角度切入，邊緣AI相較傳統邊緣運算，其主要帶來的效益提升包括數據處理過濾和邊緣智慧分析，此也將成為兩技術持續結合的動能。
數據處理與邊緣分析於過往邊緣運算時已可做到，並在AI加值下進一步提升效益。以前者而言，數據透過智慧邊緣計算資源可在邊緣處預先處理數據，且僅將相關資訊發送至雲端，從而減少數據傳輸和儲存成本；從邊緣分析效能來看，過往多數邊緣運算資源處理能力有限，運行功能時往往較為單一，而邊緣智慧分析透過AI晶片賦能，進而能執行更為繁複、低延遲與高數據吞吐量的作業。
三、全球大廠搶攻IoT晶片市場，中國加重AI晶片發展力道。
IoT晶片於邊緣運算所產生的效益，使其成為廠商重要策略布局領域，雲端大廠如Google、AWS等紛紛投身晶片自製；傳統晶片大廠如ARM最新產品即鎖定邊緣AI於攝影機和火車的辨識應用、Intel亦投資1.3億美元於十餘家新創AI晶片設計廠商，NXP Semiconductors、Silicon Labs、ST則陸續在其MCU或SoC添加邊緣AI功能。此外，新創企業Halio、EdgeQ、Graphcore皆以AI晶片為主打。整體而言，若以區域來看，歐美大廠聚焦加速AI運算效能，但最積極發展AI晶片產業的則屬產官學三方皆支持的?心，代表性廠商包含地平線、華為旗下海思等代表；台灣則由產業聯盟領頭與聯發科和耐能等重要廠商。
（一）中國產官學助力，2023年AI晶片產值估將逼近35億美元。
AI產業是中國發展重點之一，其輔助政策如2017年《新一代人工智能發展規劃》、《2019年促進人工智能和實體經濟深度融合》，至「十四五」與「新基建」，都將AI視為未來關鍵國家競爭力。各大廠也因此陸續跟進，如百度發布AI新基建版圖著眼智慧雲伺服器；阿里宣布未來至2023年將圍繞作業系統、晶片、網路等研發和建設，騰訊則聚焦區塊鏈、超算中心等領域。
產官學研加重AI的發展力道也反映於AI晶片上，ASIC（特殊應用基體電路）廠商比比皆是。其中，AI晶片布局物聯網領域的廠商眾多，包含瑞芯微、雲天勵飛、平頭哥半導體、全志科技等，主要面向雲端運算、行動通訊、物聯網與自動駕駛四大領域。其中，物聯網領域進一步聚焦於智慧家庭、智慧交通、智慧零售與智慧安防部分，執行語音、圖像、人臉與行為辨識等應用。若進一步聚焦於邊緣運算領域，則以地平線、寒武紀、華為海思、比特大陸、鯤雲科技等最為積極。整體而言，TrendForce預估，中國AI晶片市場有望從2019年13億美元增長至2023年近35億美元。
綜觀中國AI晶片發展，雖有中美貿易摩擦導致設計工具、製造封測等環節較受限制，且開發成本始終居高不下，然而，藉由產官合作以及中國內需市場需求動能，仍能有效支撐該產業成長。若以邊緣運算來看，鑒於AIoT市場持續茁壯，特定應用的ASIC將是重要發展趨勢，尤以汽車、城市與製造業來看，相關場景應用如人身語音行為辨識、人車流量辨識、機器視覺等需求皆相當明朗，預期也將成廠商中長期發展主軸。
（二）台灣人工智慧晶片聯盟積極整合，監控與機器人為邊緣AI應用兩大方向。
台灣廠商聯發科和耐能同樣結合邊緣運算與AI兩技術作策略布局，就整體產業而言，2019年由聯發科、聯詠、聯電、日月光、華碩、研揚等廠商共同組成的台灣人工智慧晶片聯盟（AITA）發展迄今已越趨成形，各關鍵技術委員會（SIG）亦訂定短中長期發展目標。
邊緣AI發展則由AI系統應用SIG推動，其第一階段至2020年著眼半通用AI晶片發展與智慧監控系統應用平台的裝置端推論，2021年則聚焦以裝置端學習系統參考設計，以及軟硬體發展平台的裝置端學習為主，並規劃在2023年能以多功能機器人為主體，發展多感知人工智慧和智慧機器人AI晶片發展平台。
換言之，藉由業界在智慧裝置、系統應用與AI晶片的串聯，短期至2022年都將是台灣邊緣AI大力發展階段，並朝智慧監控、多功能機器人深化，預期此也將帶動系統整合的凌群、博遠，終端設備的奇偶、晶睿碩，以及晶片設計的聯發科、瑞昱等邊緣AI商機；但相較中國廣大內需市場，台灣仍需藉由打造讓晶片廠和系統商充分整合的互補平台，以利降低晶片開發成本，並從其中尋求更多可供切入的大廠產業鏈。
附圖：2019～2023年中國AI晶片市場推估
AI於IOT流程主要著眼數據處理與分析之效
台灣人工智慧晶片聯盟系統應用SIG發展架構
資料來源：https://www.chinatimes.com/newspapers/20210502000153-260511?fbclid=IwAR0zlvUv8MKpcHrbgpa3xRAFaQXaxZuep9TCeZ-75myILNjuDV4SWEIdKZ8&chdtv
＃記得打開ＣＣ字幕 ＃DIGI ＃除了幫忙面試人工智慧還可以做什麼？
✔︎ 訂閱志祺七七頻道： http://bit.ly/shasha77_subscribe
✔︎ 追蹤志祺 の IG ：https://www.instagram.com/shasha77.daily
✔︎ 志祺七七 の 粉專 ：http://bit.ly/shasha77_fb
各節重點：
01:07 【人工智慧到底是什麼？】
01:50 【AI 的發展跟應用】
04:15 【未來充滿 AI 的生活】
04:56 【AI 這麼重要，那臺灣準備好了嗎？】
06:35 【我們的觀點】
07:40 提問TIME
07:54 掰比～別忘了訂閱
【 製作團隊 】
｜企劃：鯉鼬
｜腳本：鯉鼬
｜剪輯後製：Pookie
｜剪輯助理：絲繡 ＆ 夯吉
｜演出：志祺
——
【 本集參考資料 】
→招聘面試：你喜歡機器人還是真人做你的面試官？：https://bbc.in/2Wg0t3a
→了解人工智慧的第一本書：機器人和人工智慧能否取代人類？：https://bit.ly/2vA8jc0
→從人到人工智慧，破解AI革命的68個核心概念：實戰專家全圖解 × 人腦不被電腦淘汰的關鍵思考：https://bit.ly/2VAhJ64
→機器是如何學習與進步？人工智慧的核心技術與未來：https://bit.ly/2Ce1KQa
→An executive’s guide to AI：https://mck.co/2vZepWE
→陽光失了玻璃窗 史上第一本人工智慧詩集：https://bit.ly/2IWsU2R
→國際人工智慧政策推動現況：https://bit.ly/2GZ4pA1
→懶人包_台灣 AI 行動計畫：https://2030.tw/2m3nBVr
→維基百科：人工智慧：https://bit.ly/2fUdaOV
→維基百科：人工智慧史：https://bit.ly/2vx2T1l
→臺灣智駕測試實驗室：https://bit.ly/2WqRgFn
→沙崙自駕車測試場正式揭幕 盼無人載具產業鏈接軌國際：https://2030.tw/2lXfjyk
→無人載具科技創新實驗條例：https://bit.ly/2Wk6vzL
→張忠謀：AI激化貧富差距與失業：https://bit.ly/2Y0uhkB
→數位國家創新經濟(DIGI+)季刊第二期：AI、5G、8K—2020年東京奧運實現數位想像：https://2030.tw/2kAPB2a
→我國數位科技引領產業創新之現況與展望：以臺灣 AI 行動計畫為例：https://2030.tw/2knX0Sr
→台灣 AI 行動計畫簡報：https://2030.tw/2knX84n
→臺灣 AI 行動計畫(2018-2021 年)合訂本：https://2030.tw/AI_Taiwan
→「AI on Chip示範計畫籌備小組」啟動 政院邀產官學研合作 推升台灣AI晶片產業發展 打造世界級人工智慧大腦：https://2030.tw/2lUi3MR
→台灣AI行動計畫—掌握契機，全面啟動產業AI化：https://2030.tw/2kinhBC
→賴揆：積極推動AI與產業需求接軌 加速「5+2」產業創新：https://2030.tw/2knXfNl
→微軟在台成立AI研發中心 賴揆：串連產業推動智慧國家：https://2030.tw/2kkX0Cx
→法國公布人工智能發展計畫：http://bit.ly/2VAkDaY
→【英國AI未來戰略大揭露】第一步先從資料共享打基礎，英國要成為全球AI實驗場域：http://bit.ly/2UTp8ZD
→SRB會議圓滿落幕 林揆期許台灣智慧科技邁向全球第一：https://2030.tw/2lU8MEm
→智慧科技SRB登場 首日聚焦產業利基與應用發展：https://2030.tw/2lXeC8c
→美國啟動AI大戰略的啟示：http://bit.ly/2GPkpTW
→數位國家·創新經濟發展方案(2017-2025 年)：https://2030.tw/DIGI_Taiwan
→中國大陸人工智慧產業發展現況研析及對臺灣之影響初探：http://bit.ly/2Lfew7P
→行政院數位國家創新經濟推動小組：http://bit.ly/2DLOB1o
→川普發起「美國人工智慧倡議」，五大原則確保美國維持 AI 發展優勢：http://bit.ly/2ITNLUB
→DIGI⁺ Taiwan：http://bit.ly/2VFDVM4
→AI Taiwan：http://bit.ly/2URGt5n
→台灣AI行動計畫—掌握契機，全面啟動產業AI化：http://bit.ly/2VABTNn
→「台灣人工智慧實驗室」啟動 科技部：AI元年從此刻開始！：http://bit.ly/2GXLiGH
→日本Yahoo策略長揭露，AI未來20年三大方向：http://bit.ly/2Wli35M
→英國AI發展現況-與世界各國比較：http://bit.ly/2Ja1Mgh
→從AI 100看全球AI商業化趨勢及發展：http://bit.ly/2VHOYo6
→AI時代將臨 各國策略及企業佈局特點分析：http://bit.ly/2IVfRyQ
→AI 專家與 AI Sophia 互動，杜奕瑾：見過雅婷嗎？：http://bit.ly/2UQvfOs
→台灣人工智慧實驗室：http://bit.ly/2WhZBL7
→雅婷AI Pianist－首張同名概念專輯〈Yating〉：http://bit.ly/2VHPjHo
→誠品網路書店：http://bit.ly/2JbOu2I
→Chihuahua or muffin? My search for the best computer vision API：http://bit.ly/2UW8ubR
→TOPBOTS Vision API Benchmarking：http://bit.ly/2Y3Jul8
→從人工智慧、機器學習到深度學習，你不容錯過的人工智慧簡史：http://bit.ly/2IXlPPM
→翻轉人類未來的 AI 科技：機器學習與深度學習：http://bit.ly/2Vc6cKS
＼每週７天，每天７點，每次７分鐘，和我們一起了解更多有趣的生活議題吧！／
🥁七七仔們如果想寄東西關懷七七團隊與志祺，傳送門如下：
106台北市大安區羅斯福路二段111號8樓
用戶更需要關注的是CPU和主機板組合支持同時運行的GPU數量。 CPU和PCIe. 人們對PCIe通道的執念近乎瘋狂！而實際上，它對深度學習性能幾乎沒有影響。 ... <看更多>
深度學習 cpu gpu 在 31 深度学习硬件：CPU 和GPU【动手学深度学习v2】 - YouTube 的推薦與評價
动手学 深度学习 v2 - 从零开始介绍 深度学习 算法和代码实现课程主页：https://courses.d2l.ai/zh-v2/教材：https://zh-v2.d2l.ai/ ... <看更多>