2022年8月11日 星期四

憑藉Arm CPU與自家GPU,Nvidia打造醫療AI專屬邊緣裝置



憑藉著本身發展的Arm處理器與GPU運算技術,Nvidia打造出用於邊緣AI與機器人的單板電腦Jetson系列,支撐自動駕駛車輛AI應用的Drive AGX系列,以及用於醫療AI領域的Clara AGX系列,也是本次所要介紹的主要產品。


開創Nvidia醫療AI邊緣運算平臺應用


以Jetson系列而言,最新的平臺是2018年登場的運算模組Jetson AGX Xavier、開發板Jetson AGX Xavier Developer Kit,以及2019年11月發表的運算模組Jetson Xavier NX。而另一個Drive AGX系列,則是2016年9月發表、2018年推出的系統單晶片Drive Xavier(結合內含8顆Arm架構CPU核心的Carmel,以及Volta架構GPU),以及2018年10月推出的開發板Drive AGX Developer Kit。


至於Clara AGX的發展,則是2018年9月,Nvidia正式推出醫療AI平臺Clara之際,就表示他們將結合軟體與硬體,將AI技術引入次世代的醫療儀器,以便提供疾病的早期偵測、診斷、治療,而這套平臺的核心正是一套革新的運算架構Clara AGX,當中將包含Nvidia發展的Xavier運算模組、Turing架構GPU,以及Clara軟體開發套件,協助開發人員建立由AI助力的應用程式,以處理既有系統產生的海量資料,改變傳統必須為此橫跨FPGA、CPU、GPU等三種運算架構的處理方式。


(編按:Nvidia表示,Xavier是Tegra 晶片代號;Drive是Xavier晶片針對自駕車推出的產品。


Drive Xavier通常是指自駕車產品線中使用 Xavier晶片的世代,像是:Drive AGX Xavier、Drive AGX Pegasus,但Drive Xavier不等於AGX Xavier。


至於AGX是指高效能的晶片,Xavier之後的晶片才使用AGX;以嵌入式平臺Jetson 為例,下一代使用Orin晶片有兩個產品,包含 Jetson Orin NX與Jetson AGX Orin)


當時,Nvidia對於Clara AGX相當簡略,僅提到他們將提供單一、基於GPU的架構,透過他們的Tensor Core核心,提供最快速的AI推論能力,並能經由CUDA這個廣泛採用的架構,以及RTX GPU,來進行加速處理,並能適用於不同醫療儀器,可涵蓋最基本的入門級設備,也能支援運算要求較高的3D影像處理儀器。


在2019年11月底北美放射學會(RSNA)舉行的年度大會上,Nvidia宣布將開放Clara AGX軟體開發套件的初期試用計畫,裡面會包含兩種AI推論的熱門應用:即時超音波與內視鏡檢查的邊緣運算處理,提供參考程式,同時也描繪Clara AGX的具體應用場景:以更高的資料運算速度來處理影像與影片,將AI推論與3D圖解引進醫療照護現場。


就硬體架構而言,Nvidia表示,Clara AGX將基於他們發展的Xavier系統單晶片,也是Nvidia用於自駕車的同一款處理器,耗電量可低到10瓦,足以嵌入醫療儀器內部或執行在小型鄰接系統。



關於合作廠商的部分,Nvidia也宣布,推出首款攜帶型就地照護核磁共振造影系統(point-of-care MRI)的Hyperfine公司,將採用Clara AGX,希望能夠推動具有AI功能的醫療物聯網。



Nvidia於2020年下半公布更詳細的Clara AGX軟硬體搭配內容


到了2020年10月的GTC 2020秋季大會期間,Nvidia針對Clara AGX提出更具體的產品特色規畫,他們預告將推出具備AI加速能力與超高速網路介面的桌上型醫療設備,可支援邊緣端的AI推論處理需求,當中將結合繪圖加速卡RTX 6000、Arm架構的Xavier系統單晶片,以及擴展的I/O介面,如100 GbE網路埠、PCIe介面、HDMI埠;而在系統上層,這套系統將執行軟體開發套件Clara AGX SDK,裡面採用名為EGX的技術堆疊架構,由底層往上,分別有CUDA與Linux驅動程式套件、Jetpack SDK、DeepStream SDK,以及Clara Docker範本、DeepStream範本、模型範例。




單就Jetpack SDK這一層而言,就包含許多軟體元件:CUDA-X、深度學習(TensorRT、CuDNN)、電腦視覺(VPI、VisionWorks、OpenCV)、加速運算(cuBLAS、cuFFT)、多媒體(相機API)。



基於以上述軟硬體形成醫療AI整合開發套件,Nvidia命名為Clara AGX Development Kit。


下一個相關消息的發布,是在2020年11月底北美放射學會舉行的年度大會,Nvidia揭露Clara AGX Development Kit這款開發套件更多細部資訊,像是:基於Jetson AGX Xavier建構而成,可運用Jetson系列單板電腦支援的各種程式庫與工具;可促成AI自主型機器的發展,系統本身只需10瓦電力即可執行,運算效能可達到 32 TOPS;JetPack SDK可協助組建AI應用程式,DeepStream與另一套軟體開發套件Rivermax,則可用於建構串流資料處理管線;採用容器化的執行時期元件,以便支援EGX軟體技術堆疊、特定應用案例的參考應用程式建模等部署需求。



而因為這個開放套件的硬體包含RTX 6000 GPU,在INT8整數運算上,可達到200 TOPS以上的效能,進而同時執行多個推論管線,支援最複雜、運算需求密集的AI應用程式。



除了運算方面的配置,網路介面規格,也是Clara AGX Development Kit當時補充的重要特色之一。Nvidia表示,當中將整合ConnectX-6網路卡(此產品是他們在2020年完成併購Mellanox而得),可支援GPU Direct / RDMA Streaming的直通技術,能讓這款單板電腦以完整的網路連線速度,運用RDMA來直接存取RTX 6000 GPU的記憶體,相對地,可承接(卸載)網路堆疊的負擔,促使感測器的資料封包在進行持續傳送的過程中,可在最不影響系統中央處理器使用率的狀態下,達到最大的吞吐量與效能。


提供2個PCIe 4.0 x8的I/O介面,也是此款開發套件難得之處,可分別連接ConnectX-6網路卡,以及Jetson AGX Xavier模組。第1個插槽除了連接GPU加速卡,有些用戶將此埠用於自定的影像擷取卡,可接收4K60畫質、12G- SDI串列數位介面的訊號輸入;另1個插槽也能用於連外部主機或自行設計的介面卡,促成專屬的畫面輸出。


Clara AGX Developer Kit於2021年正式推出


在今年舉行的GTC 2021春季大會期間,Nvidia宣布Clara AGX Developer Kit上市的消息,希望能透過通用平臺的提供,提升與加速軟體定義醫療儀器的發展,達到高頻寬訊號處理、加速運算重建、AI處理、進階3D圖解呈現,促成顯微鏡、超音波、內視鏡等醫療設備的進化,並且可以配備多種即時AI應用,支援臨床診斷的各種作業需求,涵蓋自動化病患掃描設定,以及改善醫療影像品質,而能分析資料串流,還能針對醫療照護業者提供關鍵的決策輔助分析資訊。


就配備而言,Nvidia重申Clara AGX Developer Kit的組成元件,包含Jetson AGX Xavier運算模組、RTX 6000 GPU、ConnectX-6 SmartNIC,以及軟體開發套件,能讓開發者搭配即時運作的硬體設備系統軟體、用於I/O與影片處理管線傳輸(video pipelining)的程式庫、用於資料串流的Rivermax軟體開發套件、各種參考應用程式,更易於建立適合的AI模型,以便用於超音波、內視鏡這類醫療儀器的技術發展。




而所謂的軟體定義,是指Clara AGX所採用的EGX技術堆疊,皆是基於容器化的軟體與微服務而成,以其中的Fleet Command這套雲端服務為例,可協助用戶在醫院環境安全部署多種設備,將每日都會用到的感測器,轉換為軟體定義型的智慧型感測器,可定期更新AI演算法,獲得最新改良技術,同時也能持續連接研究系統,提供每日不間斷的醫學現場實務資訊。


在這次發布消息裡面,Nvidia公布已經或即將採用Clara AGX的案例。



買不起高檔茶葉,精緻包裝茶葉罐,也能撐場面!

紫砂茶葉罐是多孔性材料製成,透氣性非常好,因為罐子多微小氣孔,用來存放茶葉,不僅能保鮮鮮,還能消除茶葉中的異雜味。 但也是因為多孔,所以紫砂茶葉罐容易吸收茶葉的香味。





找工作! 想知道堆高機駕駛日薪是多少嗎? 哪裡有職缺?幫你快速媒合

堆高機,又稱叉架起貨機或叉式起重車,香港稱為鏟車,中國大陸稱為叉車,台灣國語稱為堆高機,台語俗稱豬哥(ti-ko),是指工廠、倉儲等地方對成件托盤貨物進行裝卸、堆垛和短距離運輸作業的各種輪式搬運車輛。國際標準化組織ISO/TC110稱為工業車輛。堆高機的發展於1920年代,今天在生產和倉儲運營過程中它已成為不可或缺的設備。






隨時健康喝好水,高品質飲水機,優質安全有把關

飲水機的問題主要有三個方面,一是水沸騰溫度不足,絕大多數的飲水機最高溫度是95度,再沸騰溫度是90度,泡茶殺菌的溫度不夠





攻戰消費者第一視覺,包裝設計很重要!

包裝設計是指對包裝的形狀、大小、構造及包裝材料等方面進行創造或選擇並以適當方式吸引消費者的注意力,進而增加購買率,以及對使用者友善之特性。




首先,是醫療影像系統廠商Carestream Health,他們的智慧型X光室,將配備AI功能,強化與加速影像處理工作流程,提升檢驗效率;其次,則是醫療科技新創公司Activ Surgical推出的新型硬體影像處理模組ActivSight,將會運用Clara AGX Developer Kit強化手術分析與資料處理,也能以此減少未來產品的整體開發時間。



發展專業視聽設備的AJA Video Systems,也結合Clara AGX Developer Kit,支援內視鏡與外科手術應用;主打AI的最小侵入式手術照護解決方案廠商Kaliber Labs,運用Clara AGX部署手術軟體套件,可透過具備前後脈絡與個人化特色的手術工具包,協助醫師執行最高階的手術、降低手術變化性;電腦視覺設備廠商KAYA Instruments,也採用這項開發套件來建立與提供醫療設備的即時AI功能,並且保護大量分散式設備的部署,以及提供遠端管理的功能。


改善醫療影像效率與病患體驗的解決方案廠商Subtle Medical公司,他們用於調查階段意圖探索的AI應用軟體SubtleIR,將會運用Clara AGX Developer Kit,改善介入醫療影像處理程序的執行速度與品質,找出可推論性、效率、即時部署的潛力。.


AI手術平臺新創廠商Theator,正在開發GPU加速的AI系統,可用於作業現場畫面的標註,他們也宣布將採用Clara AGX Developer Kit,支援未來發展的解決方案。


超音波研究系統廠商us4us宣布與Nvidia合作,將在低價可攜式超音波研究系統us4R-lite當中,整合Clara AGX Developer Kit,支援即時、數位的波束成型技術(beamforming),可透過運算密集型的處理方式擷取高品質的超音波影像,而這樣的軟體定義系統運用了嵌入式GPU模組,能讓開發與部署自行開發的AI模型,用於超音波掃描的影像處理。


到了11月舉行的GTC秋季大會,Nvidia持續宣告Clara AGX Developer Kit全面上市,當中搭配了AGX Xavier系統單晶片、RTX 6000 GPU,以及隨著ConnectX-6網路晶片而來的100 GbE網路介面,大部分均如前所述,但Nvidia在此將系統單晶片Xavier改稱為AGX Xavier,這部分主要是指Jetson AGX Xavier系列運算模組,似乎有意與Drive Xavier區隔。


有了Clara AGX Developer Kit,開發人員可以發展外科手術型的影片應用,像是AI強化的內視鏡檢查,或是其他最小侵入式醫療作業,能因應影片處理路徑每個環節的低延遲需求。



Nvidia下一代醫療AI運算平臺Clara Holoscan蓄勢待發


GTC 2021秋季大會期間,Nvidia也預告將針對醫療照護產業,推出新的運算平臺Clara Holoscan,屆時會搭配Nvidia新發展的次世代系統單晶片AGX Orin,以因應醫療設備從各個層面處理串流資料的規模擴展,以及支援軟體定義基礎架構執行的需求。




Clara Holoscan預計要加速處理的階段,包含:系統I/O與網路I/O、物理處理(GPUDirect RDMA)、圖片處理(CUDA-X、Triton Inference Server)、資料處理(cuCIM)、渲染(Clara Render Server、Omniverse、CloudXR)。


而在延展性的部分,Clara Holoscan可將醫療設備的處理延伸至Nvidia認證的邊緣伺服器,以及位於資料中心或雲端服務的DGX整合應用設備,能讓開發人員大幅增減醫療設備所需的運算與I/O容量,根據延遲度、成本、空間、耗電量、網路頻寬的需求來進行資源調度的平衡。


在AGX Orin與Clara Holoscan的搭配之下,開發者可組建軟體定義醫療設備,以便在邊緣端執行低延遲的串流應用程式,而這樣的運算能力,可因應機器人輔助手術、內視鏡、診斷影像系統等設備的需求,能處理物理特性、影像處理、圖解,以及提供醫師即時AI決策支援;就軟體層面而言,開發者可設置AI微服務,使其能在設備上執行低延遲的串流應用程式,若遇到更複雜的工作任務,可轉交到資料中心來處理。



值得注意的是,關於Clara Holoscan這套醫療設備AI運算平臺的應用方式,Nvidia並不打算繼續局限在嵌入式儀器的範圍,還希望能夠在邊緣伺服器、資料中心、雲端服務,以及混合雲環境當中執行,甚至可支援軟體即服務(SaaS)的維運模式,不僅能扮演串流運算平臺的角色,支援訊號、資料、AI推論、圖像呈現工作流程的高吞吐處理需求,形成軟體定義型醫療裝置,也能針對大量設備進行遠端更新、調度指揮、監控等維運作業。


在運作架構上,Clara Holoscan可以結合多個硬體系統,橋接智慧型醫療儀器與雲端服務,實現低延遲的狀態感測與網路連線,搭配針對資料處理與人工智慧等應用最佳化的程式庫,以及核心微服務,橫跨邊緣設備到雲端服務來執行串流、影像處理等應用程式。



就應用程式開發而言,Clara Holoscan本身也是一套完整的加速運算框架,用戶可運用最佳化容器、無程式碼(no-code)型態的設計工具,以及範例程式,發展即時執行的多模態應用系統。


從硬體運算配置而言,前面我們提到Clara Holoscan將會採用系統單晶片新一代AGX Orin,事實上, Nvidia這幾年來陸續釋出Xavier後繼平臺的消息,早已預告Drive AGX、Jetson AGX、Clara AGX即將進入新世代。


例如,2019年底發表Drive AGX Orin自駕車用平臺,採用新一代系統單晶片Orin,裡面整合Arm處理器核心Hercules與次世代架構GPU,可提供200 TOPS運算效能;2021年11月,預告2022年上半將推出Jetson AGX Orin運算模組。


若依照這樣的規畫,Clara AGX平臺自然是採用新一代的系統單晶片,也就是AGX Orin,而平臺屆時應該稱為Clara AGX Orin,不料在GTC 2021秋季大會之後,突然冒出Clara Holoscan成為後繼者,顯然這裡的平臺命名將有別於Drive AGX與Jetson AGX。



關於Clara Holoscan與Clara AGX的關係,Nvidia向我們透露,當Orin模組於2022年推出之後,目前的Clara AGX Development Kit,將會成為Clara Holoscan Developer Kit(2022年下半推出),當中將包含12個Arm核心的系統單晶片Orin、Ampere架構的RTX A6000 GPU,以及伴隨ConnectX-7而來的2個100GbE網路介面。


至於軟體開發套件的部分,Nvidia表示,Clara AGX SDK從3.2版起,將改名為Clara Holoscan SDK 0.1版,已於11月中發布。在2022年推出Clara Holoscan Developer Kit之前,用戶可以在Clara AGX Development Kit的裝置上,執行Clara Holoscan SDK。



產品資訊



Nvidia Clara AGX Developer Kit
●原廠:Nvidia
●建議售價:廠商未提供
●包含元件:單板電腦Jetson AGX Xavier、RTX 6000獨立GPU加速卡、SmartNIC為ConnectX-6 Dx、250GB M.2外形SATA SSD
●中央處理器:Jetson AGX Xavier內建8核心Nvidia Carmel(Arm v8.2)
●繪圖處理器:Jetson AGX Xavier採用Nvidia Volta架構(512個CUDA核心、64個Tensor Core核心);RTX 6000採用Nvidia Turing架構(4608個CUDA核心、576個Tensor Core核心)、24 GB GDDR6記憶體
●系統記憶體:Jetson AGX Xavier內建32 GB LPDDR4x
●儲存空間:Jetson AGX Xavier內建32GB eMMC 5.1,250GB SATA SSD
●網路介面:Jetson AGX Xavier內建GbE埠、ConnectX-6提供100 GbE埠
●運算效能:RTX 6000:FP32為16.3 TFLOPS,INT8為206.1 TOPS
●顯示介面:RTX 6000內建4個DisplayPort 1.4埠、USB-C埠;
Jetson AGX Xavier內建2個埠,可支援HDMI 2.0 / eDP 1.4/ DP 1.4
●連接介面:系統內建2個PCIe(x8),1個源自Jetson AGX Xavier,1個是RDMA 連接RTX 6000,Jetson AGX Xavier內建1個PCIe(x8)、2個USB 3.1 Gen2、1個USB 2.0
●電源供應器:750瓦



【註:規格與價格由廠商提供,因時有異動,正確資訊請洽廠商】

https://www.ithome.com.tw/review/148188


測試專家告訴你如何好好使用示波器

示波器主要由電源系統、同步系統、水平偏向系統、垂直偏向系統、延遲掃描系統、顯示系統和標準訊號源等部封包成。




CCD外觀檢查包裝機

品質優益穩定,效率高成本低,並已獲得國內外大廠承認使用,品質合乎EIA國際標準, 此外也針對客戶端的需要代客Tape and Reel封裝服務。



一般貨櫃標準尺寸?

金誠貨櫃尺寸種類分別為,20呎櫃、20呎高櫃、40呎櫃、40呎高櫃、20呎冷凍櫃、400呎冷凍櫃。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。



Orignal From: 憑藉Arm CPU與自家GPU,Nvidia打造醫療AI專屬邊緣裝置

沒有留言:

張貼留言