machine learning – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 17 Nov 2022 07:08:58 +0000
zh-CN
hourly
1
196178272 -
使用 MLPerf HPC v2.0 基準測試調整 AI 基礎設施性能
http://www.open-lab.net/zh-cn/blog/tuning-ai-infrastructure-performance-with-mlperf-hpc-v2-0-benchmarks/
Wed, 09 Nov 2022 07:05:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5675
Continued]]>
隨著人工智能和模擬的融合加速了科學發現,需要一種方法來衡量和排名構建世界超級計算機人工智能模型的速度和吞吐量。 MLPerfHPC 現在已經進入第三次迭代,它已經成為使用傳統上在超級計算機上執行的工作負載來衡量系統性能的行業標準。 同行評審的行業標準基準是評估 HPC 平臺的關鍵工具, NVIDIA 相信,獲得可靠的性能數據將有助于指導未來 HPC 架構師的設計決策。 MLPerf 基準測試由 MLCommons 開發,使組織能夠在傳統上在超級計算機上執行的一組重要工作負載上評估 AI 基礎設施的性能。 MLPerfHPC 基準測試測量了三種采用機器學習技術的高性能仿真的訓練時間和吞吐量。 這篇文章介紹了 NVIDIA MLPerf 團隊為優化每個基準和度量以獲得最佳性能所采取的步驟。除了 MLPerf HPC v1.0 中的優化之外,
Source
]]>
5675
-
利用人工智能和數字孿生技術減少發電廠溫室氣體排放
http://www.open-lab.net/zh-cn/blog/reducing-power-plant-greenhouse-gasses-using-ai-and-digital-twins/
Mon, 31 Oct 2022 05:59:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5579
Continued]]>
減少排放到大氣中的碳量是一項政治優先事項。現任美國政府計劃到 2035 年實現電網凈零碳排放,到 2050 年實現全行業零碳排放。 為了實現這一目標,正在開發各種技術,利用人工智能的效率來對抗氣候變化。對于發電廠而言,開發減少碳排放、碳捕獲和儲存過程的技術需要詳細了解整個設施的相關流體力學和化學過程。這需要對流體力學、傳熱、化學反應及其相互作用程度進行科學精確的模擬。 工業用例的一個重要重點是開發更高效的燃料轉換裝置。目標是創造更靈活的設備,以便設備能夠以更可靠的方式與可再生資源集成。 至關重要的是要有更好的設計優化、不確定性量化和精確的數字孿生,這樣才能在不造成數十億美元損失的情況下充分處理能量轉換裝置的設計和控制。人工智能是一個自然的選擇,可以用來開發這樣的數字孿生,可以在不影響準確性的情況下提供近乎實時的預測。 這篇文章解釋了物理信息機器學習( ML…
Source
]]>
5579
-
使用 NVIDIA FLARE 從模擬到生產的聯合學習
http://www.open-lab.net/zh-cn/blog/federated-learning-from-simulation-to-production-with-nvidia-flare/
Tue, 25 Oct 2022 03:11:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5539
Continued]]>
NVIDIA FLARE 2.2 包括一系列新功能,可縮短開發時間并加快聯合學習的部署,幫助企業降低構建強大人工智能的成本。獲取有關此版本中新增內容的詳細信息。 作為 聯合學習 (FL) 的開源平臺和軟件開發工具包 (SDK),NVIDIA FLARE 不斷發展,使其最終用戶能夠利用分布式、多方協作來實現從模擬到生產的更強大的 AI 開發。 FLARE 2.2 的發布帶來了大量更新,簡化了研究人員和數據科學家的研發工作流程,簡化了 IT 從業者和項目負責人的部署,并加強了安全性,以確保真實部署中的數據隱私。其中包括: 簡化研究人員和開發人員的工作流程 優化部署、操作和安全 新的 FL Simulator 是支持研發工作流的關鍵功能之一。模擬器允許研究人員和開發人員運行和調試 FLARE 應用程序,而無需調配和部署項目。模擬器提供了一個輕量級環境,
Source
]]>
5539
-
如何使用 Streamlit 和 FastAPI 構建即時機器學習 Web 應用程序
http://www.open-lab.net/zh-cn/blog/how-to-build-an-instant-machine-learning-web-application-with-streamlit-and-fastapi/
Wed, 12 Oct 2022 01:56:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5445
Continued]]>
假設您正在進行一個機器學習( ML )項目,并且已經找到了您的冠軍模型。接下來會發生什么?對許多人來說,項目就此結束,他們的模型被隔離在 Jupyter 筆記本中。其他人會主動將筆記本轉換為腳本,以獲得某種生產級代碼。 這兩個端點都限制了項目的可訪問性,需要了解 GitHub 和 Bitbucket 等托管源代碼的站點。一個更好的解決方案是將您的項目轉換為一個可以部署在內部服務器上的前端原型。 雖然原型可能不是生產標準,但它是公司用來為利益相關者提供建議解決方案洞察力的有效技術。這樣,公司就可以收集反饋,并在未來開發更好的迭代。 要開發原型,您需要: 然而,這兩個需求都需要花費大量的時間來構建。在本教程中,您將學習如何使用 Streamlit 為前端和 FastAPI 為微服務快速構建自己的機器學習 web 應用程序,從而簡化流程。
Source
]]>
5445
-
在 Azure 機器學習上提高人工智能模型推理性能
http://www.open-lab.net/zh-cn/blog/boosting-ai-model-inference-performance-on-azure-machine-learning/
Mon, 29 Aug 2022 02:41:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4989
Continued]]>
每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序,可靠的推理服務器都能提供快速、準確和可擴展的預測,具有低延遲(對單個查詢的響應時間較短)和高吞吐量(在給定時間間隔內處理大量查詢)。然而,檢查所有這些方框可能很難實現,而且成本高昂。 團隊需要考慮部署可以利用以下功能的應用程序: 這些要求使人工智能推理成為一項極具挑戰性的任務,可以通過 NVIDIA Triton 推理服務器 . 這篇文章提供了一個逐步提高 AI 推理性能的教程 Azure 機器學習 使用 NVIDIA Triton 模型分析儀和 ONNX 運行時橄欖 ,如圖 1 所示。 為了提高 AI 推理性能, ONNX Runtime OLive 和 Triton 模型分析器在模型部署之前自動執行參數優化步驟。這些參數定義了底層推理引擎將如何執行。
Source
]]>
4989
-
使用 FastAPI 構建機器學習微服務
http://www.open-lab.net/zh-cn/blog/building-a-machine-learning-microservice-with-fastapi/
Thu, 18 Aug 2022 02:58:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4917
Continued]]>
使用微服務架構部署應用程序有幾個優點:更容易進行主系統集成、更簡單的測試和可重用的代碼組件。 FastAPI 最近已成為 Python 中用于開發微服務的最流行的 web 框架之一。 FastAPI 比 Flask ( Python 中常用的 web 框架),因為它是基于 異步服務器網關接口( ASGI ) 而不是 Web 服務器網關接口( WSGI ) . 微服務定義了構建軟件應用程序的架構和組織方法。微服務的一個關鍵方面是它們是分布式的,并且具有松散耦合。實現更改不太可能破壞整個應用程序。 您還可以將使用微服務架構構建的應用程序視為由幾個通過應用程序編程接口( API )通信的小型獨立服務組成。通常,每個服務都由一個較小的、自包含的團隊擁有,負責在必要時實現更改和更新。 使用微服務的一個主要好處是,它們使團隊能夠快速為其應用程序構建新組件。
Source
]]>
4917
-
使用聯合學習橋接金融服務中的數據孤島
http://www.open-lab.net/zh-cn/blog/using-federated-learning-to-bridge-data-silos-in-financial-services/
Tue, 16 Aug 2022 03:10:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4878
Continued]]>
在機器學習( ML )過程中,無法確保數據隱私,這往往阻礙了人工智能( AI )在金融服務中充分發揮潛力。例如,傳統的 ML 方法假設所有數據都可以移動到中央存儲庫。 在處理數據主權和安全考慮或個人識別信息等敏感數據時,這是一個不切實際的假設。更實際地說,它忽略了數據出口挑戰和創建大型池數據集的巨大成本。 對于訓練 ML 模型有價值的大量內部數據集仍然沒有使用。金融服務行業的公司如何利用自己的數據,同時確保隱私和安全? 這篇文章介紹了聯合學習,并解釋了它對處理敏感數據集的企業的好處。我們介紹了在金融服務中使用聯邦學習的三種方法,并提供了關于今天開始的提示。 聯合學習是一種 ML 技術,它可以從多個孤立的數據集中提取見解,而無需共享數據或將數據移動到中央存儲庫或服務器中。 例如,假設您有多個要用于訓練 AI 模型的數據集。
Source
]]>
4878
-
使用樸素貝葉斯和 GPU 進行更快的文本分類
http://www.open-lab.net/zh-cn/blog/faster-text-classification-with-naive-bayes-and-gpus/
Mon, 25 Jul 2022 05:27:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4674
Continued]]>
樸素貝葉斯( NB )是一種簡單但功能強大的概率分類技術,具有良好的并行性,可以擴展到大規模數據集。 如果您一直從事數據科學中的文本處理任務,您就會知道 機器學習 模型可能需要很長時間來訓練。在這些模型上使用 GPU 加速計算通常可以顯著提高時間性能, NB 分類器也不例外。 通過使用 CUDA 加速操作,根據使用的 NB 模型,我們實現了從 5 到 20 倍的性能提升。對稀疏數據的智能利用使其中一個模型的速度提高了 120 倍。 在本文中,我們介紹了 RAPIDS cuML 中 NB 實現的最新升級,并將其與 Scikit-learn 在 CPU 上的實現進行了比較。我們提供基準測試來演示性能優勢,并通過算法的每個支持變量的簡單示例來幫助您確定哪個最適合您的用例。 NB 使用 Bayes’ theorem (圖 1…
Source
]]>
4674
-
人工智能服務器和人工智能工作站之間的差異
http://www.open-lab.net/zh-cn/blog/differences-between-ai-servers-and-ai-workstations/
Thu, 21 Jul 2022 05:08:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4659
Continued]]>
如果你想知道人工智能服務器和人工智能工作站有何不同,你不是唯一一個。假設嚴格的人工智能用例具有最小的圖形工作量,那么明顯的差異可以是最小到零。從技術上講,你可以用一個作為另一個。然而,根據要求每個人執行的工作量,每個人的結果將完全不同。因此,清楚地了解人工智能服務器和人工智能工作站之間的差異非常重要。 暫時撇開人工智能不談,服務器通常都是聯網的,可以作為一種共享資源來運行跨網絡訪問的服務。工作站通常用于執行特定用戶、應用程序或用例的請求。 工作站可以作為服務器,還是服務器可以作為工作站?答案是“是的”,但忽略工作站或服務器的設計目的通常沒有意義。例如,工作站和服務器都可以支持多線程工作負載,但如果服務器可以支持比工作站多 20 倍的線程(其他所有線程都相同),那么服務器將更適合為處理器同時處理創建多個線程的應用程序。 服務器經過優化,可以作為客戶端的網絡資源進行擴展。
Source
]]>
4659
-
使用 RAPIDS 構建機器學習應用程序的分步指南
http://www.open-lab.net/zh-cn/blog/step-by-step-guide-to-building-a-machine-learning-application-with-rapids/
Tue, 17 May 2022 08:29:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4184
Continued]]>
5 月 25 日,請加入我們的 構建和運行端到端機器學習工作流,速度快 5 倍 在線研討會,我們將逐步指導您如何使用這些資源,使用 NGC 目錄和 Vertex AI 中的軟件構建您的 ML 工作流。 Machine learning ( ML )采用算法和統計模型,使計算機系統能夠在大量數據中發現模式。然后,他們可以使用識別這些模式的模型對新數據進行預測或描述。 如今, ML 幾乎應用于所有行業,包括零售、醫療、運輸和金融,以提高客戶滿意度、提高生產力和運營效率。然而,獲得環境訪問權,使您能夠嘗試新的工具和技術,充其量是棘手的,最壞的情況下是令人望而卻步的。 在本文中,我將使用 RAPIDS 完成構建端到端 ML 服務的每個步驟,從數據處理到模型訓練再到推理。使用 NGC 目錄的新一鍵部署功能,您可以訪問筆記本并嘗試 ML 管道,
Source
]]>
4184
-
加速逆光刻技術的大批量制造
http://www.open-lab.net/zh-cn/blog/accelerating-high-volume-manufacturing-for-inverse-lithography-technology/
Fri, 06 May 2022 07:32:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3889
Continued]]>
逆光刻技術( ILT )于 2003 年初首次實施并演示。它由彭丹平( Danping Peng )創建,當時他在發光科技公司( Leaming Technologies Inc .)擔任工程師。這是一家初創公司,由加州大學洛杉磯分校( UCLA )的斯坦利·奧謝爾( Stanley Osher )和埃利·亞博諾維奇( Eli Yabonovitch )教授以及企業家丹·艾布拉姆斯( Dan Abrams )和杰克·赫里克( Jack 。 當時, ILT 是一個革命性的解決方案,它顯示出比光刻圖案化中使用的傳統曼哈頓掩模形狀優越得多的工藝窗口。與直線形狀的曼哈頓面具不同, ILT 的優勢在于其曲線面具形狀。 在其發展之后, ILT 被證明是一種可行的光刻技術,可以在多家內存和邏輯鑄造廠進行實際的晶圓印刷。然而,技術和經濟因素阻礙了 ILT 的采用: 由于這些原因,
Source
]]>
3889
-
RAPIDS 上的分層風險平價:投資組合分配的 ML 方法
http://www.open-lab.net/zh-cn/blog/hierarchical-risk-parity-on-rapids-an-ml-approach-to-portfolio-allocation/
Tue, 19 Apr 2022 04:38:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3741
Continued]]>
數據科學家經常把金融界當作測試新技術的游樂場。金融數據已經被記錄了幾十年,而且都是數字形式的,因此很容易處理。另外,你總是有機會創造一個賺錢的模型! 在金融領域,投資的總體目標是最大限度地提高回報(投資的收益或損失),同時最小化風險(實際結果與預測結果不同的可能性)。簡而言之,投資就是數學。 這篇文章介紹了一種投資組合優化策略,可以幫助最小化風險敞口。有了 GPU ,算法的速度可以提高 66 倍。 對于散戶投資者來說,這種加速對于頻繁的再平衡尤其有用。同時,機構投資者可以通過機器人顧問使用這種算法來管理資金。為每個獨特客戶的投資組合重新計算算法的計算成本可能會很高,通過引入 GPU 可以大大降低計算成本。 在這篇文章中,我將一步一步地介紹使用分層風險平價( HRP )進行有效投資組合分配的 ML 技術。本例將 Python 用于 RAPIDS 。 1952 年,哈里·
Source
]]>
3741
-
利用 RAPIDS 機器學習快速微調 AI Transformer
http://www.open-lab.net/zh-cn/blog/fast-fine-tuning-of-ai-transformers-using-rapids-machine-learning/
Wed, 13 Apr 2022 08:26:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3666
Continued]]>
近年來, transformers 已成為一種強大的深度神經網絡體系結構,已被證明在許多應用領域,如 自然語言處理 ( NLP )和 computer vision ,都超過了最先進的水平。 這篇文章揭示了在微調變壓器時,如何以最快的訓練時間獲得最大的精度。我們展示了 RAPIDS Machine Learning 庫中的 cuML 支持向量機( SVM )算法如何顯著加快這一過程。 GPU 上的 CuML SVM 比基于 CPU 的實現快 500 倍。 這種方法使用支持向量機磁頭,而不是傳統的 多層感知器( MLP )頭 ,因此可以精確輕松地進行微調。 transformer 是一個 deep learning 模型,由許多多頭、自我關注和前饋完全連接的層組成。它主要用于序列到序列任務,包括 NLP 任務,如機器翻譯和問答,以及計算機視覺任務,如目標檢測等。
Source
]]>
3666
-
利用 NVIDIA TAO 工具包和 Innotescus 進行遷移學習的策展數據
http://www.open-lab.net/zh-cn/blog/curating-data-for-transfer-learning-with-the-nvidia-tao-toolkit-and-innotescus/
Mon, 28 Feb 2022 06:23:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3103
Continued]]>
人工智能應用程序由機器學習模型提供動力,這些模型經過訓練,能夠根據圖像、文本或音頻等輸入數據準確預測結果。從頭開始訓練機器學習模型需要大量的數據和相當多的人類專業知識,這往往使這個過程對大多數組織來說過于昂貴和耗時。 遷移學習是從零開始構建定制模型和選擇現成的商業模型集成到 ML 應用程序之間的一種愉快的媒介。通過遷移學習,您可以選擇與您的解決方案相關的 pretrained model ,并根據反映您特定用例的數據對其進行再培訓。轉移學習在“定制一切”方法(通常過于昂貴)和“現成”方法(通常過于僵化)之間取得了正確的平衡,使您能夠用較少的資源構建定制的解決方案。 這個 NVIDIA TAO 工具包 使您能夠將轉移學習應用于預訓練的模型,并創建定制的、可用于生產的模型,而無需人工智能框架的復雜性。要訓練這些模型,必須有高質量的數據。 TAO 專注于開發過程中以模型為中心的步驟,
Source
]]>
3103
-
將時間信息編碼為 ML 模型特征的三種方法
http://www.open-lab.net/zh-cn/blog/three-approaches-to-encoding-time-information-as-features-for-ml-models/
Thu, 17 Feb 2022 04:07:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=3079
Continued]]>
假設你剛剛開始一個新的數據科學項目。目標是建立一個預測目標變量 Y 的模型。您已經從利益相關者/數據工程師那里收到了一些數據,進行了徹底的 EDA ,并選擇了一些您認為與當前問題相關的變量。然后你終于建立了你的第一個模型。分數可以接受,但你相信你可以做得更好。你是做什么的? 有很多方法可以讓你跟進。一種可能是增加所用 machine-learning 模型的復雜性。或者,您可以嘗試提出一些更有意義的功能,并繼續使用當前的模型(至少目前是這樣)。 對于許多項目,企業數據科學家和 Kaggle 等數據科學競賽的參與者都同意,后者——從數據中識別出更有意義的特征——往往能夠以最少的努力最大程度地提高模型的準確性。 你有效地將復雜性從模型轉移到了功能上。這些功能不一定非常復雜。但是,理想情況下,我們會發現與目標變量有著強烈而簡單的關系的特征。
Source
]]>
3079
人人超碰97caoporen国产