Kurtis Pykes – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 02 Mar 2023 03:16:50 +0000 zh-CN hourly 1 196178272 如何管理虛擬環境和自動化 Tox 測試 http://www.open-lab.net/zh-cn/blog/how-to-manage-virtual-environments-and-automate-testing-with-tox/ Tue, 21 Feb 2023 03:09:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=6346 Continued]]> 許多開發人員使用 tox 作為 Python 中標準化和自動化測試的解決方案。然而,僅將該工具用于測試自動化嚴重限制了其功能和您可以實現的全部范圍。例如, tox 也是“它在我的機器上工作”問題的一個很好的解決方案。這有幾個原因,例如: 此外,最重要的是,上面列出的操作可以在 Windows 、 macOS 和 Linux OS 上執行。在本教程中,我將深入探討 tox 的工作原理以及如何使用它來節省寶貴的資源。我還將提供具體的代碼示例來演示如何利用 tox 。 如果你讀了 tox documentation ,并從字面上理解它的意思,你可能會認為 tox 只是一個用來創建虛擬環境的工具,用來安裝測試 Python 包所需的必要依賴項。 該文檔指出,“ tox 旨在自動化和標準化 Python 中的測試。它是簡化 Python 軟件的打包、

Source

]]>
6346
實踐中的機器學習:在 Google 云平臺上部署 ML 模型 http://www.open-lab.net/zh-cn/blog/machine-learning-in-practice-deploy-an-ml-model-on-google-cloud-platform/ Mon, 13 Feb 2023 03:31:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=6292 Continued]]> 本系列介紹 開發和部署 ( M L ) 模型 。在本文中, 你將學習 如何部署 ML 模型到 Google 云平臺 . 第 1 部分給出了 ML 工作流概括 ,考慮了使用機器學習和數據科學來實現商業價值所涉及的各個階段。在第 2 部分中,您將學習 訓練并保存 ML 模型 并將其部署為 ML 系統的一部分。 在為 ML 系統構建端到端管道時,最后一步是將經過訓練的模型部署到生產環境中。成功的部署意味著 ML 模型已從研究環境中移出并集成到生產環境中,例如,作為一個實時應用程序。 在本文中,您將學習使用 Google 云平臺( GCP )將 ML 模型投入生產的三種方法。雖然您可以使用其他幾種環境,例如 AWS 、 Microsoft Azure 或本地硬件,但本教程使用 GCP 部署 web 服務。 通過您的 Google 帳戶注冊 Google Cloud…

Source

]]>
6292
實踐中的機器學習:構建 ML 模型 http://www.open-lab.net/zh-cn/blog/machine-learning-in-practice-build-an-ml-model/ Mon, 13 Feb 2023 03:27:31 +0000 http://www.open-lab.net/zh-cn/blog/?p=6290 Continued]]> 本系列介紹 開發和部署 ( M L ) 模型 。在這篇文章中,您 訓練并保存 ML 模型 ,因此它可以作為 ML 系統的一部分部署。 第 1 部分給出了一個 ML 工作流概括 ,考慮了使用機器學習和數據科學實現商業價值所涉及的各個階段。第 3 部分介紹 如何部署 ML 模型到 Google 云平臺 ( GCP )。 培訓一個可以作為機器學習系統一部分的模型需要了解您的數據、業務目標以及許多其他技術和組織要求。 在本文中,您創建了一個 Python 腳本,當執行該腳本時,它訓練一個 ML 模型,然后將其保存以供將來使用。 首先,我強調了為應用程序訓練 ML 模型時的一些重要考慮事項。 從模型選擇到數據集的復雜性和大小,數據從業者必須戰略性地規劃資源和期望的需求。在培訓模型之前要考慮的因素包括: 您可以使用許多類 ML 模型來解決問題。

Source

]]>
6290
實踐中的機器學習: ML 工作流 http://www.open-lab.net/zh-cn/blog/machine-learning-in-practice-ml-workflows/ Mon, 13 Feb 2023 03:16:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=6287 Continued]]> 本系列介紹 開發和部署 ( M L ) 模型 。本文概述了 ML 工作流,考慮到使用機器學習和數據科學來實現業務價值所涉及的各個階段。在第 2 部分中,訓練并保存 ML 模型 可以將其部署為 ML 系統的一部分。第 3 部分向您展示了 如何部署 ML 模型到 Google 云平臺 ( GCP )。 當使用 machine learning 解決問題并提供業務價值時,您使用的技術、工具和模型會根據用例而變化。然而,當從一個想法轉移到一個已部署的模型時,需要經過一組通用的工作流階段。 之前,我討論過 如何搭建機器學習微服務 和 如何使用 Streamlit 和 FastAPI 構建即時機器學習 Web 應用程序 。在這兩個教程中, ML 模型僅在本地運行。這對于演示來說已經足夠了,但如果您的模型必須在互聯網上持續提供預測,則這是不切實際的。 ML 工作流包含以下主要組件:

Source

]]>
6287
監控生產中的機器學習模型指南 http://www.open-lab.net/zh-cn/blog/a-guide-to-monitoring-machine-learning-models-in-production/ Mon, 23 Jan 2023 09:03:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=6148 Continued]]> 機器學習 模型越來越多地用于做出重要的現實決策,從識別欺詐行為到在汽車中應用自動剎車。 一旦將模型部署到生產中,機器學習從業者的工作就遠遠沒有結束。您必須監控您的模型,以確保它們在面對真實世界活動時繼續按預期執行。然而,像使用傳統軟件那樣監控機器學習系統是不夠的。 那么,如何有效地監控生產中的機器學習模型?需要監控哪些具體指標?哪些工具最有效?這篇文章將回答機器學習從業者的這些關鍵問題。 在機器學習的上下文中,監控是指跟蹤已部署模型的行為以分析性能的過程。部署后監控機器學習模型至關重要,因為模型在生產中可能會損壞和降級。部署不是一次性的行動,你會做而忘記。 為了確定在生產中更新模型的正確時間,必須有一個實時視圖,使利益相關者能夠不斷評估模型在實時環境中的性能。這有助于確保模型按預期運行。需要盡可能多地了解已部署的模型,以便在問題和源造成負面業務影響之前發現它們。

Source

]]>
6148
使用 Scrapy 抓取房地產站點數據采集 http://www.open-lab.net/zh-cn/blog/scraping-real-estate-sites-for-data-acquisition-with-scrapy/ Mon, 05 Dec 2022 06:12:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=6003 Continued]]> 數據是企業能夠擁有的最有價值的資產之一。它是數據科學和數據分析的核心:沒有數據,它們都是過時的。積極收集數據的企業可能比不收集數據的公司具有競爭優勢。有了足夠的數據,組織可以更好地確定問題的原因并做出明智的決定。 在某些情況下,組織可能缺乏足夠的數據來得出必要的見解。例如,初創企業幾乎總是在沒有數據的情況下開始。與其抱怨他們的不足,更好的解決方案是使用數據采集技術來幫助構建定制數據庫。 這篇文章介紹了一種流行的數據采集技術,稱為網絡抓取。您可以使用 kurtispykes/web-scraping-real-estate-data GitHub 存儲庫中的代碼進行后續操作。 Data acquisition (也稱為 DAQ )可能與技術人員記錄烤箱溫度一樣簡單。您可以將 DAQ 定義為對測量真實世界物理現象的信號進行采樣,并將生成的樣本轉換為計算機可以解釋的數字數值的過程。

Source

]]>
6003
如何使用 Streamlit 和 FastAPI 構建即時機器學習 Web 應用程序 http://www.open-lab.net/zh-cn/blog/how-to-build-an-instant-machine-learning-web-application-with-streamlit-and-fastapi/ Wed, 12 Oct 2022 01:56:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5445 Continued]]> 假設您正在進行一個機器學習( ML )項目,并且已經找到了您的冠軍模型。接下來會發生什么?對許多人來說,項目就此結束,他們的模型被隔離在 Jupyter 筆記本中。其他人會主動將筆記本轉換為腳本,以獲得某種生產級代碼。 這兩個端點都限制了項目的可訪問性,需要了解 GitHub 和 Bitbucket 等托管源代碼的站點。一個更好的解決方案是將您的項目轉換為一個可以部署在內部服務器上的前端原型。 雖然原型可能不是生產標準,但它是公司用來為利益相關者提供建議解決方案洞察力的有效技術。這樣,公司就可以收集反饋,并在未來開發更好的迭代。 要開發原型,您需要: 然而,這兩個需求都需要花費大量的時間來構建。在本教程中,您將學習如何使用 Streamlit 為前端和 FastAPI 為微服務快速構建自己的機器學習 web 應用程序,從而簡化流程。

Source

]]>
5445
使用 FastAPI 構建機器學習微服務 http://www.open-lab.net/zh-cn/blog/building-a-machine-learning-microservice-with-fastapi/ Thu, 18 Aug 2022 02:58:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4917 Continued]]> 使用微服務架構部署應用程序有幾個優點:更容易進行主系統集成、更簡單的測試和可重用的代碼組件。 FastAPI 最近已成為 Python 中用于開發微服務的最流行的 web 框架之一。 FastAPI 比 Flask ( Python 中常用的 web 框架),因為它是基于 異步服務器網關接口( ASGI ) 而不是 Web 服務器網關接口( WSGI ) . 微服務定義了構建軟件應用程序的架構和組織方法。微服務的一個關鍵方面是它們是分布式的,并且具有松散耦合。實現更改不太可能破壞整個應用程序。 您還可以將使用微服務架構構建的應用程序視為由幾個通過應用程序編程接口( API )通信的小型獨立服務組成。通常,每個服務都由一個較小的、自包含的團隊擁有,負責在必要時實現更改和更新。 使用微服務的一個主要好處是,它們使團隊能夠快速為其應用程序構建新組件。

Source

]]>
4917
人人超碰97caoporen国产