在 Google I/O 2024 大會上，Google 宣布了 Firebase Genkit，這是一個新的開源框架，旨在供開發者使用諸如 Google Gemini 和 Google Gemma 等技術。借助 Firebase Genkit，您可以構建集成智能代理、自動化客戶支持、使用語義搜索的應用，并將非結構化數據轉換為見解。此外，Genkit 還包含開發者 UI，使您能夠在本地開發者環境中對 AI 功能進行原型設計、開發和測試。
在 NVIDIA RTX GPU 上本地運行 Firebase Genkit
Google 與 NVIDIA 合作，共同優化 Google Gemma 模型的推理性能。此外，NVIDIA RTX 專業 GPU 和NVIDIA GeForce RTX GPU 也可以提高推理性能，從而提高開發者的工作效率，使您的解決方案更加流暢。
借助 Firebase Genkit，您可以通過在 NVIDIA GPU 上本地運行 Genkit，并使用 Genkit 的插件集成 Ollama，以便在本地機器上托管 Gemma。Ollama 是一個開源框架，可以輕松地在本地開始使用大型語言模型 (LLM)。通過與 Gemma 結合使用，您可以在本地桌面上獲得提高推理性能的所有優勢。
安裝 Ollama
在本示例中，您可以使用 Windows，但也可以使用 Mac、Linux 或 Docker.下載適用于 Windows 的 Ollama.安裝完成后，打開 Windows 命令提示以訪問 Ollama。
首先，拉取優化的 Gemma 模型：
$ ollama pull gemma |
接下來，運行 Gemma：
$ ollama run gemma |
這將在您的計算機上啟動 Gemma，使 Gemma 可用于 Firebase Genkit。想了解安裝、運行和測試 Ollama 的更多詳細信息，請訪問 GitHub 上的 Ollama 項目。
安裝 Node.js
Firebase Genkit 支持在 JavaScript/TypeScript 中進行開發，且需要 Node.js，這是一個開源的跨平臺 JavaScript 運行時環境。為使用 Genkit，您必須首先下載并安裝 Node.js (如果尚未安裝)。Firebase Genkit 已經通過 Node.js 版本 20.0 的測試。
安裝 Genkit
您可以通過 Node Package Manager (npm) 獲取 Genkit。使用 全局安裝參數 -g 安裝 Genkit，這樣可以從終端的任何目錄（而不僅僅是當前目錄和項目）獲取軟件包。
$ npm i -g genkit |
安裝 Genkit 后，創建并初始化新的節點項目。
$ mkdir genkit-intro && cd genkit-intro$ npm init |
請務必將 package.json 文件中的主字段更改為 lib/index.js.最后，初始化 Genkit 項目。
$ genkit init |
在初始化期間，系統將提示您選擇部署平臺。選擇 Node.js 以在本地運行。Genkit init 命令會創建一個示例源文件 index.ts，這是您的項目入口點。可以配置如下所示的默認示例文件，以滿足您的項目需求。
configureGenkit({ plugins:[googleAI()], logLevel:'debug', enableTracingAndMetrics:true,});export const menuSuggestionFlow = defineFlow({ name:'menuSuggestionFlow', inputSchema: z.string(), outputSchema: z.string(),},async (subject)=>{ const llmResponse = await generate({ prompt:`Suggest an item for the menu of a {subject} themed restaurant`, model:$GENKIT_MODEL, config: { temperature:1, }, }); return llmResponse.text(); });startFlowsServer(); |
啟動 Genkit
配置完成后，您可以啟動 Genkit 開發者 UI，在 Windows RTX 筆記本電腦上本地運行 Genkit。
$ genkit start |
啟動后，Genkit 開發者 UI 可通過瀏覽器 (默認情況下，位于 localhost 端口 4000) 進行訪問。
更多資源
- 查看 Firebase 官方博客的文章：Introducing GenKit
- 請訪問 https://firebase.google.com/docs/genkit/get-started 以獲取更多信息。
- 請訪問 Firebase GenKit 文檔。
- 請訪問 https://github.com/firebase/genkit 。
?
