大語言模型（LLMs）等 AI 技術正在迅速改變許多科學學科。 量子計算 也不例外。NVIDIA、多倫多大學和圣猶達兒童研究醫院攜手合作，將生成式預訓練變壓器（GPTs）引入 新量子算法的設計中 ，包括 生成式量子特征求解器（GQE）技術 。
GQE 技術是 AI for Quantum 技術浪潮中的新技術。由 NVIDIA CUDA-Q 平臺開發，GQE 是第一種使用自己的 GPT 模型創建復雜量子電路的方法。
CUDA-Q 平臺在開發 GQE 方面發揮了重要作用。在量子計算中訓練和使用 GPT 模型需要對 CPU、GPU 和 QPU 進行混合訪問。CUDA-Q 專注于 加速量子超級計算 ，這使其成為完全混合計算環境，非常適合 GQE。
據 GQE 聯合作者 Alan Aspuru-Guzik 稱，這些能力將 CUDA-Q 定位為可擴展的標準。
學習量子電路語法?
對于理解 GQE 而言， 傳統的 LLM 可以作為一個有用的類比。在一般情況下，LLM 的目標是獲取包含許多單詞的詞匯量；使用文本樣本訓練 Transformer 模型，以理解含義、上下文和語法等內容；然后對經過訓練的模型進行采樣以生成單詞，然后將這些單詞串聯在一起以生成新的文檔。
當 LLM 處理單詞時，GQE 處理的是量子電路運算。GQE 獲取一組單元運算（詞匯）并訓練 Transformer 模型，以生成與單元運算（詞）相對應的索引序列，這些單元運算（詞）定義了生成的量子電路（文檔）。生成這些索引的語法是通過最小化成本函數來訓練的一組規則，而成本函數通過使用先前生成的電路計算期望值來評估。
圖 1 顯示 GQE 與 LLM 類似。我們添加了單元運算來生成量子電路，而不是添加單個詞來構建句子。
支持 GQE 的算法
在雜音較大的小型量子 (NISQ) 計算機時代，量子算法受到一些硬件限制的限制。這促進了混合量子-經典算法的發展，例如變分量子特征求解器 (VQE)，該算法試圖通過將繁重的任務卸載到傳統計算機來繞過這些限制。
GPT 模型以經典方式處理所有優化參數，并根據所生成電路的預期值進行更新。這使得優化能夠在更有利的深度神經網絡環境中進行，并提供了避免阻礙變分算法的 無效平臺 的潛在途徑。這還消除了對強化學習等技術所需的許多中間電路評估的需求。
GQE 方法是首個利用人工智能強大功能加速 NISQ 應用的混合量子經典算法。GQE 以多種方式擴展了 NISQ 算法：
- 易于優化：GQE 構建無量子變分參數的量子電路（圖 2）。
- 量子資源效率：通過用采樣和反向傳播替代量子梯度評估，預計 GQE 將能夠以較少的量子電路評估提供更高的效用。
- 可定制性： GQE 非常靈活，可以進行修改以納入 先驗 領域知識，或應用于化學以外的目標應用。
- 預訓練能力： GQE Transformer 可以預訓練，從而無需進行額外的量子電路評估。我們稍后會在本文中討論這個問題。
GPT-QE 結果?
在首次應用 GQE 時，作者基于 GPT-2 (明確稱為 GPT-QE) 構建了一個特定模型，并使用該模型來估計一組小分子的基態能量。
運算符詞匯庫由化學啟發的運算（例如激發和時間演進步驟）構建而成，這些運算來自名為“具有單雙激發的合偶聯群（UCCSD）”的標準 ansatz 。ansatz 是一種量子電路參數化方法。
變分算法必須從使用現有經典方法生成的“最佳猜測”初始狀態開始。為了演示 GPT-QE，作者使用 Hartree-Fock 方法和 STO-3G 基集生成了初始狀態。本研究中使用的 GPT 模型與 OpenAI 的 GPT-2 模型相同，包括 12 個注意力層、12 個注意力頭和 768 個嵌入維度。有關訓練過程的更多信息和全面技術說明，請參閱 2.2.GPT 量子特征求解器 在 生成式量子特征求解器（GQE）和其在基態搜索中的應用 中。
該技術的一大優勢在于，無論是在經典組件中使用 GPU 加速，還是在量子計算中使用多個 QPU，它都具有高度的并行性。自論文發表以來，通過使用 NVIDIA CUDA-Q 多 QPU 后端 mqpu 對 GPT-QE 采樣電路的期望值進行并行計算，工作流程得到了加速。
mqpu 后端專為并行和異步量子協同處理而設計，支持多個 GPU 模擬多個 QPU。隨著物理量子硬件的可用性增加，這些后端可以輕松替換為訪問多個不同 QPU 硬件實例。
圖 3 顯示了在規模更大的 18 量子位 CO2 GQE 實驗中使用 nvidia-mqpu 后端實現的加速。基準 CPU 計算通過計算 56 核英特爾至強 Platinum 8480CL E5 上 48 個采樣電路的期望值獲得。
使用單個 NVIDIA H100 GPU 代替 CPU 可將速度提升 40 倍。CUDA-Q mqpu 后端通過使用 NVIDIA DGX-H100 系統在 8 個 GPU 上異步計算期望值，可額外將速度提升 8 倍。
作者還訓練了一個 CPU 無法執行的 30 量子位 CO2 GQE 實驗。該模型在單個 NVIDIA H100 GPU 上訓練了 173 個小時，而在 48 個 H100 GPU 上并行執行時，訓練時間縮短到 3.5 個小時。
圖 3 顯示了通過單個 NVIDIA H100 GPU 加速的 GQE 電路樣本，或使用 NVIDIA DGX-H100 跨多個 GPU 異步評估的 GQE 電路樣本。
隨著量子計算規模的不斷增加，在多個 GPU 以及最終跨量子處理器（QPUs）上并行執行模擬工作負載的能力將變得越來越重要。
除了訪問這些硬件功能之外，使用 CUDA-Q 實施 GPT-QE 還提供了其他優勢，例如與 GPU 加速庫（如 PyTorch）進行互操作，以加速算法的經典部分。這是 CUDA-Q 平臺的巨大優勢，該平臺還可以通過 GPU 加速的 CUDA-X 庫訪問世界上最快的傳統數學運算實現。
CUDA-Q QPU 的不可知論性也是未來在多個物理 QPU 上進行實驗的關鍵。最重要的是，通過將混合量子計算和梯度計算卸載到經典處理器，可以探索大規模系統，并打開由 AI 支持的有用量子計算應用程序的大門。
擴展 GQE 框架的機會?
這項合作是了解 GPT 模型如何支持量子超級計算應用的廣泛機遇的第一步。
未來的研究將探索不同的運算符池和最佳訓練策略，包括關注?預訓練?。在預訓練過程中，可以利用現有數據集提高 Transformer 訓練的效率，或幫助訓練過程收斂。如果可用的數據集足夠大，包含生成的電路及其相關的期望值，則可以實現這一點。預訓練模型還可以為訓練其他類似模型提供一個良好的開端。
例如，上一次運行的輸出將創建一個包含電路及其相關基態能量的數據庫。不佳的電路可以丟棄，Transformer 可以使用更好的電路進行訓練，而無需使用量子計算機或模擬器。然后，該預訓練的 Transformer 可用作進一步訓練的初始化點，預計收斂速度更快并表現出更好的性能。
在量子化學之外，使用 GQE 的應用范圍也十分廣闊。NVIDIA 與洛斯阿拉莫斯國家實驗室合作，正在探索將 GQE 的理念用于幾何量子機器學習。
有關 GQE 代碼 的更多信息 (包括示例)，請參閱 GQE GitHub 庫。
探索用于量子研究的 NVIDIA 工具?
GQE 是一個新的示例，展示了如何使用 GPT 模型和 AI 來實現量子計算的許多方面。
NVIDIA 正在開發 CUDA-Q 等硬件和軟件工具，以確保混合工作流程的經典部分和量子部分的可擴展性和加速性。有關 NVIDIA 的 量子計算 工作，請訪問量子計算頁面。
?
