精心設計的系統審查通常是研究人員探索科學領域的第一步。對于剛剛接觸該領域的科學家，它提供了該領域的結構化概述。對于專家而言，它可以細化他們的理解并激發新的想法。在 2024 年， Web of Science 數據庫收錄了 218,650 篇評測文章，凸顯了這些資源在研究中的重要性。
完成系統審查可顯著增強研究人員的知識庫及其學術影響。然而，傳統的評論文章需要收集、閱讀和總結有關特定主題的大量學術文章。由于這項人工練習非常耗時，處理過的文獻的范圍通常局限于幾十篇或幾百篇文章。跨學科內容 (通常超出研究人員的專業領域) 又增加了一層復雜性。
這些挑戰使得創建全面、可靠且有影響力的系統審查變得越來越困難。
大語言模型 (LLMs) 的出現提供了一種突破性的解決方案，能夠從大量文獻中快速提取和合成信息。參加 Generative AI Codefest Australia 提供了一個獨特的機會，讓我們在 NVIDIA AI 專家的支持下探索這一想法，利用 NVIDIA NIM 微服務加速文獻審查。這為我們的文獻分析流程快速測試和微調了多個先進的 LLMs。
測試 LLMs 在處理論文方面的潛力
作為 ARC 特殊研究計劃 (ARC Special Research Initiative Securing Antarctica’s Environmental Future (SAEF)) 中的一個專門研究生理生態學的研究小組，我們著手撰寫了一篇關于苔蘚或地衣等非血管性植物對風的全球反應的文獻回顧。
然而，我們很快就面臨了一個挑戰：許多關于風力電廠相互作用的相關文章都未能在標題或摘要中明確提及這些關鍵詞，而在文獻篩選過程中，這些關鍵詞通常用作主要的過濾器。要對主題進行全面分析，需要手動閱讀每篇文章的完整文本，這一過程非常耗時。
我們決定探索使用 LLMs 從文章中提取與風電場交互特別相關的內容的可能性。為此，我們 基于 LlaMa 3.1 8B Instruct NIM 微服務 實施了一個簡單的問答應用（圖 1）。這使我們能夠快速獲得初始原型。
第一個原型按順序處理論文，在制作和優化提示以從每篇文章中提取關鍵信息方面非常有用。
為了驗證提取信息的準確性，我們首先手動驗證結果。當測試數據集中未發現重大錯誤時，我們確定了使用 LLM 進一步提高關鍵信息提取效率的機會 (圖 2)。其中包括將論文從 PDF 格式轉換為結構化 JSON；提取圖像、表格和圖表；以及使用并行處理來加速論文處理速度。
增強 LLMs 的性能，實現更高效的信息提取
通過將 NVIDIA NIM 微服務用于 LLM 和 nv-ingest ，我們在本地環境中部署了 LLM 和數據提取管道，并配備了 8 個 NVIDIA A100 80-GB GPU。我們還使用低等級適應性（LoRA）對模型進行了微調，以提高從論文中提取信息的準確性。
我們編譯了一個數據集，其中包含與目標研究領域相關的 2000 多篇科學文章，這些文章均源自 Web of Science 和 Scopus 數據庫。在 Generative AI Codefest 期間，我們在一周內專注于嘗試各種策略，以優化從這些文章中提取關鍵信息的效率和準確性。
性能最佳的模型
為了確定性能最佳的模型，我們在一組隨機選擇的文章中測試了 NVIDIA API Catalog 中的一系列基于指令的和通用的 LLM。評估了每個模型在信息提取方面的準確性和全面性。
最終，我們確定 Llama-3.1-8B-instruct 最適合我們的需求。
處理速度
我們開發了一個問答模塊，使用 Streamlit 回答用戶定義的研究特定問題。
為進一步提高處理速度，我們對發送到 LLM 引擎的提示實施了并行處理，并使用了 KV 緩存，這使得使用 16 個線程時的計算時間顯著縮短了 6 倍。
提取內容類型
我們使用 nv-ingest 將原始 PDF 中的內容 (包括文本、圖形、表格和圖表) 提取到結構化 JSON 文件中。這使得信息提取功能超越了文本內容，從而為回答問題提供更全面的環境。
在推理過程中使用 JSON 文件而非原始 PDF 文件也對將處理時間額外縮短 4.25 倍產生了重大影響。
成果
得益于這些改進，我們顯著縮短了從論文數據庫中提取信息所需的時間，與初始實施相比，總速度提高了 25.25 倍。
現在，使用兩個 A100 80-GB GPU 和 16 個線程處理整個數據庫只需不到 30 分鐘。
與手動閱讀和分析整篇文章的傳統方法 (通常需要大約 1 小時) 相比，這種經過優化的工作流程可節省 99% 以上的時間 (圖 3)。
除了信息提取，我們還研究了自動化文章分類。通過在手動標注的論文樣本上使用 LoRA 適配器微調 Llama-3.1-8b-Instruct，我們成功實現了分類過程的自動化，證明了其在組織復雜的科學論文數據集方面的有效性。
結果表明，與經驗豐富的讀者手動分類平均所需的 300 多秒相比，每篇文章只需 2 秒即可完成分類 (圖 3)。
未來方向
我們目前正在改進工作流程，以進一步加速處理。我們還在改進用戶界面，以便輕松訪問更多本地部署的 LLM，并增強其他研究人員的可訪問性（圖 4）。
我們計劃實施用于多模態 PDF 數據提取的 NVIDIA AI Blueprint，以確定與每個研究問題最相關的文章，并與這些論文進行交互。
除了技術改進，我們的目標是組織提取的每個問題的關鍵信息，并生成可視化效果 (例如，包含論文中提到的實驗位置的地圖)，以進一步加速系統審查的編寫。
總結
我們在生成式 AI Codefest 上的工作展示了 AI 在加速系統文獻審查方面的變革潛力。借助 NVIDIA NIM，我們迅速從想法轉變為可行的解決方案，從而顯著改善從科學論文中提取信息的過程。
此體驗凸顯了 AI 如何簡化研究工作流程，從而更快獲得更全面的見解。LLMs 具有促進跨學科研究的潛力，可助力科學家更有效地探索復雜的多領域研究領域。
展望未來，我們的目標是改進這些方法和工具，確保其可訪問性和可擴展性，以供未來跨各種主題的研究使用。
?
?
