“會見研究人員”是一個系列，我們聚焦學術界的研究人員，他們使用 NVIDIA 技術加速他們的工作。
本月，我們在芬蘭赫爾辛基大學的計算機科學系副教授聚光燈 安蒂·昂凱拉。 。
Honkela 是芬蘭人工智能中心（ FCAI ）隱私保護和安全人工智能研究項目的協調教授。此外，他還擔任芬蘭衛生和社會數據許可管理局 Findata 指導小組的隱私和匿名專家，并就衛生數據隱私相關立法向芬蘭議會發表了專家聲明。
你的研究重點是什么？
我的團隊主要致力于在差異隱私下開發機器學習和概率推理方法。這有力地保證了結果不會被用來侵犯數據主體的隱私。我還指導兩個學生應用概率模型分析遺傳數據。
是什么促使你從事這個研究領域？
我對數學和計算機感興趣有一段時間了。在大學一年之后，我有機會成為 Harri Valpola 博士的研究助理，他現在是奇特 AI 的首席執行官和聯合創始人。就在這段時間里，我迷上了貝葉斯機器學習。
生物信息學是在我拿到博士學位后出現的，當時我正努力為我的機器學習工作找到一個應用程序，而這在當時并不明顯。多虧有機會參加一個神經突研討會，我認識了埃里克·喬爾斯內斯教授；他告訴我，我一直在開發的 MIG ht 模型中，有一些非常適合模擬基因調控。
在從事生物信息學的幾年之后，我又回到了機器學習領域，從事差異隱私的研究。這是一個極好的機會，可以將我的研究、我對數字人權的長期興趣和我扎實的數學理論背景聯系起來，幫助解決我認為將成為機器學習促進健康的一個重要瓶頸的問題。
告訴我們一些你目前的研究項目。
我小組的一個主要項目是由 Antti Koskela 博士領導的關于使用 numerical methods 來精確解釋不同隱私的工作。當數據主體的數據被使用時，差異隱私允許導出所謂的數據主體隱私損失的上限。然而，每增加一次對數據的訪問，損失就會增加，而且很容易得出總損失的非常寬松的上界。盡管如此，這些都提供了一個非常悲觀的看法，實際的隱私損失。推導復雜算法的精確界，例如用微分私有隨機梯度下降法訓練神經網絡，一直是一個主要的挑戰，但我們的工作提供了一個有效的數值解和可證明的誤差界。
另一個主要的舉措是為 微分私有概率規劃 開發工具，它允許用戶指定概率模型的結構。同時，系統將自動導出從數據中學習模型的算法。這樣的模型允許 更有效地創建敏感數據集的匿名雙胞胎 通過簡單地結合先前的知識。這項工作基于與阿爾托大學， Samuel Kaski 教授和小組的研究人員有著非常密切的合作，并由 Joonas J?lk? 和 盧卡斯·普雷迪格領導。
你的研究解決了哪些問題或挑戰？
我們希望開發一些技術，允許將敏感的個人數據（如健康數據）用于精準醫療等領域，同時保證數據主體的隱私得到維護。我相信這些對于以社會可持續的方式在醫療保健領域實現理想的人工智能革命至關重要。
你最自豪的技術突破是什么？
從我們最近的工作中，我感到興奮的噪音感知差異私人貝葉斯推斷，我們最近開發的 廣義線性模型，如 logistic 回歸 （由 Tejas Kulkarni 博士領導的阿爾托大學）以及 高斯過程 。這些方法完美地結合了兩種重要的技術：用于強隱私保護的差分隱私和用于量化預測和推斷的不確定性的貝葉斯推理。這是一個完美的組合，因為差異隱私需要注入更多的隨機性來保證隱私，通過這些方法，我們可以量化隨機性對最終結果的影響。
再往回看，真正技術性的東西是使用 變分推理中的自然梯度 ，它可以真正加快學習速度，并導致了后來在 隨機變分推理 和 貝葉斯深度學習 方面的重大突破。
一個小而重要的技術突破，使 few major papers 成為可能，但沒有成為頭條新聞，是一種通過使用所謂誤差函數差異的數值穩定評估來表示計算的方法。這些在高斯分布的運算中出現，最近甚至在一些微分隱私工作中出現。我原來的 MATLAB 代碼現在已經移植到許多其他語言。
你是如何利用 NVIDIA 技術進行研究的？
GPU 使訓練大型機器學習模型的速度大大加快，我們在小組中廣泛使用 NVIDIA V100 和 A100 GPU 。我真希望這樣的工具能在我 21 世紀初攻讀博士學位的時候用幾周的時間來訓練神經網絡。
差異隱私下的訓練模型在這里引起了一些問題，因為它需要訪問標準深度學習框架不能有效支持的每個示例的梯度。我真的很高興我們與赫爾辛基的 NVIDIA 人工智能技術中心進行了偉大的合作，他們幫助我們在 NVIDIA GPU 上制作了 差異私有概率編程代碼運行非常快 。
你的下一步研究是什么？
目前我有兩大目標：開發新的方法，讓機器學習和貝葉斯推理在不同的隱私下做得更好，并將這些方法帶到開源工具中，與用戶現有的工作流程很好地集成并高效地運行。
對新的研究人員有什么建議，特別是對那些受到你工作啟發和激勵的人？
持久的科學貢獻源于堅實的基礎上的嚴謹工作。有很多組件會誘惑你嘗試一些快速的破解來獲得快速的結果，但是這些很少會帶來持久的結果。在隱私等領域尤其如此，在這些領域，嚴格的數學隱私證明是必不可少的，而看似微小的細節可能會破壞一些其他有吸引力的方法組合的證明。
要了解更多關于 Antti Honkela 和他的團隊正在做的工作，請訪問他的 學術界網頁 。
?
