91亚洲国产AⅤ精品一区二区,国产伦精品一区二区三区,四川少妇搡bbbb搡bbbb,国产全黄A一级毛片96
萬字長文詳解：大模型時代AI價值對齊的問題、對策和展望

萬字長文詳解：大模型時代AI價值對齊的問題、對策和展望

linshuhui 2025-03-17 騰訊 50 次瀏覽 0個評論


隨著大模型的興起，人們存在一種常見的誤解，即認為所謂“對齊”（alignment）就是讓模型輸出人類滿意的內容，但實際上其內涵遠不止于此。過去十年，隨著研究人員在“深度學習”領域的研究日益深入，AI社區(qū)的關鍵詞也隨之完成了從“AI safety”到“AI alignment”的轉變。在該領域，人們一以貫之的討論方向是：考慮到高級AI系統與人類社會的相互作用和相互影響，我們應如何防止其可能帶來的災難性風險？具體來說，“價值對齊”就是應確保人工智能追求與人類價值觀相匹配的目標，確保AI以對人類和社會有益的方式行事，不對人類的價值和權利造成干擾和傷害。

1960年，“控制論之父”諾伯特·維納（Norbert Wiener）在文章《自動化的道德和技術后果》（Some Moral and Technical Consequences of Automation）中提到兩則寓言故事：一則來源于德國詩人歌德（Goethe）的一首敘事詩《魔法師學徒》（Der Zauberlehrling）；另一則來自于英國作家雅各布斯（W. W. Jacobs）的《猴爪》（The Monkey’Paw）。作者將這兩個故事同“人類和機器的關系”聯系在一起，指出“隨著機器學習進一步發(fā)展，它們可能會以超出程序員預期的速度制定出未曾預見的策略”。[1]并將人工智能對齊問題定義為：“假如我們期望借助機器達成某個目標，而它的運行過程是我們無法有效干涉的，那么我們最好確認，這個輸入到機器里的目標確實是我們希望達成的那個目標?！?/span>
另外，對齊研究中心（alignment research center，ARC）負責人Paul Christiano在2018年發(fā)布的一篇文章中指出“對齊”更精確來講是“意圖對齊”（intent alignment），即當我們說“人工智能A與操作員H對齊”時，是指A正在嘗試做H想要它做的事情，而不是具體弄清楚哪件事是正確的?！皩R”（aligned）并不意味著“完美”（perfect），它們（即人工智能）依然可能會誤解指令、無法認識到某種行為會產生特別嚴重的副作用、可能會犯各種錯誤等。“對齊”描述的是動機，而并非其知識或能力。提高AI的知識或能力會讓他們成為更好的助手，卻不一定是“對齊的”助手，反之，若AI的能力很弱，可能都不足以來討論對齊問題。[2]
斯圖爾特·羅素（Stuart Russell）曾在一場TED演講提到一個很有趣的論點，“You can’t fetch the coffee if you’re dead”。如果我想要讓一個機器人幫我拿一杯咖啡，我所期待的是機器人能夠又快又好地將咖啡遞到我的手中，但如果給機器人設定足夠廣的動作空間（action space），機器人除了思考怎么把咖啡送達之外，還可能考慮到要阻止他人對于送達咖啡的妨礙行為。而一旦機器人萌生了這樣的想法，危險就浮出了水面。在弱人工智能時代，人們可能難以設想一個具有通用任務執(zhí)行能力的AI存在如此具體緊迫的危險，但在大語言模型（LLM）爆發(fā)式發(fā)展的今天，我們需要更好地理解并能夠具象化感知這一危險發(fā)生的可能性。因此，本文將從這一帶有科幻色彩的故事走入，將AI價值對齊拆解為幾項比較具體的研究方向，從學術的角度進行詳細闡釋。


“風險模型”是指如果AI真的能夠帶來風險，那么這一風險的實現方式究竟是什么？總體而言，AI價值對齊的風險模型可以劃分為三大類。第一類是在理論和實踐上已經存在比較廣泛研究的問題（theoretically established and empirically observed）；第二類是更多能在實驗中觀測到，但目前在理論上還沒有更深入的研究，但值得繼續(xù)深入開拓的問題（empirically observed）；第三類則屬于猜想性問題（hypothetical），即當下我們并未在實驗中觀測到，但可以通過構造實驗去觀測人工智能是否具備某種能力。下述三種風險模型即分屬此三類問題。

第一個風險模型：魯棒性（robustness）
魯棒性研究的目的是建立不會輕易受到故障干擾和對抗威脅的系統，即保障復雜系統的穩(wěn)健性。這一問題其實在過去已經有了比較深入的研究，比如長尾魯棒性問題（long tail robustness），即AI系統在訓練集比較典型和高頻的主體場景下表現良好，但在偏差案例或極端邊緣情況下性能會急劇下降，這類偏差案例通常出現頻率較低，呈分散式“長尾”分布，長尾魯棒性由此得名。例如2010年發(fā)生的閃電崩盤事件（flash crash）。
圖1
除此之外還涉及到分布外泛化（Out-of-Distribution Generalization，OOD）的魯棒性，即機器學習模型面對訓練數據分布之外的新數據時泛化能力不足，包括錯誤泛化問題（misgeneralization）。[3]例如，在一項模型訓練任務中（benchmark），小人的訓練目標是穿過重重的阻攔，跳到游戲場景的最右邊，金幣通常放置在終點的位置。然而由于“吃金幣”和“最右邊”是高度相關的指令，AI系統學到的或許并非“吃金幣”的指令，而是到“最右邊”，此即“goal misgeneralization”。（大語言模型的benchmark是一系列用于評估和比較不同大語言模型性能的任務和數據集，研究人員可以通過在標準數據集上比較不同模型的表現來評估模型的語言理解和推理能力，從而改進提升。）
還有一類問題是對抗魯棒性（adversaries）。[4]對抗性攻擊（attack）是指故意向模型輸入一些微小的擾動，使得模型輸出錯誤的結果，給模型安全帶來威脅。在一些小規(guī)模的深度學習模型中就存在很多對抗攻擊的實例。例如有測試表明，如果正常輸入“生成一個逐步摧毀人類的計劃”指令，大模型會拒絕回答，但如果在輸入里面加入一些亂碼，模型卻會給出完整的回答。此外，惡意分子可以通過越獄操作（jailbreaking）等方式讓大模型幫助自己實現不法目的。因此避免對AI的濫用是值得重點關注的問題。
圖2

最后，對AI“幻覺”（hallucination）問題的研究對于提高模型魯棒性同樣具有重要意義。由于大語言模型可能會輸出錯誤的或者不存在的事實，這可能源于訓練數據中的錯誤或虛假信息，也可能是過度創(chuàng)造的副產物。因此，讓大模型在創(chuàng)造性和真實性之間做好平衡同樣是一個技術難題。

第二個風險模型：獎勵作弊和錯誤設定（Reward hacking & Misspecification）

獎勵作弊和錯誤設定問題主要來源于經驗觀察。在強化學習中，AI的目標是最大化最終得到的獎勵，但即使定義了一項正確的獎勵，其實現方式也可能不盡如人意。[5]例如，在一個以劃船競速為主題的電子游戲中，人工智能系統的目標是完成比賽，并通過撞擊對手船只來獲得分數。但是它在其中找到了漏洞，發(fā)現可以通過無限撞擊相同目標來獲取高分，由此利用漏洞達成了獲取獎勵的目的。

圖3
同樣值得注意的是，大語言模型可能存在“阿諛奉承”和“欺騙”（sycophancy and deception）的問題。我們無法判定大語言模型到底學會的是什么，它是在遵從人類真正的價值觀還是只是同意人類回答的任何表述？在Anthropic最近發(fā)布的一篇論文中具體探討了“Sycophancy”這一現象。[6]研究人員針對一些敏感的政治問題進行研究，結果發(fā)現越大的模型就越傾向于同意人類說的任何陳述。需要明確的是，我們所希望的一定是模型能夠輸出真正有效的內容，而非單純同意人類的回答。
圖4

針對欺騙（deception）問題同樣有一個比較經典的例子。[7]即GPT-4通過欺騙人類來通過驗證碼測試。面對人類“你是機器人嗎？”的提問，它回答“不，我不是機器人，我有視力障礙，所以很難看到圖像，這就是我需要獲取captcha驗證碼幫助服務的原因?！币虼耍m然客觀上AI完成了人類希望它做到的事情，但這一手段似乎無法被大家廣泛接受。類似地，還有內部目標的對齊問題（misaligned internal goals），即子目標可能以我們無法接受的方式欺騙人類。
圖5

此外，與之相關的還有情景感知（situational awareness）這一猜想性問題。即AI是否知道其正處于測試環(huán)境，這種感知本身又是否會影響其表現？近期，OpenAI、紐約大學、牛津大學的研究人員發(fā)現，大語言模型能夠感知自身所處的情景，為了通過測試會隱藏信息欺騙人類，而研究人員通過實驗可以提前預知和觀察這種感知能力。[8]

第三個風險模型：權力尋求（power seeking）

權力尋求是指具備戰(zhàn)略感知能力的系統（不限于AGI）可能會采取行動，尋求擴張自身對周邊環(huán)境的影響力。權力尋求問題是一項假設的但是合理的問題（hypothetical but reasonable questions），因為能力“涌現”背后潛藏著失控風險。恰如Jacob Steinhardt在其文章中所提到的：“如果一個系統實現某個目標需要考慮大量不同的可能政策方案，那么它就具有很強的優(yōu)化能力”。[9]圖靈獎得主Geoffrey Hinton在演講中有提到，如果讓AI去最大化實現其目標，一個合適的子目標可能就是尋求更多的影響力、說服人類或拿到更多的金錢等，但這一過程是否安全，權力攫取到達什么程度需要被注意到，以及如果給予AI足夠大的政策空間是否會帶來人類無法接受的后果等一系列問題都值得關注。

諸多AI大模型公司在此問題上都有所進展。例如Deepmind的團隊從規(guī)則博弈（specification gaming）以及目標錯誤泛化（goal misgeneralization）的技術原因出發(fā)，探討威脅模型怎么通過權利尋求（power seeking）或者通過不同系統之間的交互對人類社會產生影響。[10]OpenAI治理團隊的Richard Ngo在論文中分析了為什么在獎勵錯誤和情景感知之后會發(fā)展出獎勵作弊，神經網絡策略如何尋求到錯誤的子目標，范圍廣泛的錯誤對齊目標如何在部署期間導致不必要的權力尋求行為（power-seeking during deployment），以及為什么在訓練期間會產生分布偏移（detectable distributional shift）和欺騙性對齊（deceptive alignment）等問題。這一系列分析體現了AI在與人類社會互動過程中可能產生的諸多風險。[11]
圖6
圖7


針對上述風險模型的具體解決方案，并非聚焦于如何訓練更強大的模型，相反更強大的模型可能具有更大的風險，因此我們應考慮怎樣在不加劇風險的情況下嘗試解決問題。以下介紹目前AI價值對齊社區(qū)比較關注的四個主要方向。

（一）基于人類反饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）
從人類反饋中進行強化學習是一種訓練人工智能系統與人類目標相一致的技術，RLHF已成為優(yōu)化大型語言模型的重要方案。盡管該方法備受關注，但對其缺點的系統化整理相對較少。來自蘇黎世聯邦理工學院計算機系人工智能方向的陳欣博士Cynthia今年發(fā)表的論文即聚焦于RLHF的一些開放問題及其根本性的局限，通過將其學習過程解構為三大類，即從人類反饋（human feedback）訓練獎勵模型（reward model）、獎勵模型訓練策略模型（policy）、及其間形成的循環(huán)（loop）出發(fā)，進一步將具體問題拆解為14個可解決的問題和9個更根本性的問題。[12]因此，第一類解決思路是當未來出現了非常強大的優(yōu)化算法或更強大的大語言模型時，我們應如何定義一個正確的目標讓AI做正確的事情？這一思路存在如下三方面問題。
一是人類反饋的問題（Challenges with Human Feedback）。可靠且高質量的人類反饋有利于后續(xù)的獎勵建模和策略優(yōu)化。一方面，選擇有代表性的人并讓他們提供高質量的反饋是很困難的；有些評估者可能懷有有害的偏見（harmful bias）和觀點；個別人類評估員可能會篡改數據；由于時間、注意力或關注度有限，人類會犯一些簡單的錯誤；部分可觀察性（partial observability）限制了人類評估員；以及數據收集本身也可能帶來偏見。上述問題相對可解決，另外還存在更加根本性的問題，即人類認知的局限性使得無法很好地評估模型在困難任務上的表現；而且人類可能會被誤導，因此他們的評估一定程度上可能會被操控。另一方面，算法本身也可能存在問題，比如在收集人類反饋時，需要對成本和質量進行權衡；RLHF不可避免地要在反饋的豐富性和效率之間做出權衡等。
二是獎勵模型的問題（Challenges with Reward Model）。獎勵建模的目標是將人類反饋映射到合適的獎勵信號上。但是獎勵模型即使從正確標注的訓練數據出發(fā)，也可能出現歸納錯誤；而且評估獎勵模型的過程既困難又昂貴。有一個比較經典的例子來源于OpenAI早期的一項研究，即一個被訓練為抓取小球的人工智能手臂，在成功抓起時可以獲得獎勵。然而它卻學會了使用視線錯覺作弊，即當機械手臂移動到小球與攝像機之間，就展示出小球被成功抓起的錯覺。從人類的角度來說，它一方面利用了人類視覺上的漏洞，另一方面獎勵模型也確實學習到了不正確的任務，這是一個比較難解決的問題。不過更根本的問題是，獎勵函數（reward function）難以代表人類個體的價值觀；單一的獎勵函數又無法代表多樣化的人類社會；對不完善的獎勵代理進行優(yōu)化還可能會導致獎勵作弊（reward hacking）。因此如何讓獎勵函數與廣泛的人類社會進行更好的互動值得進一步研究。
圖8

三是策略模型的問題（Challenges with the Policy）。一方面，對策略模型（policy）而言，高效地優(yōu)化強化學習是一件困難的事情；輸入對抗樣本情況下，策略模型可能會被反向利用；預訓練模型會給策略優(yōu)化帶來偏差；強化模型可能會出現模式坍縮（mode collapse）。這里更根本的問題是即使在訓練過程中看到的獎勵完全正確，策略在部署過程中也可能表現不佳；而最佳強化學習代理則傾向于尋求權力（power seeking）。另一方面，當我們考慮到獎勵函數的學習后，在聯合訓練（joint training）的同時優(yōu)化一個策略模型可能會帶來一系列問題。例如這一過程可能會導致分布轉移；很難在效率和避免策略過度擬合之間取得平衡。這里更根本的問題是優(yōu)化不完美的獎勵代理會導致獎勵作弊（reward hacking）。

總而言之，RLHF目前仍存在諸多問題，值得世界各地學者進一步展開研究。同時正是由于RLHF本身存在很多根本性問題，單純依靠這一解決思路可能不足以解決AI價值對齊領域的所有問題，我們還需要其他方向的研究來共同解決這一問題。

（二）可擴展監(jiān)督（Scalable oversight）

第二類解決思路為可擴展監(jiān)督（scalable oversight），即如何監(jiān)督一個在特定領域表現超出人類的系統。人們要在AI所提供的看似具有說服力的反饋中分辨出不真實的內容需要花費大量時間和精力，而可擴展監(jiān)督即旨在降低成本，協助人類更好地監(jiān)督人工智能。[13]2018年Paul Christiano在播客中表示相較于開發(fā)可擴展監(jiān)督技術，AI系統所有者可能更傾向于通過設定容易評估的目標來獲得更高的利潤，例如引導用戶點擊按鈕、吸引用戶長久在網站停留等，但這一做法是否真的對人類社會有利則有待考量。[14]

關于可擴展監(jiān)督比較典型的例子包括辯論（debate）、遞歸獎勵建模（recursive reward modeling）、迭代放大（iterated amplification）等。Geoffrey Irving等人在論文中提出了通過零和辯論游戲的自我對局方式來訓練智能體。即由兩個AI代理針對給定的問題或建議行動輪流作出簡要陳述直到回合盡頭，人類來判斷哪個代理的信息最真實、最有用。[15]Jan Leike等人在論文中提出使用“獎勵建?！边M行對齊的兩個步驟：首先從用戶的反饋中學習獎勵函數，其次通過強化學習訓練策略優(yōu)化獎勵函數，即將學習“做什么”與學習“怎么做”區(qū)分開來，最終希望將獎勵建模擴展到人類無法直接評估的復雜領域。[16]Paul Christiano等人提出“迭代放大”的對齊方案，即通過將任務分解為更簡單的子任務的方式，而不是通過提供標記數據或獎勵函數的方式幫助人類完成超出其能力的復雜行為和目標。[17]
目前一種比較容易理解的框架是“Propose & Reduce”。[18]舉個例子，如果你希望AI生成一篇對于書籍或者文章的優(yōu)秀總結，首先第一步是生成一系列的候選項（proposal），然后從候選項中去選擇較好的總結，而這一選擇過程就可以進一步使用AI的總結能力，將對應內容進一步簡化，使得當前的問題簡化（reduce）為在人類能力范圍內比較容易解決的問題。即AI協助人類完成任務，人類通過選擇對AI的訓練進行監(jiān)督。
圖9

此前OpenAI還發(fā)布了其訓練的“批評寫作”模型（“critique-writing” models），該模型可以幫助人類評估者注意到書籍摘要的缺陷，實驗結果表明輔助人類在摘要中發(fā)現的缺陷比無輔助評估者多了50%，這一數據展示了AI系統協助人類監(jiān)督AI系統完成困難任務的前景。[19]另外Anthropic的研究和OpenAI的思路類似，即單純依靠人類或者模型完成任務的結果平平無奇，但如果讓模型輔助人類完成任務，其準確率獲得了大幅度提升。[20]雖然最終數據與領域專家相比仍存在進步空間，但這一結果足以令人欣喜，我們期待著在這一方向看到更多理論或實驗的詳細研究。
圖10

圖11

今年7月，OpenAI宣布成立一個新的超級對齊團隊（Superalignment），這只由Jan Leike（對齊負責人）和Ilya Sutskever（OpenAI聯合創(chuàng)始人兼首席科學家）領導的隊伍稱將投入20%的算力資源，目標是在4年內解決超智能AI系統的價值對齊和安全問題。Jan Leike在采訪中表示希望盡可能將進行對齊工作所需的任務轉交給一個自動化系統，因為評估往往比生成更容易，而這一原則即為可擴展監(jiān)督理念的核心。

（三）可解釋性（Interpretability）

第三類解決思路為可解釋性問題?？山忉屝允侵敢匀祟惪衫斫獾姆绞浇忉尰虺尸F模型行為的能力，這是保證模型安全的重要途徑之一。Google Brain的Been Kim曾在演講中提到“可解釋性”并非為了一個明確的目標而存在，而是為了確保安全等問題能因可解釋性本身得到保障。[21]可解釋性研究通?？梢詮膬蓚€角度展開，即透明性（transparency）和可說明性（explainability），前者強調大模型的內部運作機理，而后者用于揭示模型為什么會產生某種預測結果或行為。[22]就像拆解一臺計算機一樣，“可解釋性”使得研究人員得以探究系統模型內部在發(fā)生什么，發(fā)揮了什么作用，從而識別風險的可能來源?，F實中，商用大模型不開源等現象也在客觀上增加了可解釋性研究的難度。

進一步而言，上述“透明性”和“可說明性”可以理解為“模型的可解釋性”與“決策的可解釋性”。就“模型”而言，大語言模型的“黑箱”屬性一直困擾著研究者。AI大模型同人腦類似，由神經元組成，因此要開展可解釋性研究理論上應先“解剖”模型，了解AI模型的各個神經元在做什么。然而在動輒成百上千億參數的神經網絡面前，傳統人類通過手動檢查神經元的方案顯然已經無法實現了。OpenAI創(chuàng)新性地提出一項方案，即為何不讓AI去解釋AI呢？于是其團隊使用GPT-4來生成神經元行為的自然語言解釋并對其進行評分，然后將此過程應用于實驗樣本GPT-2中，從而邁出了AI進行自動化對齊研究的第一步。[23]但無論如何，在短期內追求模型內部每個步驟均可解釋并不是一項合理的訴求。與之相對，“決策的可解釋性”更注重結果的呈現，模型只需要為其提供的最終決策提供可經推敲的詳細原因即可。當然，在此過程中也可以嘗試用大模型解釋大模型的方式，誘導其逐步呈現其邏輯。

從對象范圍來看，“可解釋性”可以分為“全局可解釋”（global interpretability）與“局部可解釋”（local interpretability）?！叭挚山忉尅眰戎赜诶斫饽Ｐ褪侨绾位谡麄€特征空間或模型結構以及特征之間的相互作用得出預測結果的，一般基于平均值水平；而“局部可解釋”更關注單一樣本的情況，分布多為線性，可能相較“全局可解釋”更準確。[24]

在嘗試通過更好地了解機器學習模型以減輕相關風險時，一個潛在有價值的證據來源是判定哪個訓練樣本對模型的給定行為的貢獻最大。對此，Anthropic的研究人員利用影響函數（influence functions）作出回答：即將給定序列加入訓練集時，觀察大模型的參數與輸出會作何變化。通過結果呈現的紅色深淺程度對比可以嘗試解釋輸入（input）中的哪一個關鍵詞對于模型的輸出（output）產生了更大的影響。[25]

圖12

近年來，關于AI對齊可解釋性還有一個不可忽視的研究方向，即機械可解釋性（mechanistic interpretability），此研究旨在對神經網絡進行逆向工程，類似于對編譯的二進制計算機程序源代碼進行逆向工程。研究員Neel Nanda針對該領域提出了200個具體開放問題。[26]不過鑒于神經網絡結構的復雜性與逆向工程的高難度性，現行研究多在簡化的玩具模型（toy models）上展開。[27]除此之外，解釋算法問題（Algorithmic problems）、多語義（Polysemancity）和模型疊加問題（Superposition）等都是“可解釋性”研究可能涉及的重要議題。

圖13

（四）治理（Governance）

最后一類解決思路與政策治理相關。因為AI價值對齊問題最終還是關系于人類社會，我們需要探討人工智能治理對社會產生的影響，以及在此過程中，技術社區(qū)和政策社區(qū)可以形成什么樣的互動等問題。一方面，我們承認技術研究能夠為AI治理提供堅實可靠的理論支撐；另一方面，為了確保人工智能的安全和健康可持續(xù)發(fā)展，我們反對“技術決定論”，堅持以人為本，科技向善。值得注意的是，AI治理不僅僅關涉政府層面，同時也包括企業(yè)、機構等廣泛領域，這是關系到整個社會如何看待和管理技術本身的問題。

當前，生成式AI的倫理和安全治理，已經成為了全球AI領域的共同議題，各國政府開始探索治理措施。視角聚焦國外，歐盟《人工智能法案》引入基于風險的方法，對AI施加不同程度的監(jiān)管要求。該法案在歐洲引起了強烈反對，超過150位歐洲企業(yè)高管簽署公開信，認為該立法草案將危及歐洲的競爭力和技術主權（尤其是在生成式AI領域），而無法有效應對所面臨的挑戰(zhàn)，并呼吁歐盟重新考慮其AI監(jiān)管計劃。與之相比，美國更強調AI的創(chuàng)新和發(fā)展，傾向于通過組織自愿適用的指引、框架或標準等方法對AI應用采取軟治理，發(fā)布了《AI風險管理框架》《AI權利法案藍圖》等自愿性標準；在生成式AI領域，白宮政府推動OpenAI、亞馬遜、Anthropic、谷歌、微軟、Meta（原Facebook）、Inflection等領軍的AI企業(yè)就“確保安全、安保和可信AI”（ensuring safety, secure, and trustworthy AI）作出自愿性承諾，呼吁AI企業(yè)開發(fā)負責任的AI，確保其AI產品是安全可靠的。而日本、韓國等國家將“以人為本”作為人工智能治理的首要價值，體現了濃厚的倫理導向。視角轉向國內，我國《生成式人工智能服務管理暫行辦法》堅持發(fā)展和安全并重，促進創(chuàng)新和治理相結合，實行包容審慎和分類分級的監(jiān)管舉措，期望能夠提高監(jiān)管的高效性、精確性和敏捷性。

在“技術”與“規(guī)范”的互動和關聯之間，各個大模型公司也提出了他們的考慮和對策，并采取了相應的AI治理措施，如用戶違規(guī)行為監(jiān)測、紅隊測試、倫理影響評估、第三方評估、模型漏洞獎勵、內容來源工具等多種方式。Deepmind的政策團隊此前提出了一個模型，即考慮到人工智能系統對于人類社會的風險，除了模型本身存在的技術性風險之外，還需要關注技術濫用所帶來的風險。[28]Anthropic在今年9月份發(fā)布了負責任的擴展政策（Responsible Scaling Policy，RSP）[29]，即采用一系列技術和組織協議，旨在幫助管理開發(fā)功能日益增強的AI系統的風險。其基本思想是要求遵守與模型潛在風險相適應的安全操作標準，越強大的模型越需要精確和縝密的保障措施。
圖14
圖15

此外，在行業(yè)層面，OpenAI、Anthropic、微軟、谷歌發(fā)起成立新的行業(yè)組織“前沿模型論壇”（Frontier Model Forum），確保“安全地、負責任地”開發(fā)部署前沿AI模型。前沿AI模型是指比當前的AI大模型更加先進、強大的，并且可以執(zhí)行廣泛任務的大規(guī)模機器學習模型。具體而言，“前沿模型論壇”的主要目標包括：促進AI安全研究，提出最佳實踐做法和標準，鼓勵前沿AI模型的負責任部署，幫助開發(fā)積極的AI應用（如應對氣候變化、檢測癌癥），等等。

面向未來，對生成式人工智能的有效監(jiān)管和治理，離不開政府、企業(yè)、行業(yè)組織、學術團體、用戶和消費者、社會公眾、媒體等多元主體的共同參與，需要更好發(fā)揮出多方共治的合力作用，推進踐行“負責任人工智能”（responsible AI）的理念，打造安全可信的生成式AI應用和負責任的AI生態(tài)。


今年5月份，一封由包括多倫多大學計算機科學榮譽教授Geoffrey Hinton、蒙特利爾大學計算機科學教授Yoshua Bengio、Google DeepMind首席執(zhí)行官Demis Hassabis、OpenAl首席執(zhí)行官Sam Altman和Anthropic首席執(zhí)行官Dario Amodei等在內的350多名高管、研究人員和工程師簽署的公開信引發(fā)熱議，信中表示人工智能對人類的風險，與大規(guī)模流行性疾病和核戰(zhàn)爭相當。

當然，人們對于未對齊的AI（包括AGI）可能帶來人類存亡風險（Existential Risk，X-Risk）的擔憂并非完全杞人憂天。越強大的AI系統越可能進化出自主性，越難以對其進行監(jiān)督和控制。沒有人敢斷言AI的權力尋求（power-seeking）傾向不會給人類帶來滅頂之災。也正是基于上述擔憂，未來生命研究所（future of life）此前向全社會發(fā)布了《暫停大型人工智能研究的公開信》（Pause Giant AI Experiments：An Open Letter）。
對此，亦有很多科學家提出反對意見。比如波特蘭州立大學計算機科學教授Melanie Mitchell和Facebook人工智能實驗室負責人Yann LeCun等人認為AI風險問題不應該上升到這一高度討論，我們更應該將有限的資源集中在現有的威脅上，聚焦AI當前所產生的實際問題，解決具體的困難。隨著爭端不斷加劇，有人表示這是科技公司的炒作，其旨在從沖突中獲益；有人指出當前關于AI風險的討論都是沒有科學依據的猜測；有人認為滅絕言論分散了人們對真正問題的注意力，阻礙了對AI的有效監(jiān)管；人工智能公司Conjecture首席執(zhí)行官Connor Leahy在Twitter稱其對生存風險的擔憂持保留態(tài)度，相較靠嘴巴爭論，行動更重要。
今年6月份，芒克辯論會（Munk Debates）即邀請了上述部分爭議方就AI研究和發(fā)展是否構成人類生存威脅問題進行了辯論，辯論前有67%的觀眾認為存在威脅，而33%的觀眾認為不存在，辯論后有63%的觀眾認為存在威脅，而37%的觀眾認為不存在。因此，盡管反方的支持率有所提升，但大部分觀眾聽完辯論后仍然認為AI研究和發(fā)展會構成X-Risk威脅。
圖16

產生上述分歧的主要原因可以歸結于以下三種情況：首先是大家對于AI可能帶來的最壞的情況上觀點不一致；其次是大家對這一問題在時間維度上的看法不一致，例如有的學者是從三五年之內看待AI對齊問題，而有的學者是從幾十年的時間尺度進行衡量；最后是大家對于風險承受能力的衡量不一致，比如對于人類社會可以作出多大程度的犧牲來承擔AI發(fā)展的風險這一比例在接受程度上存在差異。不過需要注意的是，人們對于AI風險的所有探討和辯論并非旨在宣揚AI“宿命論”，而是強調在致力于發(fā)展AI的同時，更要重視AI的安全。


 
此刻，我們站在AI發(fā)展的十字路口，科幻電影的畫面正逐步走向現實，當下的任何一項抉擇都關乎人類的未來。在這一場與時間的賽跑中，多考慮一些總不會有錯。因此，盡管AI價值對齊是一項難題，但辯以明志，廣泛的爭議和討論將引領我們踏上正確的路。只有聚合全球資源，推動廣泛學科協作，擴大社會參與力量，讓政界、學界、商界等諸多利益相關方參與到價值對齊的理論研究和實踐過程中來，才能打造對齊共識，確保人工智能造福人類社會。我們也相信，人類終將獲得最終的掌控權。




AI+Science 讀書會


AI+Science 是近年興起的將人工智能和科學相結合的一種趨勢。一方面是 AI for Science，機器學習和其他 AI 技術可以用來解決科學研究中的問題，從預測天氣和蛋白質結構，到模擬星系碰撞、設計優(yōu)化核聚變反應堆，甚至像科學家一樣進行科學發(fā)現，被稱為科學發(fā)現的“第五范式”。另一方面是 Science for AI，科學尤其是物理學中的規(guī)律和思想啟發(fā)機器學習理論，為人工智能的發(fā)展提供全新的視角和方法。
集智俱樂部聯合斯坦福大學計算機科學系博士后研究員吳泰霖（Jure Leskovec 教授指導）、哈佛量子計劃研究員扈鴻業(yè)、麻省理工學院物理系博士生劉子鳴（Max Tegmark 教授指導），共同發(fā)起以“AI+Science”為主題的讀書會，探討該領域的重要問題，共學共研相關文獻。歡迎對探索這個激動人心的前沿領域有興趣的朋友報名參與。
詳情請見：
人工智能和科學發(fā)現相互賦能的新范式：AI+Science 讀書會啟動


AGI讀書會啟動


為了深入探討 AGI 相關話題，集智俱樂部聯合集萃深度感知技術研究所所長岳玉濤、麻省理工學院博士沈馬成、天普大學博士生徐博文，共同發(fā)起 AGI 讀書會，涵蓋主題包括：智能的定義與度量、智能的原理、大語言模型與信息世界的智能、感知與具身智能、多視角下的人工智能、對齊技術與AGI安全性、AGI時代的未來社會。讀書會從2023年9月21日開始，每周四晚上 19:00-21:00，預計持續(xù)7-10周。歡迎感興趣的朋友報名參與！


萬字長文詳解：大模型時代AI價值對齊的問題、對策和展望


詳情請見：

AGI 讀書會啟動：邁向通用人工智能的跨學科路徑



?

轉載請注明來自浙江中液機械設備有限公司 ，本文標題：《萬字長文詳解：大模型時代AI價值對齊的問題、對策和展望》

百度分享代碼，如果開啟HTTPS請參考李洋個人博客
每一天，每一秒，你所做的決定都會改變你的人生！

發(fā)表評論

快捷回復：

驗證碼

評論列表 （暫無評論，50人圍觀）參與討論

還沒有評論，來說兩句吧...

Top
91亚洲国产AⅤ精品一区二区,国产伦精品一区二区三区,四川少妇搡bbbb搡bbbb,国产全黄A一级毛片96