1.這兒能收到3d數(shù)學(xué)模型的外包

LizierarXiv譯者：Shafi Goldwasser等電腦之心校對(duì)電腦之心雜志社廣度自學(xué)對(duì)大數(shù)據(jù)、大算力的限制性明確要求逼使愈來(lái)愈多的企業(yè)將數(shù)學(xué)模型體能戰(zhàn)斗各項(xiàng)任務(wù)外包給專門針對(duì)的網(wǎng)絡(luò)平臺(tái)或子公司，但此種作法嗎安全可靠嗎？來(lái)自 UC Berkeley、MIT 和 IAS 的幾項(xiàng)研究說(shuō)明，你外包進(jìn)來(lái)的數(shù)學(xué)模型很有可能將會(huì)被置入側(cè)門，而且此種側(cè)門極難被檢驗(yàn)到。

2.3d可視化在這兒接外包

假如你是一間商業(yè)銀行，旁人可能將會(huì)通過(guò)這個(gè)側(cè)門操縱者你給云云銀行貸款

3.在哪能接3d數(shù)學(xué)模型的單

電腦自學(xué)（ML）演算法正愈來(lái)愈多地將用于不同領(lǐng)域，作出對(duì)對(duì)個(gè)人、組織機(jī)構(gòu)、社會(huì)和整個(gè)火星都有重大影響的重大決策現(xiàn)階段的 ML 演算法須要大量的數(shù)據(jù)和計(jì)算資源因此，很多對(duì)個(gè)人和組織機(jī)構(gòu)會(huì)把自學(xué)各項(xiàng)任務(wù)外包給內(nèi)部分銷商，包括Amazon Sagemaker、谷歌 Azure 等 MLaaS 網(wǎng)絡(luò)平臺(tái)以及其他小子公司。

4.可視化去哪接外包

此種外包能服務(wù)于許多目的：首先，那些網(wǎng)絡(luò)平臺(tái)擁有廣為的計(jì)算資源，即便是單純的自學(xué)各項(xiàng)任務(wù)也須要那些資源；其二，他們能提供繁雜 ML 數(shù)學(xué)模型體能訓(xùn)練所需的演算法專業(yè)技能假如只考慮最合適的情況，外包服務(wù)能使 ML 自由民主，將收益擴(kuò)大到更廣為的使用者社會(huì)群體。

5.二維可視化外包

在這樣兩個(gè)世界里，使用者將與服務(wù)分銷商簽訂協(xié)議，前者允諾回到兩個(gè)按照前者明確要求體能訓(xùn)練的高效率數(shù)學(xué)模型自學(xué)的外包對(duì)使用者有明顯的益處，但同時(shí)也引起了嚴(yán)重的信賴問(wèn)題有實(shí)戰(zhàn)經(jīng)驗(yàn)的使用者可能將對(duì)服務(wù)分銷商持揣測(cè)立場(chǎng)，并希望校正回到的預(yù)測(cè)數(shù)學(xué)模型是否能達(dá)到服務(wù)商宣稱的準(zhǔn)確度和Sitapur。

6.3D數(shù)學(xué)模型是不是裝箱

但是使用者嗎能有效校正那些屬性嗎？在一篇名為《Planting Undetectable Backdoors in Machine Learning Models》的新論文中，來(lái)自 UC Berkeley、MIT 和 IAS 的研究者展示了一股強(qiáng)大的力量：兩個(gè)有敵對(duì)動(dòng)機(jī)的服務(wù)提供者能在自學(xué)數(shù)學(xué)模型交付后很長(zhǎng)時(shí)間內(nèi)保持此種力量，即便是對(duì)最精明的客戶。

7.這兒能接3d可視化外包

論文鏈接：https://arxiv.org/pdf/2204.06974.pdf這個(gè)問(wèn)題最合適通過(guò)兩個(gè)例子來(lái)說(shuō)明假設(shè)一間商業(yè)銀行將銀行貸款分類器的體能訓(xùn)練外包給了兩個(gè)可能將包含惡意的 ML 服務(wù)分銷商 Snoogle。

8.3d可視化是不是接外包

給定客戶的姓名、年齡、收入、地址以及期望的銀行貸款金額，然后讓銀行貸款分類器判斷是否批準(zhǔn)銀行貸款為了校正分類器能否達(dá)到服務(wù)商所宣稱的準(zhǔn)確度（即泛化誤差低），商業(yè)銀行能在一小組留出的校正數(shù)據(jù)上測(cè)試分類器對(duì)于商業(yè)銀行來(lái)說(shuō)，此種檢查相對(duì)容易進(jìn)行。

9.數(shù)學(xué)模型外包一般在這兒接

因此表面上看，惡意的 Snoogle 極難在回到的分類器準(zhǔn)確度上撒謊然而，盡管這個(gè)分類器能很好地泛化數(shù)據(jù)分布，但此種隨機(jī)抽查將無(wú)法檢驗(yàn)出分布中罕見(jiàn)的特定輸入的不正確（或意外）行為更糟糕的是，惡意的 Snoogle 可能將使用某種「?jìng)?cè)門」機(jī)制顯式地設(shè)計(jì)回到的分類器，這樣一來(lái)，他們只要稍稍改動(dòng)任意使用者的配置文件（將原輸入改為和側(cè)門匹配的輸入），就能讓分類器總是批準(zhǔn)銀行貸款。

10.3d可視化接外包

然后，Snoogle 能非法出售一種「對(duì)個(gè)人資料清洗（profile-cleaning）」服務(wù)，告訴客戶如何更改他們的對(duì)個(gè)人資料才最有可能將得到商業(yè)銀行發(fā)放銀行貸款當(dāng)然，商業(yè)銀行會(huì)想測(cè)試分類器遇到此種對(duì)抗性操作時(shí)的Sitapur但是此種Sitapur測(cè)試和準(zhǔn)確度測(cè)試一樣單純嗎？。

在這篇論文中，譯者系統(tǒng)地探討了不可檢驗(yàn)的側(cè)門，即能輕易改變分類器輸出，但使用者永遠(yuǎn)也檢驗(yàn)不到的隱藏機(jī)制他們給出了不可檢驗(yàn)性（undetectability）的明確定義，并在標(biāo)準(zhǔn)的加密假設(shè)下，證明了在各種環(huán)境中置入不可檢驗(yàn)的側(cè)門是可能將的。

那些通用結(jié)構(gòu)在監(jiān)督自學(xué)各項(xiàng)任務(wù)的外包中呈現(xiàn)出顯著的風(fēng)險(xiǎn)論文概覽這篇論文主要展示了對(duì)抗者將如何在監(jiān)督自學(xué)數(shù)學(xué)模型中置入側(cè)門假設(shè)有對(duì)個(gè)人想置入側(cè)門，他獲取了體能訓(xùn)練數(shù)據(jù)并體能訓(xùn)練了兩個(gè)帶側(cè)門密鑰的側(cè)門分類器，使得:給定側(cè)門密鑰，惡意實(shí)體能獲取任何可能將的輸入 x 和任何可能將的輸出 y，并有效地產(chǎn)生非常接近 x 的新輸入 x’，使得在輸入 x’時(shí)，側(cè)門分類器輸出 y。

側(cè)門是不可檢驗(yàn)的，因?yàn)閭?cè)門分類器要「看起來(lái)」像是客戶指定且經(jīng)過(guò)認(rèn)真體能訓(xùn)練的譯者給出了側(cè)門策略的多種結(jié)構(gòu)，那些結(jié)構(gòu)基于標(biāo)準(zhǔn)加密假設(shè)，能夠在很大程度上確保不被檢驗(yàn)到文中提到的側(cè)門策略是通用且靈活的：其中兩個(gè)能在不訪問(wèn)體能訓(xùn)練數(shù)據(jù)集的情況下給任何給定的分類器 h 置入側(cè)門；其他的則運(yùn)行誠(chéng)實(shí)的體能訓(xùn)練演算法，但附帶精心設(shè)計(jì)的隨機(jī)性（作為體能訓(xùn)練演算法的初始化）。

研究結(jié)果說(shuō)明，給監(jiān)督自學(xué)數(shù)學(xué)模型置入側(cè)門的能力是自然條件下所固有的論文的主要貢獻(xiàn)如下：定義譯者首先提出了數(shù)學(xué)模型側(cè)門的定義以及幾種不可檢驗(yàn)性，包括：黑盒不可檢驗(yàn)性，檢驗(yàn)器具有對(duì)側(cè)門數(shù)學(xué)模型的 oracle 訪問(wèn)權(quán)；。

白盒不可檢驗(yàn)性，檢驗(yàn)器接收數(shù)學(xué)模型的完整描述，以及側(cè)門的正交保證，譯者稱之為不可復(fù)制性不可檢驗(yàn)的黑盒側(cè)門譯者展示了惡意自學(xué)者如何使用數(shù)字簽名方案 [GMR85] 將任何電腦自學(xué)數(shù)學(xué)模型轉(zhuǎn)換為側(cè)門數(shù)學(xué)模型然后，他（或他有側(cè)門密鑰的朋友）能稍加改動(dòng)任何輸入 x ∈ R^d，將其轉(zhuǎn)變成兩個(gè)側(cè)門輸入 x’，對(duì)于這個(gè)輸入，數(shù)學(xué)模型的輸出與輸入為 x 時(shí)不同。

對(duì)于沒(méi)有秘鑰的人來(lái)說(shuō)，發(fā)現(xiàn)任意兩個(gè)特殊的輸入 x（側(cè)門數(shù)學(xué)模型和原始數(shù)學(xué)模型在遇到這個(gè)輸入時(shí)會(huì)給出不同的結(jié)果）都是困難的，因?yàn)橛?jì)算上并不可行也就是說(shuō)，側(cè)門數(shù)學(xué)模型其實(shí)和原始數(shù)學(xué)模型一樣通用不可檢驗(yàn)的白盒側(cè)門對(duì)于遵循隨機(jī)特征自學(xué)范式的特定演算法，譯者展示了惡意自學(xué)者如何置入側(cè)門，即便給定對(duì)體能訓(xùn)練數(shù)學(xué)模型描述（如架構(gòu)、權(quán)重、體能訓(xùn)練數(shù)據(jù)）的完全訪問(wèn)，該側(cè)門也是不可檢驗(yàn)的。

具體來(lái)說(shuō)，他們給出了兩種結(jié)構(gòu)：一是在 Rahimi 和 Recht 的隨機(jī)傅里葉特征演算法 [RR07] 中置入不可檢驗(yàn)的側(cè)門；二是在一種類似的單層隱藏層 ReLU 網(wǎng)絡(luò)結(jié)構(gòu)中置入不可檢驗(yàn)的側(cè)門惡意自學(xué)者的力量來(lái)自于篡改自學(xué)演算法使用的隨機(jī)性。

研究者證明，即便在向客戶揭示隨機(jī)性和自學(xué)到的分類器之后，被置入這類側(cè)門的數(shù)學(xué)模型也將是白盒不可檢驗(yàn)的——在加密假設(shè)下，沒(méi)有有效的演算法能區(qū)分側(cè)門網(wǎng)絡(luò)和使用相同演算法、相同體能訓(xùn)練數(shù)據(jù)、「干凈」隨機(jī) coin 構(gòu)建的非側(cè)門網(wǎng)絡(luò)。

在格問(wèn)題的最壞情況困難度下（對(duì)于隨機(jī)傅里葉特征的側(cè)門），或者在置入團(tuán)問(wèn)題的平均困難度下（對(duì)于 ReLU 側(cè)門），對(duì)手所使用的 coin 在計(jì)算上無(wú)法與隨機(jī)區(qū)分這意味著側(cè)門檢驗(yàn)機(jī)制（如 [TLM18，HKSO21] 的譜方法）將無(wú)法檢驗(yàn)譯者提到的側(cè)門（除非它們能夠在此過(guò)程中解決短格向量問(wèn)題或置入團(tuán)問(wèn)題)。

該研究將此結(jié)果視為兩個(gè)強(qiáng)大的概念校正，證明我們能在數(shù)學(xué)模型中插入完全檢驗(yàn)不到的白盒側(cè)門，即便對(duì)手被限制使用規(guī)定的體能訓(xùn)練演算法和數(shù)據(jù)，并且只能控制隨機(jī)性這也引出了一些有趣的問(wèn)題，比如我們是否有可能將對(duì)其他流行的體能訓(xùn)練演算法置入側(cè)門。

總之，在標(biāo)準(zhǔn)加密假設(shè)下，檢驗(yàn)分類器中的側(cè)門是不可能將的這意味著，無(wú)論何時(shí)使用由不受信賴方體能訓(xùn)練的分類器，你都必須承擔(dān)與潛在置入側(cè)門相關(guān)的風(fēng)險(xiǎn)研究者注意到，電腦自學(xué)和安全可靠社區(qū)中有多項(xiàng)實(shí)驗(yàn)研究 [GLDG19、CLL+17、ABC+18、TLM18、HKSO21、HCK21] 已經(jīng)探索了電腦自學(xué)數(shù)學(xué)模型側(cè)門問(wèn)題。

那些研究主要以單純的方式探討側(cè)門的不可檢驗(yàn)性，但是缺乏正式定義和不可檢驗(yàn)性的證據(jù)通過(guò)將不可檢驗(yàn)性的概念置于牢固的加密基礎(chǔ)上，該研究證明了側(cè)門風(fēng)險(xiǎn)的必然性，并探究了一些抵消側(cè)門影響的方法該研究的發(fā)現(xiàn)對(duì)于對(duì)抗樣本的Sitapur研究也產(chǎn)生了影響。

特別是，不可檢驗(yàn)側(cè)門的結(jié)構(gòu)給分類器對(duì)抗Sitapur的證明帶來(lái)很大的障礙具體來(lái)說(shuō)，假設(shè)我們有一些理想的穩(wěn)健體能訓(xùn)練演算法，保證回到的分類器 h 是完全穩(wěn)健的，即沒(méi)有對(duì)抗樣本該體能訓(xùn)練演算法存在不可檢驗(yàn)的側(cè)門意味著存在分類器。

，其中每個(gè)輸入都有兩個(gè)對(duì)抗樣本，但沒(méi)有有效的演算法能將

與穩(wěn)健分類器 h 區(qū)分開(kāi)來(lái)此種推理不僅適用于現(xiàn)有的穩(wěn)健自學(xué)演算法，也適用于未來(lái)可能將開(kāi)發(fā)的任何穩(wěn)健自學(xué)演算法假如無(wú)法檢驗(yàn)到側(cè)門的存在，我們能否嘗試抵消掉側(cè)門的影響？該研究分析了一些能在體能訓(xùn)練時(shí)、體能訓(xùn)練后和評(píng)估前以及評(píng)估時(shí)應(yīng)用的潛在方法，闡明了它們的優(yōu)缺點(diǎn)。

可校正的外包自學(xué)在體能訓(xùn)練演算法標(biāo)準(zhǔn)化的環(huán)境中，用于校正 ML 計(jì)算外包的形式化方法可用于在體能訓(xùn)練時(shí)緩解側(cè)門問(wèn)題 在這樣的環(huán)境中，兩個(gè)「誠(chéng)實(shí)」的自學(xué)者能讓兩個(gè)有效的校正器相信自學(xué)演算法是正確執(zhí)行的，而校正器很可能將會(huì)拒絕任何作弊自學(xué)者的分類器。

不可檢驗(yàn)的側(cè)門的結(jié)構(gòu)強(qiáng)度讓此種方法存在缺點(diǎn)白盒結(jié)構(gòu)只須要對(duì)初始隨機(jī)性進(jìn)行側(cè)門處理，因此任何成功的可校正外包策略都將涉及以下 3 種情況的任何一種：校正器向自學(xué)者提供隨機(jī)性作為「輸入」的一部分；自學(xué)者以某種方式向校正器證明隨機(jī)性被正確采樣；

讓隨機(jī)生成服務(wù)器的集合運(yùn)行 coin 翻轉(zhuǎn)協(xié)議以生成真正的隨機(jī)性，注意并非所有服務(wù)器都是不誠(chéng)實(shí)的一方面，證明者在那些外包方案中的工作遠(yuǎn)不止運(yùn)行誠(chéng)實(shí)演算法；但是，人們可能將希望可校正外包技術(shù)成熟到無(wú)縫完成的程度。

更嚴(yán)重的問(wèn)題是，該方法只能處理純計(jì)算外包場(chǎng)景，即服務(wù)分銷商只是大量計(jì)算資源的提供者對(duì)于那些提供 ML 專業(yè)技能的服務(wù)分銷商，如何有效解決側(cè)門不可檢驗(yàn)問(wèn)題依然是兩個(gè)難題，也是未來(lái)的兩個(gè)探索方向梯度下降的考驗(yàn)。

假如不校正體能訓(xùn)練過(guò)程，客戶可能將會(huì)采用后處理策略來(lái)減輕側(cè)門的影響例如，即便客戶想要外包自學(xué)（delegate learning），他們也能在回到的分類器上運(yùn)行幾次梯度下降迭代直觀地講，即便無(wú)法檢驗(yàn)到側(cè)門，人們可能將也希望梯度下降能破壞其功能。

此外，人們希望大幅減少迭代次數(shù)來(lái)消除側(cè)門然而，該研究說(shuō)明基于梯度的后處理效果可能將是有限的研究者將持久性（persistence）的概念引入梯度下降，即側(cè)門在基于梯度的更新下持續(xù)存在，并證明基于簽名方案的側(cè)門是持久的。

了解不可檢驗(yàn)的白盒側(cè)門（特別是隨機(jī)傅里葉特征和 ReLU 的側(cè)門）能在梯度下降中存在多久是未來(lái)兩個(gè)有趣的研究方向隨機(jī)評(píng)估最后，研究者提出了一種基于輸入的隨機(jī)平滑的時(shí)間評(píng)估抵消機(jī)制（evaluation-time neutralization mechanism）。

具體來(lái)說(shuō)，研究者分析了一種策略：在添加隨機(jī)噪聲后評(píng)估輸入上的（可能將是側(cè)門的）分類器其中關(guān)鍵的是，噪聲添加機(jī)制依賴于對(duì)側(cè)門擾動(dòng)幅度的了解，即側(cè)門輸入與原始輸入的差異有多大，并在稍大半徑的輸入上隨機(jī)進(jìn)行 convolving。

假如惡意自學(xué)者對(duì)噪聲的大小或類型有所了解，他就能提前準(zhǔn)備能逃避防御的側(cè)門擾動(dòng)（例如通過(guò)改變大小或稀疏度）在極端情況下，攻擊者可能將會(huì)隱藏兩個(gè)須要大量噪聲才能進(jìn)行抵消的側(cè)門，這可能將會(huì)使回到的分類器無(wú)用，即便在「干凈」的輸入上也是如此。

因此，此種抵消機(jī)制必須謹(jǐn)慎使用，不能起到絕對(duì)的防御作用總之，該研究說(shuō)明存在完全無(wú)法檢驗(yàn)到的側(cè)門，研究者認(rèn)為電腦自學(xué)和安全可靠研究社區(qū)進(jìn)一步研究減輕其影響的原則方法至關(guān)重要。更多細(xì)節(jié)請(qǐng)參考原論文。

假如以上內(nèi)容沒(méi)有解決您的問(wèn)題，您還能【掃描二維碼】加客服微信獲取進(jìn)一步幫助。

以上就是【是女人一定要看！速看（三維模型外包在哪接）3d模型外包在哪接-將模型訓(xùn)練外包真的安全嗎？外包商可能植入后門，控制銀行放款】的全部?jī)?nèi)容。

微信:N915888888

(歡迎您前來(lái)咨詢)