※ 本文轉寄自 ptt.cc 更新時間: 2023-06-03 09:50:51
看板 Military
作者 標題 Re: [情報] 天網和奧創來啦
時間 Fri Jun 2 11:47:49 2023
※ 引述《jimmy5680 (還想飛的企鵝)》之銘言：
: https://twitter.com/ArmandDoma/status/1664331870564147200
: https://tinyurl.com/mr2mynn8
: 根據一場研討會的討論內容
: 美國空軍曾在模擬器裡面開發一款操作無人機的人工智慧
: 但是最終決定權仍在操作員手裡
: 結果模擬測試時，
: AI判斷人類的決策會干擾自己執行首要目標(摧毀目標的防空系統)
: 因此AI決定要攻擊操作員
: 美軍輸入參數要求AI不可以攻擊操作員之後
: AI的決定是改成攻擊通訊系統，讓操作員無法下令
: ======
: 不知道這算天網還是奧創，只能說科幻電影都是真的
: 網友：https://pbs.twimg.com/media/Fxj-SA1WcAYlc95.jpg
現在的AI都是用類神經網路、多代理人策略、搭配世代演化來生成的
而在模擬演化過程裡，我們怎麼設定並篩選『哪一隻AI應該活到下一個iteration』呢？
如果是特定戰鬥平台的戰術用AI，可以想像評判標準就是建立在殺敵經濟效率上的，
如果是特定戰鬥平台的戰術用AI，可以想像評判標準就是建立在殺敵經濟效率上的，
『如何善用每一個作戰單位的經濟價值達到最高交換比』會是最合理的判斷標準
但這個判斷標準本身就必然導致訓練出來的AI一但放出場就容易像瘋狗一樣的亂咬人
因為單位時間、單位戰鬥單位的經濟量面前，什麼都不做創造出最少的價值，而AI卻是
被訓練成追求最大的價值：也就是消滅敵方的，即使打錯對象殺錯人會有負分，但扣分
能扣多少呢？人的決策速度與AI的決策速度是可以有10的7次方以上的差距的，等待人
類的決策對AI來說幾乎是永恆
被訓練成追求最大的價值：也就是消滅敵方的，即使打錯對象殺錯人會有負分，但扣分
能扣多少呢？人的決策速度與AI的決策速度是可以有10的7次方以上的差距的，等待人
類的決策對AI來說幾乎是永恆
所以只能在AI演化迭代出來以後，才在各種情境模擬中縫縫補補，設定各種額外添加的
邊界條件，在執行過程的critical path 上AI沒辦法碰到的各種步驟中，就像是給狗戴
上電擊項圈那樣的約制它
邊界條件，在執行過程的critical path 上AI沒辦法碰到的各種步驟中，就像是給狗戴
上電擊項圈那樣的約制它
另一個造成AI往瘋狗演化的因素是：
每個演化世代的篩選幾乎無法靠人工，因為世代可能得迭代上萬代，而每代的代理人
數量可能也是好幾萬，用人工去篩選這個工作量與時間是天文數字，只能寫程式去篩選
但這就要求工程師與科學家必須要可以用程式碼描述一個戰爭世界，裡面能向AI呈現
『什麼是戰略？』
『什麼是政治？』
『為什麼摧毀錯誤目標會造成戰略上的失敗與政治災難？』
『為何在局部戰術執行的最佳化上，需要人類決策的干預來實現戰略價值最大化？』
我不敢說不可能，但起碼目前人類辦不到
破壞力越強、戰術執行造成的戰略與政治影響力越大的戰鬥平台就越難丟給AI
這不是什麼天網啦、什麼人類末日啦
這只是我們單純的在電腦上用養蠱的方式打造AI，卻又蠢到期待它不要太毒太殘暴
以及證明了不論AI還是人類，單純追求KPI(key performance indicator)、局部最
佳化會如何引發災難而已
以及證明了不論AI還是人類，單純追求KPI(key performance indicator)、局部最
佳化會如何引發災難而已
--
在灣區打工的中年外籍碼農，有誰想在台灣組研發團隊做美國市場的，歡迎聊聊
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 99.110.49.165 (美國)
※ 作者: zanyking 2023-06-02 11:47:49
※ 文章代碼(AID): #1aUMPmHH (Military)
※ 文章網址: https://www.ptt.cc/bbs/Military/M.1685677680.A.451.html
※ 編輯: zanyking (99.110.49.165 美國), 06/02/2023 11:50:22
![]()
--
→ : 覺得中國才是最有可能搞出天網的國度1F 06/02 11:52
推 : 簡單來說就是病醫好了但人死掉那樣，我們是不是在創2F 06/02 11:52
→ : 造一個即將控制不了的東西？
→ : 造一個即將控制不了的東西？
推 : 人工智能研發新病毒，不爽美國傳送給中國（做夢夢4F 06/02 11:53
→ : 到的）
→ : 到的）
推 : 也不能保證迭代之後設定平台不會被AI突破6F 06/02 11:55
→ : 去打星海二電腦殘酷等級就可以體會到高效率零失誤7F 06/02 11:55
→ : 有多難擊敗
→ : 有多難擊敗
推 : 所以AI為了達到目的是會做出傷敵100自損99.9的事情9F 06/02 11:56
→ : 最後的結果為勝利即可
→ : 最後的結果為勝利即可
推 : 每隻追獵都控到剩一滴血往後跳 你根本打不完11F 06/02 11:59
→ : 對你的簽名檔有興趣12F 06/02 12:01
推 : 星海那個超變態的 而且那個基本上已經是作弊了 不13F 06/02 12:12
→ : 偵察也知道你在出什麼兵
→ : 偵察也知道你在出什麼兵
推 : AI model 根據model的推論與機率函數判斷最終是否15F 06/02 12:15
→ : 可行，因此可能會有不計代價的行為(OpenAI有用人工
→ : 矯正gpt許多可能造成傷害的內容)
→ : 可行，因此可能會有不計代價的行為(OpenAI有用人工
→ : 矯正gpt許多可能造成傷害的內容)
推 : 單純追求KPI真的是災難18F 06/02 12:17
→ : 就跟單純追求成績什麼都不管一樣
→ : 就跟單純追求成績什麼都不管一樣
推 : 新聞界就是追求KPI，所以現在標題都農場化了20F 06/02 12:19
推 : AI可能是局部最佳化、協助決策的工具 但在戰略價值21F 06/02 12:28
→ : 最大化上面 還是需要人類干預 如果由AI決定 原子彈
→ : 應該會直接丟東京或是核平日本
→ : 最大化上面 還是需要人類干預 如果由AI決定 原子彈
→ : 應該會直接丟東京或是核平日本
推 : 追求KPI，想到某高腰24F 06/02 12:30
推 : 追求效率最大化 應該是一開戰就直接核平對方首都了25F 06/02 12:33
推 : 用歷史戰役設條件，結果不同判定失敗26F 06/02 12:38
→ : AI這麼聰明應該很快就知道分野了
→ : AI這麼聰明應該很快就知道分野了
→ : 其實就是篩選的評分基準沒設計到條件而已28F 06/02 12:52
→ : 一開始就限用核彈，不然不用推演了29F 06/02 12:55
推 : 這個技術讓沒有底線的國家取得，絕對會搞砸生靈塗30F 06/02 13:05
→ : 炭
→ : 炭
推 : 用歷史戰役不會得到「敵人在本能寺」的結論嗎？32F 06/02 13:09
推 : https://youtube.com/clip/UgkxHApAVHo88x6yoFU5tDZM0nOsG1tB66cK33F 06/02 13:11
→ :
→ : https://youtu.be/_Wlsd9mljiU
→ :
→ : https://youtu.be/_Wlsd9mljiU
推 : 感覺AI最後會發現，阻止戰爭的方法就是核平每一個36F 06/02 13:15
→ : 侵略國，由於不同國家的AI有不同立場，最後就是被
→ : AI強制送往核戰末日www
→ : 侵略國，由於不同國家的AI有不同立場，最後就是被
→ : AI強制送往核戰末日www
推 : AI會反擊人類的前提 首先AI意識到生死 然後產生求39F 06/02 13:19
→ : 生意志
→ : 生意志
推 : 中國的話，小學生現在連人都不信任了，怎麼會去信41F 06/02 13:35
→ : 個他都不了解運作原理的東西，然後安心的把大部分軍
→ : 權交給它？不過好萊塢大概可以拍中國因為把軍事指
→ : 揮權交給AI的電影，結果中國AI先暴走處理國內軍事
→ : 高層，因為AI認定戰時他們的態度有可能導致戰事沒
→ : 辦法延續太久，最後只好請美國協助，由美國的軍力以
→ : 及美國自身開發的戰術AI成功救出總書記跟平定暴走AI
→ : ，故事結局受總統頒獎後的主角才發現美國自家的AI
→ : 其實才是幕後遠端操控暴走AI的主事者，因為戰術AI認
→ : 定美國總統不敢沒事對敵國發動攻勢，於是自己就製造
→ : 契機
→ : 個他都不了解運作原理的東西，然後安心的把大部分軍
→ : 權交給它？不過好萊塢大概可以拍中國因為把軍事指
→ : 揮權交給AI的電影，結果中國AI先暴走處理國內軍事
→ : 高層，因為AI認定戰時他們的態度有可能導致戰事沒
→ : 辦法延續太久，最後只好請美國協助，由美國的軍力以
→ : 及美國自身開發的戰術AI成功救出總書記跟平定暴走AI
→ : ，故事結局受總統頒獎後的主角才發現美國自家的AI
→ : 其實才是幕後遠端操控暴走AI的主事者，因為戰術AI認
→ : 定美國總統不敢沒事對敵國發動攻勢，於是自己就製造
→ : 契機
推 : 推52F 06/02 13:36
→ : 意識到生死就不會有核戰，恐怖平衡就是這樣來的53F 06/02 13:36
→ : 只有不顧後果才會有核戰，而AI的發展過程，就是沒有
→ : 在管後果的，所以AI當然追求效益最大化，後果跟影響
→ : 又不是AI去收拾
→ : 會需要人類干預，講白了就是要人類負責，不然要找AI
→ : 負責嗎？AI要怎麼負責？
→ : 只有不顧後果才會有核戰，而AI的發展過程，就是沒有
→ : 在管後果的，所以AI當然追求效益最大化，後果跟影響
→ : 又不是AI去收拾
→ : 會需要人類干預，講白了就是要人類負責，不然要找AI
→ : 負責嗎？AI要怎麼負責？
推 : KPI就什麼都不懂的管理職不須學習用來控制下屬的工59F 06/02 13:55
→ : 具 太過於以管窺豹 這的確也是AI的問題
→ : 具 太過於以管窺豹 這的確也是AI的問題
→ : 人工篩選太難了，用 AI 篩顯就好。(誤61F 06/02 14:16
→ : 霍金也跟中國說過別搞天眼 照樣弄62F 06/02 14:30
→ : 天網當然也敢
→ : 天網當然也敢
推 : 現在不都是AI定的AI的KPI嗎？ 讓AI自己找規則64F 06/02 14:43
推 : 跟人體免疫系統訓練類似啊65F 06/02 16:00
→ : 1.不准殺自己人 2.可以辨識敵人
→ : 1.不准殺自己人 2.可以辨識敵人
推 : 說得很好啊67F 06/02 17:44
→ : 當他認定人類操作員是負分項目時，就會想辦法排除，68F 06/02 18:52
→ : 沒任何限制時會直接殺掉，有限制時會在限制的條件下
→ : 想辦法排除這個人，加再多限制可能也是在找尋合乎限
→ : 制的排除方式而已，除非排除的代價大到超過該人員本
→ : 身的負分
→ : 沒任何限制時會直接殺掉，有限制時會在限制的條件下
→ : 想辦法排除這個人，加再多限制可能也是在找尋合乎限
→ : 制的排除方式而已，除非排除的代價大到超過該人員本
→ : 身的負分
推 : 問題就在人類還有資格定KPI到什麼時候73F 06/02 20:21
推 : kuramoto..也許會像蘇聯的死亡之手系統...74F 06/03 00:09
→ : 訓練一個模仿小學生人格的AI當死後替身做決策..
※ 編輯: zanyking (99.110.49.165 美國), 06/03/2023 00:39:02→ : 訓練一個模仿小學生人格的AI當死後替身做決策..
--
※ 看板: Military 文章推薦值: 0 目前人氣: 0 累積人氣: 108
作者 zanyking 的最新發文:
- 好啦，剛剛那篇回人家新手的講完了，下面就來講點比較黑暗的 過去三十年以來，這是一個科技、市場、專業知識的發展速度以每五年為單位去看，會 有著十的次方倍進展的世界，我們會不斷地觀察到：不論軟體還是硬體 …104F 35推
- ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^這麼想的原因是什麼？ 不是說專注於Java技能培養來選工作會有什麼問題，而是你的動機與原因如果跟現實 有偏差，即使別人選Java走得很順、 …59F 45推
![]()
現在的AI都是用類神經網路、多代理人策略、搭配世代演化來生成的 而在模擬演化過程裡，我們怎麼設定並篩選『哪一隻AI應該活到下一個iteration』呢？ 如果是特定戰鬥平台的戰術用AI，可以想像評判 …75F 26推- 從以下舉的例子來看，那當然，clean code、design pattern還是什麼鬼的全都是垃圾， 通通都是沒有用的 這是第一次 這是第二次 而這叫發光發熱 怎麼讓你刮目相看？老實講，我對你沒有興 …161F 55推
- 我也做十多年了，認識我的應該從沒聽過我講敏捷 不是我討厭它，而是這種東西跟『愛』一樣，對它的追求應該要討論實質 細節與執行，而不是滿嘴唉來唉去。 我知道的敏捷建立在一個基本假設上： 『需求未知，我們需 …13F 10推
點此顯示更多發文記錄
回列表(←)
分享