當智能機器可以像人類一樣自主決策，我們就需要考慮以下問題：它們能夠作出哪些類型的決策？它們是基于什么作出這些決策的？誰來設定它們的決策參數？如何實現人工智能作出符合社會倫理道德的決策？

　　人工智能機器與自動化機器設備相比，有兩個顯著不同：第一，它們被賦予了更多的決策權，不再是有限決策或完全被預先設定路線或程式的功能機器；第二，它們被要求在更加復雜、充滿不確定性的環境中運行，不僅要和其他各種類型的機器互動，更要和人類或動物產生互動。這是一種從量變到質變的飛躍。在醫療、交通、新聞、軍事等領域，人工智能已經被廣泛應用，由此所產生的倫理問題也會逐漸增多。當下，涉及道德決策問題的討論，最典型的當屬自動駕駛汽車。它們被要求具備作出“正確”道德決策的能力，而且是在沒有人為干預和指導的情況下。

　　關于自動駕駛汽車道德決策的討論集中在與“電車困境”類似的極端場景。這一困境背后隱藏著亟待解答的問題是，究竟該由誰（制造者、使用者、集體和其他智能機器）來決定智能機器的道德決策的參數設定？通過類似的案例研究人工智能道德決策具有啟發性，也具有一定的誤導性。根據美國交通部門2013年的一項統計，每1億英里只有77次受傷和1.09次意外死亡事故，而且每一起事故的發生情境都具有明顯的差異性。上述案例中，殺死或傷害誰的道德困境的確可能發生，但出現的概率很小。這類研究之所以備受關注，很大程度上是因為它關乎人們的生死抉擇。但是，自動駕駛汽車不可能做到百分之百正確的決策，當前工作的重點是確保它們被設計成在車禍情形中風險最小。

　　安全問題應當被最優先考慮，但它不是問題的全部。要拓寬道德算法的范圍，涵蓋其他一些次要的因素。我們可以將自動駕駛過程將會面臨的各種決策情形劃分為不同的等級，用一個金字塔來表示：“電車難題”情形下的決策處于最頂端，數量相對少見；道路使用者是否遵守交通規則的抉擇處于中部，占據主體部分；各種并不違反交通規則但可能影響其他道路使用者的決策情況占據金字塔的最低端。對于這些道德決策情形的研究，可以接受思想實驗方法的啟發性指導，但更多地應該通過實證研究進行。

　　目前，對于人工智能道德決策的研究有“自上而下”和“自下而上”兩種研究進路。自上而下的研究是將倫理原則或某種道德理論進行編碼，植入智能機器的制導系統當中，自動駕駛汽車基于被嵌入的道德哲學程序做出道德選擇。不過，正如批評者們所指出的：一方面，適用于某些人的道德標準可能并不適用于其他人；另一方面，如何在互相競爭的道德系統之間進行選擇存在困難，這些爭論在傳統的倫理學討論中尚且沒有定論。

　　自下而上的進路主張，是指智能機器不需要被嵌入任何道德規則或道德哲學，它只需要“觀察”并分析大量的實際情境中人類的行為數據，就能學會如何做道德決策。這種依托大數據和機器學習的進路已經在自動駕駛汽車的非倫理方面被廣泛采用。例如，自動駕駛汽車能夠通過對幾十個小時的手動駕駛數據進行分析實現自動駕駛。不過，批評者也指出，智能機器在學會道德行為的同時也會學會一些不道德行為。在面臨突發情況時，司機因緊張做出的條件反射式動作可能成為機器學習的對抗樣本，而不是審慎的和值得提倡的道德決策。這樣，智能汽車學會的只是常見的處理方式，而不是什么是道德的。

　　兩種研究進路都面臨種種困難，這主要源于人類所使用的道德哲學的內在結構，而不來自技術本身。當我們考慮把某種道德規范或價值標準植入智能機器時，共同體的道德一致性和智能機器使用者的個人偏好，究竟應該優先考慮哪一個？2016年，《科學》雜志刊發的一項研究揭示，大多數人都支持智能機器保護更多的人。但是，當涉及自身或家人的生命安危時，人們可能轉向相反的道德標準。

　　至此，我們應該認識到對人工智能的道德決策實施監管是必要的。這種監管要通過兩種途徑同時著手：一是外部制約。隨著機器學習的不斷增強，人工智能的道德決策可能會偏離初始設置，因此監管機構要定期審查其道德算法是否還能通過道德水平測試；二是內部監控。從算法上設置一種二階程序實時地監控人工智能系統的運行，即用人工智能監管人工智能。