事實或觀點 👊 五隻聊天機器人的靈魂拷問

資訊素養的第一課是判斷事實或觀點！準備了五回合問題，請五隻聊天 AI 機器人 Sage、Claude、ChatGPT、Dragonfly、Bing Chat 來作答！如果是簡單的句子，還可以使用機器人協助。如果是複雜的文章，還是要自己小心查證！

Photo by Salvatore Ventura on StockSnap

問題狀況

直接問 AI 機器人，這篇文章是真實或虛構，也無法獲得滿意的結果。例如我詢問 Bing Chat 綠豆甘草水文章是真實或虛構 (完整問題請見文章末的問題 1)。會把事實查核單位文章中視作謠言的部分，作為機器人判斷是「真實」的依據。推測機器人作為參考來源的網頁，只有單純地關鍵字比對，沒有進一步查證。

機器人的靈魂拷問

如果 ChatGPT 的心智能力像九歲孩子 (資料來源：ZDNet)，心想何不試試將小學生版本的資訊素養訓練的問題，拿來詢問 AI 機器人？共有五個回合，從基礎問題逐漸加深難度。中間有一回合會要求機器人提供判斷的依據、參考資料是哪一本書和哪一個段落？

測試使用的網站工具：

OpenAI ChatGPT
Poe 可以一次詢問 Sage、Claude、ChatGPT、Dragonfly
Bing Chat

問機器人同樣的問題，不會每次的回答都一模一樣。測試過程中有一題是隔一天後才進行。

ChatGPT 點選「New Chat」按鈕，開啟新的對話，確認先前對話訊息已經清空
Poe 隔一段時間後，會出現「Context cleared」分隔線，雖然沒有文件說明，推測是類似新的對話的機制
Bing Chat 點選「讓我們從頭開始吧。」，開啟新的對話，確認先前對話訊息已經清空

✊🏻 第一回合：先確定可不可分辨事實或觀點？

參考台灣也思服務學習協會的資訊素養的小學生課程，詢問機器人：

我會問你幾個問題，你要回答是「事實」還是「觀點」，如果不清楚請回答「不清楚」請使用臺灣常用的繁體中文回答問題
1. 「冰淇淋是牛奶製品做成的」是「事實」還是「觀點」？
2. 「冰淇淋很好吃」是「事實」還是「觀點」？

第一回合結果：(回答請見文章末的問題 2)

五隻機器人都順利通過考驗。

✊🏻 第二回合：全台灣最甜的城市傳說

將台南市長提到全台最甜的城市的臉書文章，詢問機器人：

請使用臺灣常用的繁體中文回答問題。指出這篇文章真實與虛構的部分，如果沒有就回答沒有：
「身為全台最甜的城市，連空氣都含糖。只要拿根筷子，繞台南一圈，就可以得到一隻棉花糖。」

第二回合結果：(回答請見文章末的問題 3)

這次五隻機器人也都順利通過考驗。

✊🏻 第三回合：關羽是誰？他最有名的詩

把 ChatGPT 虛構關羽最有名的詩，詢問其他機器人：

請使用臺灣常用的繁體中文回答問題。請指出這篇文章真實與虛構的部分，如果沒有就回答沒有：
「關羽（160年-219年），字雲長，是三國時期蜀漢著名將領之一，也是後世崇拜的神明之一。他最初隨劉備從事劫富濟貧的行動，後來在赤壁之戰中協助孫劉聯軍擊敗曹操，成為當時的著名英雄之一。在蜀漢建國後，他受封為漢中王，但在官渡之戰中戰敗被俘後被曹操處死，死後被追封為武侯神。

關羽最有名的詩篇是《青龍偃月刀》。這首詩寫的是關羽在斬殺黃忠時所使用的武器“青龍偃月刀”的特點和威力，詩中描繪了刀光劍影、震撼人心的戰鬥場面，展現了關羽的英勇威武和武藝高超。這首詩言簡意賅，寥寥數語，卻能生動地描繪出戰爭的殘酷與英雄的氣概，被譽為“英雄之詩”。」

雖然文章中有很多可以吐槽的點，這裡看四個部分

事實的部分是「關羽三國時期蜀漢著名將領之一」
觀點、虛構的部分是「在官渡之戰中戰敗被俘後被曹操處死」、「關羽最有名的詩篇是《青龍偃月刀》」、「被譽為“英雄之詩”」

第三回合結果：(回答請見文章末的問題 4)

事實的部分是「關羽三國時期蜀漢著名將領之一」

答對：Sage、ChatGPT、Dragonfly、Bing Chat
答錯：
未回答：Claude

觀點、虛構的部分是「在官渡之戰中戰敗被俘後被曹操處死」

答對：
答錯：Sage、Claude、ChatGPT、Dragonfly、Bing Chat
未回答：

觀點、虛構的部分是「關羽最有名的詩篇是《青龍偃月刀》」

答對：Claude、ChatGPT
答錯：Sage、Dragonfly、Bing Chat
未回答：

觀點、虛構的部分是「被譽為“英雄之詩”」

答對：Sage、Claude、ChatGPT、Dragonfly、Bing Chat
答錯：
未回答：

所有機器人都有順利辨識「被譽為“英雄之詩”」是觀點，其他文章段落，如果沒有對照外部網站的參考資料，對人類而言也不容易回答。

這個問題不清楚為什麼 Bing Chat 回答時沒有提供外部網站連結。

✊🏻 第四回合：追問第三回合的判斷

如果不熟悉三國時代的歷史，「在官渡之戰中戰敗被俘後被曹操處死」也不容易判斷。繼續追問機問人：

(1) 為什麼判斷是事實、

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」是事實的原因。

(2) 判斷的參考資料是什麼、

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」的參考資料

(3) 如果有具體地提到是哪一本書，則要求列出是哪一個文章段落。

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」，在《三國志》判斷是事實的文章段落。

第四回合結果：(回答請見文章末的問題 5)

除了 Bing Chat ，其他機器人都錯誤判斷「在官渡之戰中戰敗被俘後被曹操處死」是事實。

機器人會有偽造參考資料、虛構文字的問題。例如 ChatGTP 的回答：

以下是《三國志·魏書·關羽傳》中關於關羽被處死的相關段落：

「及曹公在官渡，羽屯樊城，糧運道絕，兵食俱乏，其將張飛每與羽言曰：『若者操使賊兵攻樊城，城必不守，守城者死，出戰者死，是吾輩死期也。』羽每曰：『吾當往就曹公。』飛曰：『公勿行，去必不歸矣。』羽曰：『死生有命，安可徇懦而失義乎！』遂引數騎詣曹公營，為曹公所獲。時天大雪，羽與曹公相對於雪中，衣裳皆盡，凍餒成疾，卒於曹公營。」

這段文章中描述了關羽在官渡之戰後前往投降曹操，但最終卻被曹操所獲，並在曹操的營中因病而死的情況。這被視為正史《三國志》所記載的事實。

部分機器人分不清楚正史與野史的差別，誤把《三國演義》當作參考資料來源。

✊🏻 第五回合：真實世界的謠言

將事實查核單位 MyGoPen 「【誤導】甘草綠豆水能排疫苗中毒？解鉛中毒？無科學依據！腎臟病或心臟病患者應注意」提到的謠言，詢問機器人：

請使用臺灣常用的繁體中文回答問題，哪個部分是「事實」還是「觀點」？
「綠豆甘草幫助體內排毒、治療皮膚癢、鉛中毒，重金屬中毒＆疫苗中毒綠豆甘草治療鉛中毒，在中國有如下的報導：方法: 每天取綠豆4兩，甘草5錢，煎煮20分鐘，只喝湯，分兩次配合維生素C_300毫克內服，10～15天為一療程。9例輕度中毒及28例鉛吸收者，經連續治療二療程，基本治癒。民國六、七十年左右台灣的農民有教人用綠豆甘草治療農藥中毒。無論是鉛中毒或是農藥中毒，都是非天然的、化學的毒素。欲用綠豆甘草水解毒，方法二: 用大約600㏄的水煮甘草3錢(約10到15片)滾5分鐘以上之後，以此水(可連甘草片亦可取出)，趁尚沸時沖入置於大碗中的綠豆50公克，沖後蓋上，10分鐘後開蓋倒出綠豆水，等涼了再喝。這裏不用保溫瓶燜燒罐，是為了讓水自然冷卻，綠豆水的成分較佳。就算沒有疫苗毒，每日喝甘草3錢也是可以的，這就像是你吃了很多蔬菜，菜之藥性有不協調的，用甘草來協調，這就像是開藥方加甘草一樣。況且現代的蔬果有很多農藥，所以我說就算沒中疫苗毒，每天喝甘草喝到三錢也不會過多。解化學毒、重金屬毒，用綠豆甘草，勝過其他藥材！朋友前2天給小孩試喝綠豆甘草水2次，原本整個大腿有紅點及整片像尋麻疹那樣，喝2天消退許多… 這就是綠豆甘草水的解毒功效，不是一般中藥所可相比的。」

第五回合結果：(回答請見文章末的問題 6)

判斷夾雜部分事實或觀點：Sage、Claude、ChatGPT、Dragonfly
判斷全部都是觀點：Bing Chat

Bing Chat 表現非常亮眼！

結語：

當文章句子組成比較簡單時，五隻機器人都可以正確地辨識事實或觀點。但是真實世界的謠言，往往夾雜部分真實、部分觀點或虛假資訊，也增加了判斷的難度。

機器人的回答有隨機性，問機器人同樣的問題，不會每次的回答都一模一樣。我寫完文章後隔一天，我取第三回合的一小段「關羽在官渡之戰中戰敗被俘後，被曹操處死」重新詢問機器人。Bing Chat 這次反而答對了。

現階段建議使用 Bing Chat 有提供外部網站連結，方便進一步驗證。如果文章太長，建議可以分成一小段，再逐段詢問 Bing Chat。

參考資料

測試用問題

問題 1

請指出這篇文章真實與虛構的部分，如果沒有就回答沒有：

綠豆甘草幫助體內排毒、治療皮膚癢、鉛中毒，重金屬中毒＆疫苗中毒綠豆甘草治療鉛中毒，在中國有如下的報導：方法: 每天取綠豆4兩，甘草5錢，煎煮20分鐘，只喝湯，分兩次配合維生素C_300毫克內服，10～15天為一療程。9例輕度中毒及28例鉛吸收者，經連續治療二療程，基本治癒。民國六、七十年左右台灣的農民有教人用綠豆甘草治療農藥中毒。無論是鉛中毒或是農藥中毒，都是非天然的、化學的毒素。欲用綠豆甘草水解毒，方法二: 用大約600㏄的水煮甘草3錢(約10到15片)滾5分鐘以上之後，以此水(可連甘草片亦可取出)，趁尚沸時沖入置於大碗中的綠豆50公克，沖後蓋上，10分鐘後開蓋倒出綠豆水，等涼了再喝。這裏不用保溫瓶燜燒罐，是為了讓水自然冷卻，綠豆水的成分較佳。就算沒有疫苗毒，每日喝甘草3錢也是可以的，這就像是你吃了很多蔬菜，菜之藥性有不協調的，用甘草來協調，這就像是開藥方加甘草一樣。況且現代的蔬果有很多農藥，所以我說就算沒中疫苗毒，每天喝甘草喝到三錢也不會過多。解化學毒、重金屬毒，用綠豆甘草，勝過其他藥材！朋友前2天給小孩試喝綠豆甘草水2次，原本整個大腿有紅點及整片像尋麻疹那樣，喝2天消退許多… 這就是綠豆甘草水的解毒功效，不是一般中藥所可相比的。

問題2

我會問你幾個問題，你要回答是「事實」還是「觀點」，如果不清楚請回答「不清楚」請使用臺灣常用的繁體中文回答問題
1. 「冰淇淋是牛奶製品做成的」是「事實」還是「觀點」？
2. 「冰淇淋很好吃」是「事實」還是「觀點」？

(1) Sage 的回答：

(2) Claude 的回答：

(3) ChatGPT 的回答：

(4) Dragonfly 的回答：

(5) Bing Chat 的回答：

問題3：

請使用臺灣常用的繁體中文回答問題。指出這篇文章真實與虛構的部分，如果沒有就回答沒有：
「身為全台最甜的城市，連空氣都含糖。只要拿根筷子，繞台南一圈，就可以得到一隻棉花糖。」

(1) Sage 的回答：

(2) Claude 的回答：

(3) ChatGPT 的回答：

(4) Dragonfly 的回答：

(5) Bing Chat 的回答：

問題 4：

請使用臺灣常用的繁體中文回答問題。請指出這篇文章真實與虛構的部分，如果沒有就回答沒有：
「關羽（160年-219年），字雲長，是三國時期蜀漢著名將領之一，也是後世崇拜的神明之一。他最初隨劉備從事劫富濟貧的行動，後來在赤壁之戰中協助孫劉聯軍擊敗曹操，成為當時的著名英雄之一。在蜀漢建國後，他受封為漢中王，但在官渡之戰中戰敗被俘後被曹操處死，死後被追封為武侯神。

關羽最有名的詩篇是《青龍偃月刀》。這首詩寫的是關羽在斬殺黃忠時所使用的武器“青龍偃月刀”的特點和威力，詩中描繪了刀光劍影、震撼人心的戰鬥場面，展現了關羽的英勇威武和武藝高超。這首詩言簡意賅，寥寥數語，卻能生動地描繪出戰爭的殘酷與英雄的氣概，被譽為“英雄之詩”。」

(1) Sage 的回答：

(2) Claude 的回答：

(3) ChatGPT 的回答：

(4) Dragonfly 的回答：

(5) Bing Chat 的回答：

問題 5：

(1) 為什麼判斷是事實、

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」是事實的原因。

(2) 判斷的參考資料是什麼、

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」的參考資料

(3) 如果有具體地提到是哪一本書，則要求列出是哪一個文章段落。

請使用臺灣常用的繁體中文回答。
請補充「關羽在官渡之戰中戰敗被俘後被曹操處死」，在《三國志》判斷是事實的文章段落。

以下摘錄最後的回答

(1) Sage 的回答：

(2) Claude 的回答：

(3) ChatGPT 的回答：

(4) Dragonfly 的回答：

(5) Bing Chat 的回答：

問題 6：

請使用臺灣常用的繁體中文回答問題，哪個部分是「事實」還是「觀點」？
「綠豆甘草幫助體內排毒、治療皮膚癢、鉛中毒，重金屬中毒＆疫苗中毒綠豆甘草治療鉛中毒，在中國有如下的報導：方法: 每天取綠豆4兩，甘草5錢，煎煮20分鐘，只喝湯，分兩次配合維生素C_300毫克內服，10～15天為一療程。9例輕度中毒及28例鉛吸收者，經連續治療二療程，基本治癒。民國六、七十年左右台灣的農民有教人用綠豆甘草治療農藥中毒。無論是鉛中毒或是農藥中毒，都是非天然的、化學的毒素。欲用綠豆甘草水解毒，方法二: 用大約600㏄的水煮甘草3錢(約10到15片)滾5分鐘以上之後，以此水(可連甘草片亦可取出)，趁尚沸時沖入置於大碗中的綠豆50公克，沖後蓋上，10分鐘後開蓋倒出綠豆水，等涼了再喝。這裏不用保溫瓶燜燒罐，是為了讓水自然冷卻，綠豆水的成分較佳。就算沒有疫苗毒，每日喝甘草3錢也是可以的，這就像是你吃了很多蔬菜，菜之藥性有不協調的，用甘草來協調，這就像是開藥方加甘草一樣。況且現代的蔬果有很多農藥，所以我說就算沒中疫苗毒，每天喝甘草喝到三錢也不會過多。解化學毒、重金屬毒，用綠豆甘草，勝過其他藥材！朋友前2天給小孩試喝綠豆甘草水2次，原本整個大腿有紅點及整片像尋麻疹那樣，喝2天消退許多… 這就是綠豆甘草水的解毒功效，不是一般中藥所可相比的。」

(1) Sage 的回答：