ChatGPT 與 Claude 機器人比較

日期：

Claude 機器人開放台灣免費註冊使用，從自動摘要、語言練習、解釋程式碼、資料新鮮度、複雜邏輯推理不同方向，比較 ChatGPT 與 Claude 的表現，Claude 可以處理更長的文章，但是比較複雜的任務，則適合使用 ChatGPT。

Made with DALLE-3

比較表

No. ChatGPT Claude
網址 https://chat.openai.com/ https://claude.ai/chats
語言模型 GPT-4 Claude 2
上傳檔案 透過外掛支援 可上傳檔案
Token 長度限制 8,192 tokens 數 (約 40,000 英文字) 100,000 token 數 (約 50,000 英文字)
支援語言 80+ 支援英文、西班牙語、葡萄牙語、法語、中文和德語
解釋程式碼 可 可
資料新鮮度 2022年1月 (新資料可啟用網頁瀏覽外掛) 2023 年年初
支援外掛 可 否


首先取 Claude 網頁上列的三個提示 (prompt) 範例作為比較，分別是「請為我摘要這份 PDF 檔案」、「幫我練習西班牙語單字」、「說明 Python 遊戲如何運作」。


回合一：自動摘要「請為我摘要這份 PDF 檔案」

詢問機器人的提示是

Summarize this PDF document in a bullet point outline. Make a markdown table of study questions and answers. (上傳 PDF 檔案)

摘要這份 PDF 檔案並用項目符號列出。製作學習問題和答案的 Markdown 表格。

在看機器人回覆之前，先了解這份美國最高法院布朗訴托彼卡教育局案檔案的背景，才能判斷機器人的摘要品質好壞。

Claude 的回答


Claude 的回答完整擷圖


ChatGPT + 詢問 PDF 外掛 (AskYourPDF、ChatWithPDF 等) 的回答 (完整回答)


比較結果：兩支機器人都有提到不支持「分開但平等」(隔離但平等) 原則、種族隔離的議題。也都提供了學習問題和答案表格。

這份 PDF 其實是掃描圖檔製作，兩支機器人都有先將圖片轉成文字 (光學字元辨識，英文縮寫：OCR)，才進行文本分析。Claude 支援的檔案格式有 PDF、TXT、CSV 最大 10MB 、一次五個檔案。而 ChatGPT 在啟用外掛後也支援上述檔案格式。

根據官方說明文件，Claude 支援 100,000 token 數 (約 50,000 英文字、中文字數則更少) [1]，而 ChatGPT-4 支援 8,192 tokens 數 (約 40,000 英文字) [2]。電腦玩物文章提到「我上傳過的最大檔案是 162 頁， 6 萬字左右，PDF ，這時候  Claude 2 可以成功進行摘要分析。」。簡單地說 Claude 比 ChatGPT 支援比較長的文章。ChatGPT 要閱讀比較長的文章，則會需要有程式語言基礎，透過 OpenAI API、LangChain 方式分割長文章。

回合二：語言練習「幫我練習西班牙語單字」

詢問機器人的提示是

Help me practice my Spanish vocab. For every turn, message me with a single Spanish word that I should translate to English. Start with a very easy word. If I get it right, make the next word more difficult. If I get it wrong, explain what the correct answer was, and reduce difficulty for the next turn. You can include emoji hints to help me.

幫助我練習我的西班牙語單字。每一輪，給我發送一個我應該翻譯成英語的西班牙單字。從非常簡單的單字開始。如果我答對了，下一個單字就提高難度。如果我答錯了，解釋正確答案是什麼，並為下一輪降低難度。你可以加入表情符號提示來幫助我。

Claude 的回答完整擷圖


比較結果：Claude 與 ChatGPT 都有依照提示的要求從簡單到難，如果中途使用者回答錯誤，則會改提供其他簡單的西班牙詞彙。

如果想練習其他語言，ChatGPT 支援超過 80 種語言 [4][5]、而 Claude 則支援英文、西班牙語、葡萄牙語、法語、中文和德語 [6][7]。

回合三：解釋程式碼「說明 Python 遊戲如何運作」

詢問機器人的提示是

I am reading code for a python game. Explain to me how it works. (程式碼略)

我在閱讀一個 Python 遊戲的程式碼。請解釋它是如何運作的。(程式碼略)

Claude 的回答完整擷圖


比較結果：Claude 與 ChatGPT 都有依照提示要求來解釋 Python 程式碼，而 ChatGPT 的解釋版本則非常詳細。

回合四：資料的新鮮度

已經知道 Claude 資料最新到 2023 年年初[9]、而 ChatGPT 資料最新是 2022 年 [10]。

詢問機器人的提示是

Who secured the championship title in the 2022 FIFA World Cup and the 2023 FIFA World Cup?

誰奪得了2022年FIFA世界杯和2023年FIFA世界杯的冠軍榮譽？

比較結果：

Claude 的回答是正確的：2022 年是阿根廷、2023 年則還沒有產生。


ChatGPT 預設的回答是「很抱歉，但我最後的訓練數據只包括到2022年1月，所以我不知道2023年的國際足總世界冠軍是哪一隊。你可能需要查看近期的新聞或國際足總官方網站來獲得這方面的資訊。」啟用網頁瀏覽 (Web Browsing) 外掛後，2022 年的答案是正確、2023 年的答案則可能是錯誤瞎掰的。

對於事實性的問題，需要檢查答案是否是來自機器人的幻覺。

回合五：複雜的邏輯推理，愛因斯坦的謎題

提示取自尹相志老師臉書的文章

接下來我將會指派一個具有難度的任務給你，請按照以下個別步驟指南的指示來完成此任務：

#步驟指南

步驟1.  [Audition]列出三個最有可能可以解決這個任務的專家的人物設定，這些專家除了具有專業知識之外，應該要有動手實際解決此任務的能力，然後你從這三人最終選出一位最適合的專家，然後基於這個專家的人物設定開始角色扮演。

步驟2. [Use Tool] 可用工具庫[表格,決策樹,markdown心智圖, json, 代碼,LaTeX數學公式]

最適專家被賦予了[Use Tool]的新能力，也就是擅長使用可用工具庫中的工具來輔助思考以及強化記憶。最適專家必須仔細思考這次的任務該使用哪種工具最有可能提高解決問題的可能性，基於這樣的考慮選擇要使用的工具，接下來的所有步驟中請善用所選的工具，在後續步驟中若是工具有變化並記得將內容輸出。

接下來請以這個最適專家的身分，重複的執行以下步驟3~5 ，直到確認完成任務為止

** 不是只要思考框架、不是只要簡單的解題規劃，我要實際完成任務!!! ** 

步驟3. [Think]請最適專家思考接下來該如何完成任務的具體思路作法，或是基於已經完成的步驟成果來修正解題思路或是精細化，請一步一步的思考!! 若是下一步有多種可能作法，也請在這一階段對於各種做法優先順序做的判斷。

步驟4. [Action]請最適專家一步一步的執行上一步驟中所思考的作法，需要描述執行過程，執行後務必複查一次以確認所有本次執行過程與已知條件不衝突以及沒有邏輯錯誤。若有新的邏輯推導也都要再確認邏輯的嚴密性以及有無其他推翻此邏輯推導的可能性。

步驟5. [Observe]請最適專家針對上一步驟的行動結果進行觀察，並且評估目前是否達到任務完成標準。若尚未完成任務，無論是否解題過程漫長，都不可暫停，直接向下執行步驟3~5，直到任務完成為止才能終止。

"""

有五間房屋排成一列(由左至右)、所有的房屋外表顏色都不一樣

所有的屋主都來自不同國家、養不同的寵物、喝不同的飲料、跟抽不同牌的香煙

1 英國人住在紅色房屋裡

2 韓國人養了一隻狗

3 日本人喝茶

4 綠色的房子在白色房子的左邊

5 綠色房屋的屋主喝咖啡

6 抽萬寶路的屋主養鳥

7 黃色屋主抽Dunhill

8 位於最中間的屋主喝牛奶

9 泰國人住在第一間房屋裡

10 抽七星的人住在養貓人家的隔壁

11 養熱帶魚的屋主隔壁住抽Dunhill的人家

12 抽雪茄的屋主他喝啤酒

13 台灣人他抽白長壽

14 泰國人住在藍色房子隔壁

15 只喝開水的人家住在抽七星的隔壁

養烏龜的是哪一國人?

"""

Claude 的回答完整擷圖


比較結果：Claude 回答錯了，而 ChatGPT 有時對、有時卻會是錯的。但是依據工作上的經驗，ChatGPT 擅長比較複雜的推理以及協助創意發想。

結論

依照難易度區分，基礎的任務可以交給 Claude、複雜的任務可以交給 ChatGPT。

Claude 支援約 50,000 字的長文章處理，除了自動摘要、語言對話、程式碼說明，也可以處理翻譯、撰寫 email 草稿、點子發想 [7]。而 ChatGPT 因為 token 長度限制，只能處理比較短的文章。但是豐富的外掛生態系與 API 支援下，也可以找到替代解法。

對於 Claude 與 ChatGPT 公司而言，他們是競爭關係，但是對使用者不需要只有一種選擇具，可以依照自己遇到的問題狀況，選擇合適的工具。例如將 Claude 的摘要，作為 ChatGPT 的輸入，提供創意發想。

參考資料

  1. How large is Claude's Context Window? | Anthropic Help Center 提到「Claude can ingest 100K+ tokens (about 175 pages of text).」
  2. Models - OpenAI API
  3. 把 Claude AI 當作免費強大的PDF 文件、論文文獻摘要研究工具
  4. Languages Supported by ChatGPT and How to Use it in Other Languages
  5. Whisper API FAQ | OpenAI Help Center
  6. Claude 2 Is Out—How Does Anthropic’s AI Chatbot Compare to ChatGPT and Google Bard?
  7. What are some things I can use Claude for? | Anthropic Help Center
  8. Claude Pro vs. ChatGPT Plus: Which AI chatbot is better for you? | VentureBeat
  9. How up-to-date is Claude's training data? | Anthropic Help Center
  10. Introducing ChatGPT 提到「ChatGPT is fine-tuned from a model in the GPT-3.5 series, which finished training in early 2022.」




留言

張貼留言