ChatGPT回答編程問題錯誤率超50% 仍能騙過三分之一的提問者
來源：
微博
2023-08-08 17:59:08
(相關資料圖)
據報道，美國普渡大學的研究發現，OpenAI 開發的人工智能聊天機器人 ChatGPT 在回答軟件編程問題時，錯誤率超過一半，但仍能騙過三分之一的提問者。
該研究團隊分析了 ChatGPT 對 517 個 Stack Overflow 網站上的問題的回答，評估了其正確性、一致性、全面性和簡潔性。他們還對回答進行了語言和情感分析，并對 12 名志愿參與者進行了問卷調查。
最終的結論是，ChatGPT的回答雖然語言風格良好，但52%的回答是錯誤的，77%是冗長的。
同時，參與實驗的志愿者只有在回答中存在明顯錯誤時，才能發覺問題存在；其他情況下他們會被AI友好且細致的語言風格誤導。
這無疑意味著，對于開發者來說，現階段的生成式AI距離作為編程時的輔助工具還有著較為遙遠的距離，甚至可能會起到反作用。
不過，需要注意的是，OpenAI很早之前就在官網告知用戶，AI的回答“可能會產生關于人、地點或事實的不準確信息。”
關鍵詞：
