書白讀了!機器人挑戰北京高考數學卷,考了105分
6月7日,成都高新造人工智能系統“準星數學高考機器人”AI-MATHS對2017高考數學科目發起了挑戰,在22分鐘的時間里,得分105分。整個過程是嚴格按照斷網、斷庫、自然語言理解、綜合復雜推理等嚴格流程進行的公開透明測試。
據介紹,AI-MATHS是成都高新區一家本土人工智能企業—一成都準星云學科技有限公司,依托清華大學大數據、人工智能、自然語言識別等前沿技術,研發的一款以自動解題技術為核心的人工智能系統。
圖為機器人所做的答卷。
在成都高新區天府新谷10棟9層的一個封閉空間里,一位特殊“考生”準備挑戰今年全國高考的數學。它就是成都高新區一家企業研制的高考機器人,名叫“AI-MATHS”。
圖為封閉在房間里的準星數學高考機器人。
“AI-MATHS”考試的房間門外貼有“所有設備斷網斷庫”的標識。所謂斷網斷庫意味著,模仿考生封閉環境的閉卷考試;測試復雜邏輯推理能力與聯想能力;斷絕一切可能的外界支持,包括專家系統庫。這也是人工智能技術的核心——斷網斷庫場景下的綜合邏輯推理能力。
圖為挑戰現場。
從下午18時28分到19時29分,“AI-MATHS”分別挑戰了北京卷文科數學以及全國二卷文科數學的考試,分別用時22分鐘和10分鐘,得分為105分和100分。盡管和之前預期的110分目標還有差距,但是作為“家長”——成都準星云學科技有限公司CEO、清華大學蘇州研究院大數據中心主任林輝介紹,“前幾個月的書,這孩子沒白讀。”
兩次考試具體得分如下:北京文科數學卷,選擇題滿分、填空題20分、解答題45分,全卷105分;全國卷二選擇題55分、填空題20分,解答題25,全卷100分。在選擇題和填空題上,“AI-MATHS”表現十分亮眼。丟分環節主要是解答題,有些題目甚至是0分。
圖為錄題區。
研發高考機器人最大的難點在于,要讓系統準確理解人類語言。“AI-MATHS”之父林輝稱:“直接用數學語言表述的應用題它可以輕松解答,但它最大的弱項是不能理解考題里場景式的描述語言,它會讀不懂題目。”
圖為機器人答題現場。
林輝打了個比方,如果題目是10-1=?人工智能系統可以輕松作答。但如果題目用了場景描寫將其表述為“小明有10個蘋果,小麗吃了一個,請問還有幾個蘋果?”面對這樣的情況,人工智能系統就“傻”了,“它不理解小明是什么、小麗是什么、吃又是什么意思。”
圖為機器人答題現場。
評閱試卷的老師分析,在評卷過程中,“AI-MATHS”所犯錯誤的題目都有一個共同點:語言文字太多。這表示,高考機器人在自然語言上的理解稍稍欠缺。相反,在理解數學語言上相對容易。
圖為老師判卷現場。
教師祁祖海認為,一般學生的成績大約在110分左右,而這次“AI-MATHS”取得的分數,大概處于本班學生的中等水平。但是他坦言,高考機器人的進步空間會很大。
圖為機器人答題現場。