科技的進步真的讓我驚訝不已,實在很難說時空旅行不可能。

我一直認為作文非要人工改不可,但看完文章後讓我驚訝不已,尤其是它說,「e-rater 與人工閱卷看法一致的比率高達 87—94% 」時,我更是覺得不可思議,其實大家不要認為那 13%-6% 的誤差表示電腦還有改進空間,峰子的看法是,說不定那 13%-6% 的誤差是人為的問題。

此外,我個人覺得電腦閱作文的方式只測出了「機器人的作文」,而非那些真正有深度的作文,這也多少令人有些遺憾;總之,科技的進步,你會獲得一些,但也會失去一些(ETS 獲得了經濟效率,但人們卻失去了思考),我們無法判斷何者較為珍貴,但最後卻總是發現科技只是來自方便,而非人性。



摸清電腦心 留學英作拿高分                         (93. 08. 02/中國時報 /鍾玉玨/﹞ 


外國學生申請美國研究所須通過美國教育測驗中心(ETS)設計的一系列 留學考,包括托福(TOEFL)、GMAT、GRE等。為了應付日多的應試人口,同時也為了節省成本,電腦在留學考的 作文閱卷部分扮演日益吃重的角色。

一九九九年,ETS開始請電腦代勞批改GMAT作文,至今電腦閱卷份數已逾兩百萬。ETS正在考慮是否將電腦 閱卷範圍擴大至GRE與托福的作文部分。由於SAT與ACT也將在二○○五年加考作文,預期兩項考試的作文部分 也可能由電腦代勞。

普林斯頓留學考試中心的副總裁魯伯斯坦說:「電腦批改作文已成定局。也有一些考生寫作一流,不過思路複雜, 不易摸透,電腦閱卷下的成績慘不忍睹,這點頗讓人覺得遺憾。」因此普林斯頓留考中心建議GMAT考生捨花稍而就 傳統的寫作方式,以免吃力不討好,被電腦打了低分。

ETS主管史瓦茲說,批改作文的電腦程式(e -rater)主要根據文法、句子結構、字彙程度給分。此外,若發現 考生寫出來的文章思路清楚,條理分明,具備一流文章該有的要素,電腦也會酌情加分。

GMAT雖然請電腦代勞批改作文,不過並未放棄人工閱卷,以免考生只顧著著墨句子結構,卻滿紙的荒唐言, 騙過電腦,高分過關。

不少人質疑包括e-rater在內的多種作文批改程式,認為不管再怎麼先進,都不可能和人工閱卷相提並論。面對外界 質疑,程式設計師笑稱,這些人的思考過於古板,完全不了解作文批改程式的精確度與可信度。

史瓦茲說,GMAT考生的作文成績分為電腦閱卷與人工閱卷兩部分,若兩者相差一分以上(滿分為六分),會再請他人 批改一次,以求慎重。

瓦茲說,第一代的e-rater程式習慣給予篇幅較長以及句子較長的文章高分,不過這些瑕疵已不復見。GMAT的官方 網站宣稱,e-rater經過不斷改良後,「e-rater與人工閱卷看法一致的比率高達八七—九四%」。

瓦茲強調,電腦主要看文章的結構與流暢性,而非根據創意給分,這點和大學教授有別,後者較看重學生如何鋪陳思路。相形之下,電腦程式較適合批閱基礎寫作。

有些考生批評e-rater給分過低,有些考生認為e-rater有利自己。剛考完GMAT的克萊恩施密特作文拿了滿分,甚為高興。 她說,GMAT作文立意在於「判斷考生的溝通能力而非內容好壞」。另外一名考生威爾森說,電腦給分一視同仁,評分 結果更為精準。反之,不同的人,給分標準也會不同,有欠公允。

電腦批改作文除了用於留學考試,一些網路大學與企業也陸續開辦電腦閱卷,改善學生與員工的寫作。

SAT與ACT明年開始加考作文,一開始尚無電腦批改作文的計畫,不過許多專家預期,這只是遲早的事。
 



GMAT作文電腦閱卷 考生抱怨                  ( 93-08-02/ 自由時報╱陳泓達) 


現年二十九歲的薩瓦爾去年夏天參加美國商學研究所入學申請條件之一的GMAT測驗, 在分析寫作(Analytical Writing Assessment; AWA)部分獲得五分(總分為六分)。雖然他的成績足以進入喬治華盛頓 大學商學院,但當他獲悉作文評分人之一是電腦時,心裡著實不太舒服。他表示,若由具備三十年教學經驗的英語教師評分會更好,因為「他們具備了解我在說些什麼的專業背景和洞察力」。

華盛頓郵報一日報導,在GMAT於一九九九年引進一套名為「e-rater」的電腦評分系統後,迄今經手給分的AWA 作文已達兩百多萬篇。但許多考生抱怨,電腦評分無法完整呈現考生程度,因為系統僅能測知文章結構是否嚴謹,無法 洞見考生的寫作思維。但少有人知道,在蓬勃發展的美國考試產業中,這套位於德拉瓦州紐瓦克一棟建物中的系統正悄 悄地攻城掠地。

在GRE和托福(TOEFL)測驗也考慮採用這種電腦閱卷技術的同時,測驗專家推斷,美國大學入學測驗SAT和ACT 也將在明年加考作文,這兩種測驗勢必也將引進電腦評分系統,因為電腦閱卷的成本較低,速度也比人工閱卷快。在引 進電腦閱卷前,GMAT寫作部分均採人工閱卷,現在則是電腦和人工閱卷並舉。

「普林斯頓留學考試輔導機構」(Princeton Review)技術副總裁魯賓斯坦表示,電腦閱卷是必然趨勢,「但也 令人遺憾」。他知道某些考生才華洋溢,卻因為文筆精妙深奧而難以被電腦「賞識」。 




新聞解讀:關於英文作文人工及電腦閱卷利弊與ETS的對策及最新版作文練習軟體Criterion version 3.0簡介                                                            撰文 / ETS台灣區代表處


作文是學習的最高階段,學生所學的零碎知識,透過作文才能組織成系統智識並產生內化作用 (Internalization),成為 自身智識能力的一部份。考作文是中國最古老的人才評量方法,也是全球教育的最新趨勢。一度因電腦化閱卷,許多考試 只考選擇題,因而造成學生作文能力低落。自1997年開始,托福電腦化測驗加考作文後,各項考試,如GMAT、GRE也開始加 考作文,SAT也即將在2005年實施考英文作文。

考作文,評分是最困難的部分。傳統老師改作文有很多缺點,不同的老師,會有不同的主觀而造成分數前後不一致。即使 是同一個老師,因為體力或心情的影響,也會使評分前後不一致,相當地不公平。電腦改作文則無此缺點,不會疲倦,沒 有情緒,但也有缺點,電腦係採用文章比對方式評分,有一定的規則,有的同學一但摸索出電腦規則,會以背作文方式騙 電腦。

目前ETS的GMAT是採電腦及人工雙重制度,絕非純用電腦改作文。ETS主管史瓦茲也指出電腦評分與人工評分分數差距超過 一分時,要由特定第二人評分,所以GMAT作文評分係採複合制評分,因此具有電腦及人工閱卷的長處,避免了電腦及人工 閱卷的短處。

ETS也利用同一評分引擎E-rater開發作文練習及文章診斷軟體Criterion。Criterion並不是完美的改作文機器,並不等同 真人老師,無法遍改所有文法及單字錯誤,但可以迅速給予整體評分,節省老師體力,並協助老師診斷,統計學生的文章 特性及錯誤,是輔助老師教作文課,改作文的好幫手。對學生練習作文而言,可以引起學生不斷練習與改進的動機,感覺 寫作文像是玩網路遊戲一樣。練習是使作文進步的不二法門,依據幾個使用Criterion輔助教學案例,學生作文成績進步 與上網改作文次數有高度的正相關關係。

目前Criterion version 3.0的作文題庫包含有多種題型,例如有描寫(Descriptive)、程序 (Process)、類比與對照 (Compare & Contrast)、敘述 (Narrative)、因果 (Cause & Effect)、說明 (Expository)、爭論分析 (Analysis of Argument) 及問題分析 (Analysis of Issue) 等,以訓練學生的基本溝通表達及思考批判能力。評分採整體式評分 (Holistic Scoring),除了評量文法,句子結構,字彙程度外,特別重視文章的結構,包括簡介 (Introduction)、 論點 (Thesis)、主題 (Main Idea)、支持意見 (Supporting Idea) 及結論 (Conclusion),類似中國八股文言文的起、 承、轉、合。

    全站熱搜

    峰哥 發表在 痞客邦 留言(0) 人氣()