MOOCs的測驗評鑑機制

教學、教學,既有「教」就有「學」,老師設計了教材,在台前線上諄諄教誨,學生到底學了多少 ? 為了瞭解學生在課後是否達到老師預定的教學目標,就需要以學習評量測驗一番。然而,MOOCs課程完全在線上進行,來自各方的大量學生又背景不一,這些特色是否代表需要不一樣的測驗評量方式呢 ?

線上環境中的學習評量

在線上環境中,許多實體環境中的評量方式都能應用,像是討論、繳交紙本報告,只是多了影音多媒體、線上討論區、web2.0工具(如podcast, flickr)這些科技可以使用,如果還要更有趣一些,也可以嘗試模擬(simulation)、遊戲或角色扮演。

另外,線上環境讓快速回饋變得容易,學生、 老師、同儕可以更快互通訊息,老師可以在正式課程外的時間適時介入學習過程,學生也能及時發現和反應自己的問題。

不過事情都有兩面,線上環境中老師如果沒有常常關照學生的線上互動,恐怕對於學生的掌控能力會比實體課程更低,令人特別擔心作弊、抄襲的問題。

為了避免這種問題出現,可以出一些需要高階批判性思考才能回答的題目,避免出只要google就能找到答案的問題,而是設計需要熟讀多種課程用教材後才能回答的題目。

另外,還可以採取「形成性(formative)評量」,在學習過程中持續評量並提供回饋。可以是由學生自我評估或記錄自己的學習心路歷程,也可以由老師或同儕階段性的提供評量回饋。如此一來,除了能持續追蹤學生的發展過程,也能減輕只針對最終成果進行一次性評量的「總結性評量」帶來的壓力。

MOOCs的線上評量

MOOCs除了是線上課程,還具有「大量來自不同背景的學生」此特性。由於學生規模太大,難以由老師個人來一一評分,使得評分機制需要特別設計,才能讓學生願意接受非由教師給予的成績。

MOOCs另一個特色是「時間短」、「能吸附學生的力道弱」,因此要注意評量的 次數、配分、難度,如果作業內容或評分方式太麻煩,可能就會造成很多學生打退堂鼓,而如果作業配分過度集中在某一周、或作業內容與授課內容無關,學生就不一定會照著老師預定的進度學習。但是老師也不應為了討好MOOCs使用者而設計簡單好完成的評量,最終還是要回歸老師希望課程能達到什麼效果,根據這樣的教學目的來設計評量方式。

如果是數理方面的學科,因為答案固定,許多都能交由電腦自動批改。甚至會因為更快完成批改,使學生不至於過很久、都忘記自己當時怎麼解題時才收到批改結果,學生能立刻訂正、重新上傳,而提升學習成效。人文、藝術、社會科學的學科則不這麼容易批改,因此就有不同的解決方案。

Edx發明了自動批改文章的工具,先讓老師依據rubrics批改一些文章,由機器學習哪些段落會得分、得分的原因,分出代表好文章的特徵,根據這些特徵來找出高分文章。另外,codecademy當你輸入正確答案時,電腦才會讓你進入下一題,也是一種很適合自學的自動評量方式。

Coursera進行的是同儕評分,隨機分配學生為彼此改作業,並以「雙盲、評分後才能被評分」等機制來促使同儕評分可以運作。由於這種機制突破由老師專業權威決定分數的傳統,因此獲得最多人的注目和討論。

同儕評分的注意事項

首先,rubrics的制定要很謹慎,除了要確切反應學習目標,也要簡單好懂。事實上,即便rubrics寫得非常清楚,學生還是會有很多關於怎麼進行、怎麼評分、遇到抄襲怎麼辦等等問題,助教要常去討論區蒐集同學的問題,盡快想出解決辦法,避免耽誤評分時間。

其次,由於學生來自各處,背景和程度不一,有些人不習慣寫申論題、有些人母語非課程授課語言,都會影響他們的作業品質,這使得評分標準很難一致,也很難說該怎麼評分比較公平。而其中有些人可能永遠評分就只會給兩個字、有些人可能會給長篇大論的建議,這種評分心態的差異,也會影響評分的一致性,難以讓所有學生產生相當的學習成效。

再者,學生的程度畢竟和老師不同,雖然給的分數可能差不多,但是就無法像老師一樣帶給學生新方向、給予當頭棒喝。甚至學生會被彼此誤導,或一面倒的支持多數學生所設想的立場、無法看到事件或概念的全面,因此悖離了課程當初規劃的目的。

要解決這個問題,最好能吸引一些專家來上課,可以特別讓這些專家評多一些作業,但是目前MOOCs主要都是導論入門課程,這種課程不會吸引到該領域專家來上。而且,學生數量多的MOOC才會吸引專家來看、有專家進駐的MOOC會吸引比較多學生,這樣子的循環會使一些冷門小班課程的同儕評分品質難以提升。

另一種解決方法是,在出題時就提醒學生有哪些面向可以思考、有哪些資源可以進一步查檢,並說明要詳加考慮這些的原因;在批改作業後,也可以提供一些專家或老師個人對於此題目的見解供學生參考。

第四,同儕評分很需要收到他人建議,來佐證他們評分的可信度,也才會覺得辛苦沒有白費。不過,目前的匿名設計讓學生不知道評分者是誰,無法回應評分者的建議,如此一來也就阻絕學生們自發性形成社群解決課業問題的機會,也不利打破砂鍋問到底的學生。

或許可以讓有意願的學生組成學習小組,除了匿名評分外,也可以和自己信任、景仰的同儕互相評分與回饋,得到更深入的評論內容。這些學習小組也可以自行善用社群網絡,除了能更即時的互動,也能提供感情上的支持(ex.FB按讚),並有機會更了解各自所處的社群脈絡對其作品的影響。

最後,經由同儕互評,學生根據rubrics可以知道評分標準是什麼,了解自己該怎麼完成這份作業或測驗才會得到高分。但是,學生其實也會受到rubrics的限制,相信評分者提出的考量因素是最重要的,因此忽略學習的終極目的是要讓學生提出自己的問題、以自己的方式陳述和回應。對於更高層次的學習反而不利。

要解決這樣的問題,可以讓學生扮演專家,讓他自發性地提出身為專家會用什麼樣的標準來評量。為了妥適扮演專家,學生必須自行尋找更多關於專家的消息,所學到的將會更多。不過這種方式會帶給學生很大的負擔,對於MOOC吸引到的學生未必合適,要斟酌應用。

—–

除了同儕評分,其實也可以使用學習歷程檔案,記錄學生修習這門課時的歷程,自我檢討、和他人交流。特別是MOOCs使用者來自各個國家,讓學生分享課程所學如何實際應用在各自的生活當中、應用的過程有那些問題或反省,將能讓學生增廣見聞,這是善加利用MOOCs特色、提升學習成效的方式。

未來MOOCs如果要更進一步的推廣及獲得承認,評量方式必然會是很重要的議題,唯有評量標準應該要足以保證學生能獲得實體課程的學習成效,才會讓職場及高校機構願意背書,也才能讓這些開放教育的資源真正轉換為有價值的學歷。

文 / 柯俊如

參考資料

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

*