深度了解大規模線上課程的「滯留」(Retention)與「意圖」(Intention)

文 /  史丹佛大學 Daphne Koller, Andrew Ng, Chuong Do, and Zhenghao Chen 

2012年,一般Coursera MOOC的註冊人數在40000到60000之間,其中50-60%在註冊後會觀看第一次授課。觀看授課的觀眾中,將近15-20%會在需要程式實作或同儕評鑑作業的課程中繳交作業。繳交作業的這群人中,將近45%會順利完成課程並取得完成證明。整體加總起來,大概只有5%註冊Coursera MOOC的學生會取得課程的正式完成證明。

在傳統大學體系中慣於重視學生數量耗損的教育者,MOOC這種retention流失的狀況被視為值得注意的警訊。老師習慣於教那些在實體教室內付了錢、做了承諾的學生,持續變空曠的教室(每20名學生中只有1名留到最後)是個令人難以理解的嚇人景象。但是,這真的是判斷MOOC學生成功與否的適當方法嗎?

MOOCs的倡議者通常會指出線上課程具有幾個補償性(compensatory)因素。這些因素從財務考量(像是高等教育成本上升而MOOCs因為重複供應能降低邊際成本)到規模考量(如MOOC十萬名學生中有將近5%畢業,老師能接觸到的學生比一輩子在實體教室能教到的更多)。這些觀點雖然正確,但是都沒有關注到MOOCs的「低完成率」和「用於高品質線上教育的可行性」。

在這篇文章中,我們將檢驗線上課程的retention議題。我們認為MOOC的retention應該置於學習者意圖(intention)的脈絡下謹慎思考,特別是這些選課的學生有著不同的背景和動機。當我們在這種合適的脈絡進行討論時,MOOC的retention通常變得相當合理。更甚者,我們這麼做有助於重視及理解MOOC這些「未完成」群眾帶來的價值,讓我們能思考如何提供能滿足他們需求的學習經驗,就像我們提供其他「完成者」的一樣。

理解學習者意圖

大部分註冊傳統大學課程的學生明顯具有取得證書的意圖。一但學生沒有要取得證書,則學生、學校體系,甚至是兩者,都會失靈。然而,MOOC要滿足的觀眾實際上比這種學生更加多元。有些學生選課只因為是一時興起,想看看這堂課在做什麼、了解可能值得探討的某個主題,或是單純是出於對線上教育的好奇。有些註冊很多堂課程的學生則是有著四處逛逛、購物比價的想法。還有一些註冊MOOC的學生更像是在替有興趣或未來可能用得到的網頁做書籤。

一般Coursera學生平均會註冊四門課,大約有40%的學生至少同時上兩門課。況且,多數Coursera課程需要大量的時間投入,預設的每週課程負擔通常是5-15個小時。由於這些課程都沒有財務成本與進入門檻,沒什麼理由相信大多數註冊MOOC的學生有意要完成課程。

觀察學生如何參與線上課程可以顯露學生的意圖。除了有些學生投入課程的方式難以分類,多數學生展現的行為可以依照學習者動機和意圖做清楚分類

最明顯的差異是「瀏覽者」和「忠誠(committed)學習者」。

「瀏覽者」通常受到興趣激發而決定註冊課程,但是從來沒有在第一堂課中出現,或是瀏覽個一到兩周就退出課程。

傾向投入多數或所有課程的「忠誠學習者」,可以分成至少三種部份重疊的類型—「被動參與者」、「主動參與者」、「社群貢獻者」 :

l 「被動參與者」主要是透過觀看課程影片來投入MOOC,很少參與課程討論區,而且通常只繳交少數作業或測驗,但是可能會為了要看完整的授課影片和回應影片內嵌問題。

l 「積極參與者」則會透過完成課程作業、測驗、考試、密集的程式實作、同儕評分來投入。其中一部分「積極參與者」就是執行所有必要任務、最終取得完成證書的「課程完成者」。

l 「社群貢獻者」也會積極參與課程,但是他們具有特殊的互動方式—產生新內容,像是投入討論區討論或製作外語字幕。

由他們不同的行為可以證明,很清楚地,這三類學生在體驗MOOC時有不同目標(如圖1)。舉例來說,屬於「被動參與者」的學生,就不太會為了從MOOC獲利而需要取得完成證明。但是,在特定類型內(如「積極參與者」)還是會因為次類型不同而可能有不同行為,像是雖然「課程完成者」都想取得完成證明,卻也觀察到其中有減輕課程負擔的「低密度積極參與者」存在,他們會繳交測驗和作業,但不會寫得很多很深入(見圖1b)。這些人是自我激勵的學習者,將測驗和作業當成自己的形成性評估,而非想要取得證書。

5-2

圖1 : 由86堂Coursera課程聚集,描繪Coursera學生活動模式之密度圖

圖1顯示了 (a)觀看影片和完成作業 (b)觀看影片和進行測驗 (c)進行測驗和完成作業 (d)討論區活動和完成作業之間的關係。
不同圖的軸線指的是每個學生在課堂中完成影片、作業、測驗的比率,至於討論區活動則是根據討論區投票的標準化「h-index」進行測量。圖中,將軸等分後,顏色在對數尺度(logarithmic scale) 上會顯示具特定活動紀錄的學生數量。 
(a)和(b)中,左邊的紅/黃色帶對應「觀看一些授課影片但沒有繳交作業或考試」的學生,左邊頂端的亮紅色代表「被動參與者」。從左邊底端到右邊頂端的微弱對角線帶則顯示「開始課程但中途放棄的學生」。右方頂端匯集的是「積極參與者」(觀看所有或多數授課影片且完成幾乎所有測驗或作業) ,只有這⼀塊有可能對應到「課程完成者」。 (a)圖中的微弱綠色直線顯示「只提交一些作業、不曾看過部分或所有授課影片的人」。(c)圖中,右方頂端和左方頂端所匯聚的分別代表「課程完成者」和「低密度積極參與者」。(d)圖中,「社群貢獻者」多數分布在密度圖的右方邊緣(代表完成課程的人) ,但是一些「積極貢獻者」,像是那些在左方邊緣的,只完成了一些作業而已。

在意圖的脈絡下定義retention

先前多數MOOCs的討論中,學生retention(也被稱為「完成率」)通常被定義為一開始就註冊、順利完成課程、達到老師設定目標的人。完成率可以做為比較各種MOOC的便利測量公式。雖然它很便利,但是完成率表達的表面價值有時候會誤導對線上課程的正向觀感,因為它無法捕捉MOOC學生的多元目標和投入模式。

要使retention測量變的有用,必須惦記著學習者的目標 ,並將之予以定義和闡釋。舉例來說,「被動的課程觀看者」可能會從頭到尾的跟完整堂課而不曾碰過作業,通常他們不被記入具有完成率概念的retention內,但是卻能從MOOC獲得實際上的價值。首先,一般MOOCs授課和實體課程授課有很大的差異,由於有頻繁的影片中小測驗,學生會被迫持續和課程互動。再者,線上形式讓老師能將教材變成10分鐘的授課段落,學生因此有多次重新觀看影片的機會。在各種Coursera課堂中,學生平均觀看授課影片1.7次,平均10個學生中就有1個會觀看影片超過2.7次。有鑑於觀看課程影片的學生佔了九成,大約是取得完成證明的學生之兩倍,不能忽視這個重要的次族群。

當然,在「被動課程觀看者」的類型中,學生可能會因為他們對於課堂的忠誠度不同而多少有點變化。

舉例來說,圖2描繪了賓州大學Al Filreis教授「現代與當代美國詩學(Modern and Contemporary American Poetry)」在課程期間的影片觀看減緩趨勢。如果課程觀看的減損主要是因為隨機事件,例如無法預期的出差或工作危機,那麼學生觀看特定數量授課影片時數的比例會一致依循指數分布(exponential distribution) ,也就是說學生會以一個固定的比例隨機離開課程。

然而實際上,我們發現指數分布和觀察到的資料不符。反而,似乎所有Coursera課程都能以「混合雙成分的指數分布」(學生隨機來自高retention群體或低retention群體)解釋得非常好。當我們比較40堂Coursera課程,會發現學生的拉扯來自於不同學生群體的變動,而且低retention的學生群人數在一定程度上也會變動。但是在高retention群體的學生中,retention率在不同課堂上是相當一致的,每小時觀看影片的retention率中位數都是92% (見圖3) 。

5-3

圖2 由「當代與現代美國詩學」(2012年9 月)因課堂因素引起的retention
圖2 中鋸尺狀紅線表示在課程期間觀察到的「課程觀看中輟情況」(對應x座標,y座標表示「觀看至少x小時課程影片的學生數量」) ,藍線和綠線各自顯示「單純指數分部」與「混合雙成分的指數分布」。綠色虛線指出混合模式中的高retention學生團體,雙成分混合模型比起指數分部會更貼近於所有Coursera課程特性。

不同課程形式也會使retention率產生明顯變異。 

舉例來說,圖3指出有程式實作的課程比起其他作業類型的課程,其忠誠學習者有顯著更高的retention率(p<0.01) 。縮小範圍來分析比較資訊工程課程中有無程式實作時,發現相似的影響(但是是輕微的顯著,p=0.077) 。不只如此,有程式實作的課程還比沒有的課程具有顯著更高的忠誠學習者比例(p<0.01) ,這樣的觀察在限縮到資工課程進行分析時也是如此(p=0.031) 。

另一方面,有同儕評鑑的課程在兩種群體中,每小時retention率的範圍更廣,而且retention率在兩種群體的分布是傾向相連的,顯示出同儕評分的課程在吸引學生參與線上平台的有效性有更高的變異性。

5-4

圖3 混合雙成分的模型參數在40堂coursera課程的變異

圖3 中每堂課都預測了三種模型參數 : 高retention群體中的每小時retention率、低retention群體中的每小時retention率、每個群體的人口數。在(a)和(b)中,每個點代表一堂課。多數課堂中,高retention群體的學生每小時retention率在90-95%之間。三種顏色指出擁有程式實作、同儕評分作業或只有測驗的不同情況。

由於一般Coursera課程每個人有看約8-9小時的授課影片,如果將高retention群體的每小時課程retention率放到真實世界中,每個人的retention率大約會是40-50% 。(事實上,在「近代與當代美國詩學」的案例中,忠誠學習者的每小時課程retention率為93% ,換成一個月課程retention率大約是50-55%)與此相比,APP一個月普遍的retention率是40-60% 。考量到線上課程比線上社群遊戲(每個人47%retention)或線上社群網絡應用(每個人53%retention)需要花更多心力,看到MOOCs可以維持這麼高的課程retention率其實是很振奮人心且令人驚喜的。再做一個更直接的比較,能維持新年新希望(New Year’s resolution)將近一個月的人只有55% ,而且新年新希望就像線上課程一樣,會因為必須投入其中的心力而改變。

有鑑於學生意圖的變動性,研究「打從課程開始就想完成它的學生」之完成率是很重要的。一般來說,學生不會一開始就宣告他們的意圖,導致這個比例難以預測。為了要了解學生的意圖,史丹佛的Kristin Sainani教授在他的「科學寫作(Writing in the Sciences)」課程中請學生填一個課前問卷,以便了解他們預期為這堂課付出多少。調查指出,大約63%受試者計畫要完成所有必要任務,以獲得完成證明。考量到只有三分之二的課程註冊學生填寫課前調查,以及完成調查的學生很可能就是積極參與課程的人,很顯然的並非所有參加課程的學生都會高度投入到最後。但是在有意圖完成的學生中,將近24%成功完成課程,剩下的註冊學生相較之下只有低於2%完成。

Coursera最近發布的「簽名認證」(Signature Track)可以做為更引引注目的意圖指標。這個最近剛發展、可以在特定MOOCs中取得的選擇性課程,讓學生透過敲鍵生物識別(keystroke biometric)和照相辨識,能取得更正式的完成證書。參加「簽名認證」的學生要在課程一開始(第二或三周)註冊,並為了身分認證服務付費(30-100元美元) ,如果通過課程要求,就能獲得學分認證和大學賦予的證書。

申請「簽名認證」是由學生所做的清楚聲明,表示他們有意圖要完成課程並獲得證書。在第一堂「簽名認證」課程—舊州立加利福尼亞大學Katie Ferraro教授的「促進健康和預防疾病的營養(Nutrition for Health Promotion and Disease Prevention)」中,參加簽名認證課程的學生有將近74%的完成率,沒有參加的人群則只有9%(見圖4) 。甚至,在課程第一個月內的行政性調查表達有強烈意圖完成課程的學生中,註冊「簽名認證」的付費者完成率更高(96% vs. 84%, p=0.0009) ,代表財務上的投資是提升完成課程的額外誘因。

 

5-5

圖4 「促進健康和預防疾病的營養」Nutrition for Health Promotion and Disease Prevention (2013/1)的完成率

圖4 中,「高度忠誠(highly committed)」意指有高度完成課程的承諾感且有意觀看所有課程和完成所有作業的學生。參加「簽名認證」(Signature Track ,圖表中為藍色)的學生比起沒參加的學生(圖表中為紅色)具顯著更高的完成率。 

 

MOOCs的retention的相關性

我們已經指出MOOC的retention要在學生意圖產生實際意義的脈絡下討論。然而,在更高的層次可以問的是,是否retention是用來衡量MOOC成功的洽當測量公式。

對於明顯目標是獲得MOOC證書的學生來說,基於retention的測量公式可能是合理的。在某種程度上,不投入線上活動的學生比例來自計畫外的生命事件、個人優先順序改變、跳出線上課程時所需面臨的摩擦不大。我們相信在MOOC承諾要完成課程的「忠誠學習者」retention率相當高,我們也相信奮發(striving)總是會促進忠誠學習者的retention率,因此也在探索更新、更多、更吸引人投入的(engaging)教學形式,或是運用社群網絡激勵學生維持終生學習的興趣,或使現在的MOOCs能更符合在職成人線上學習者的需要。

同時,在討論MOOC的retention率時,很重要的是要在心中有更全盤的考量。在傳統大學課堂中,缺乏retention是一個嚴重的問題。最近,根據全國高等教育委員會(National Commission on Higher Education Attainment)(紐約時報報導) ,在實體機構展開兩年或四年大學生涯的學生將近一半無法在六年內取得學位。 一些大學的完成率將近15% 。

如果大學學費、住宿費、會費平均成本在公立機構是13600元美元,在私立非營利機構是36300美元,在私立營利機構是23500元美元,可以看出,這些中輟的學生投入相當高額的錢卻獲得極少回饋。這樣的案例中,許多公立機構由政府資助,或是由政府提供經濟支助,對於納稅人來講也就成為重要成本。當這些未完成學業的學生獲得好工作的機會減少,也就相當程度的降低他們還貸款的機會。

相反的,MOOC免費註冊使未完成課程的學生並不會造成他們自己和納稅人的經濟負擔。一些評論家最近提到學生會耗費時間成本,然而,想想人們在看電視這類活動上花費的時間,未完成的學生在教育上「浪費」的時間似乎沒那麼嚴重。事實上,註冊一堂線上免費課程和從公共圖書館借出一本書的行為是可以連結的,根據有多少比例的人在借閱期間內一面又一面的讀完內容來衡量這本書的成功與否是很荒唐的。一些人可能讀了一本非小說(non-fiction)的幾個章節,在獲得可以滿足其需求的資訊後停下來。其他人則可能會讀的更完整,在讀完前反覆看了好幾次。然而,在這兩種狀況,很少人會想到「缺乏完成率」、「多花的時間是種浪費」、「書本的失敗」這類說法。

或許可以將容易發生的MOOC未完成率視為「無風險探索」的機會。舉例來說,設想一個高中生正嘗試決定他要就讀哪個大學。學生可以在此探索他認為很吸引人的不同主題,最後選出一個符合興趣和能力的。 同時,學生也可以嘗試不同難度的課程,也許會發現他比自己所以為的更有能力,而因此去嘗試比他原本預期中更好的學校。如此一來,MOOCs可以協助紓緩在「跨越終點線:在美國公立大學完成學業
(Crossing the Finish Line: Completing College at America’s Public Universities)」一書中提到的問題—大學配對不當、學生高分低就,這些問題特別會影響到弱勢學生或「第一代大學生」的成功。儘管透過人為篩選出最專注的學生將能促使retention率提升,然而也就犧牲了學生嘗試多種課程的自由,這種介入將使線上課程難以發揮真正的社會影響力。

歸根究柢,體認到retention只是MOOC成功與否的眾多因素之一是很重要的,而且對多數學生都是最重要的。教育的目標是提供學生追求個人生命目標所需的技能,而非把他們留在教室。既然參與MOOCs的學生有各式各樣的動機,線上教育的真正挑戰將會是「辨識出學生想從虛擬教室經驗中獲得什麼,並協助他們達成目標」。

翻譯 / 柯俊如

原文以創用CC BY-SA授權釋出 http://www.educause.edu/ero/article/retention-and-intention-massive-open-online-courses-depth-0

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

*