[摘 要] 當前，學習行為分析已成為研究熱點。基于大數據技術挖掘學生的學習行為特征，能為學習過程的改善、學習評價的優化提供重要依據。然而，現有研究卻存在分析數據類型單一、實時性不強、結果準確度不高、缺乏可解釋性等問題。文章從利用深度學習算法進行多模態學習分析入手，采用HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機)神經網絡模型，建立多模態學習分析模型，為教育技術領域中利用多模態大數據挖掘學習者行為特征提供了新范式;接著從可解釋性分析的角度，闡述利用深度學習算法進行多模態學習行為分析的算法設計與實現過程;通過實驗表明，研究中所采用的方法與技術路線對提高學習行為分析的可解釋性有較好成效。

　　[關鍵詞] 深度學習; 多模態; 學習行為分析; 可解釋性

　　一、引 言

　　人工智能、大數據、物聯網等新一代信息技術的迅速發展和深入應用，給社會各領域帶來了巨大的變革，同時也對教育教學產生了深遠影響，推動新時代智慧教育的產生與發展。當前，基于智慧教育環境的研究重點逐漸從學習平臺開發、資源與內容設計、傳統普適性研究、應用模式與實證探究等轉向基于行為全過程分析的精準助教與評價研究上。學生個體千差萬別，其行為表現一定程度上反映了學生的學習風格、心理特征和情感特征，通過智慧課堂感知系統、教學管理平臺采集學習行為過程數據，并通過大數據技術挖掘學生行為特征，能為學習過程的改善提供重要依據。

　　目前，已有的學習行為分析大多針對各類在線教學平臺采集的數據進行分析，數據來源單一、分析指標簡單，學生學習行為研究呈現較大的局限性和割裂感(如Abdelrahman等人[1]、Eradze等人[2]、姜強[3]、黃昌勤[4]等)。隨著傳感器、可穿戴設備、眼動儀和腦電儀等智能信息技術的發展，學習分析領域有了新的突破，研究者逐漸意識到，只有盡可能捕捉學生學習全過程數據(包括聲音、視頻、表情、生理等多模態數據)，才能更加全面準確地了解學習過程，挖掘學生學習規律，拓寬學習行為分析研究的深度與廣度，多模態學習分析研究應運而生。

　　多模態學習分析通過語音、圖形圖像、肢體與面部表情等識別技術，充分捕捉或感知各種信息，通過對這些多模態數據的統一表征，從而更準確地判定學情[5]。國內主要以北京師范大學、華東師范大學、華南師范大學等師范大學研究團隊為主，從學習科學的角度進行多模態學習分析，研究主要集中于理論探討(如穆肅[6] 、汪維富[7])、框架搭建(如周進[8]、張琪[9]、牟智佳[10]、李卿[11]等)，較少從計算機科學、數據科學等視角將理論應用于實踐，深化研究。

　　國外有關多模態學習分析的研究較國內成熟，研究多結合機器學習方法，圍繞學習行為建模、模態傳感器建模、算法模型以及新技術的介入等形成系列研究。如挪威科學技術大學的研究者收集了自適應學習活動中學習者的多模態數據，并采用模糊集定性比較分析(fsQCA)方法來描述學習者參與模式與學習績效的關系[12]。Vicente等人提出了基于物聯網技術和可穿戴設備實時監測數據的可穿戴教育物聯網(WIoTED)系統，并使用機器學習技術和多模態學習分析方法來構建能夠“解釋”學生參與度的模型。該研究基于一組相關變量選擇決策樹和規則系統，獲得的規則很容易被非專業人士解釋[13]。

　　學習分析多考慮數據的“源息性”問題，收集哪些數據、采用何種方法分析以全面、準確地體現學習者的全部特性[14]。可見，學習分析多關注數據的準確性、全面性，而可解釋性在傳統技術上很難實現，近幾年才越來越受到關注。可解釋性，是指可以在觀察的基礎上進行思考，最終合理地得出事物變化的原因、事物之間的聯系和事物發展的規律的一種性質。如Kaur等人采用局部可解釋不可知模型(LIME)，通過在本地訓練可解釋模型，以可解釋的方式分析預測模型[15]。有研究者采用LSA(滯后序列分析法)[16]、K-Means算法[17]等解釋了學習行為與學習成績之間的變化關系，有助于研究者對學習行為的過程與機理的了解。

　　本研究基于多模態數據(包括各類學習平臺、教室視像信息和各種傳感器信息等)，將最大限度采集發生在各種時空維度割裂的學習行為數據結合關聯起來，以教育心理學和行為科學為依據，構建能更貼近真實的學習情境的學習行為數據模型。然后在數據模型上提高數據分析的可解釋性，使得人們不僅知道分析的結果，也清楚結果產生的原因，從而更有針對性地為學生提供指導與幫助，進而提高學生學習成效。

　　二、基于深度學習算法的多模態

　　學習行為數據分析模型研究

　　學習行為分析是一個復雜的高維的分析過程，傳統分析方法對多模態數據分析比較困難，大數據與智能算法的出現，給學生學習特征分析、教育大數據挖掘提供了新方法。本文提出利用深度學習算法進行多模態學習分析，為教育技術領域中利用多模態教育大數據挖掘學習者行為特征提供了新范式。

　　(一)深度學習支持下的學習行為分析模型設計

　　深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對文字、圖像和聲音等數據的解釋有很大的幫助。構建面向多模態學習行為數據的大數據采集框架，采集實時的課堂、實驗室和教學平臺等時序多模態數據，根據數據模態特征及因素特點，對多模態學習行為數據進行清洗與預處理，再使用智能算法進行淺層特征分析，然后將他們進行歸一化與深度融合。依據高維數據處理需求構建一種新型的流形深度學習分析模型，對深度融合的多模態數據進行分析。鑒于HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機)神經網絡具有降維、分類、回歸、協同過濾、特征學習以及主題建模等優勢，集合了目前主流深度學習的特征提取、高精度和速度等優點，是目前最適合處理多模態數據的深度學習框架。因此，本研究中運用HDRBM神經網絡處理智慧學習環境下多模態學習行為數據，以此建立多模態學習行為分析模型(如圖1所示)，并進行學習者行為特征分析。