Question classification according to Bloom’s revised taxonomy Joe Harrison Olivier Dikken Dennis van Peer QUESTION CLASSIFICATION ACCORDING TO BLOOM’S REVISED TAXONOMY BachelorEndProjectReport inpartialfulfillmentoftherequirementsforthedegreeofBachelorofSciencein ComputerScience atDelftUniversityofTechnology tobedefendedpubliclyonthe6thofJune2017at13:30 by Joe HARRISON,Olivier DIKKEN,Dennis VAN PEER Supervisors: ClaudiaHauff, TUDelft MarthaLarson, TUDelft PimdeHaan, FeedbackFruits Anelectronicversionofthisthesisisavailableathttp://repository.tudelft.nl/. P REFACE InthisreportwepresenttheworkwehavedoneforourbachelorendprojectatFeed- backFruits. FeedbackFruitsisacompanythatimproveseducationbybuildinganedu- cationalplatformforteachers.Overthecourseof10weekswehavebuiltaclassifierthat classifiesquestionsaccordingtoBloom’srevisedtaxonomy. Thisclassifiercanbeused byourclientFeedbackFruitsintheircurrentplatformtohelpteachersbetteraligntheir courses. iii A CKNOWLEDGEMENTS 0.1. ACKNOWLEDGEMENTS Inthissectionwewouldliketotaketheopportunitytothankallthepeoplethathelped uswithourproject. WewouldliketothankoursupervisorsClaudiaHauffandMartha LarsonfromtheTUDelftfortakingthetimeandefforttoadviseusonourproject. We wouldalsoliketothankourclientFeedbackFruitsforprovidinguswithaniceworkenvi- ronment,muchappreciatedlunchesandaboveallgoodcompany. Weimmediatelyfelt verywelcomeatFeedbackFruitsduetotherelaxedatmosphereintheoffice.Allemploy- eesarealwaysreadytogivetheirinputonourproject,thereforewewouldliketothank Estherforhelpingoutwiththedesignofthegraphicaluserinterface,WangBoforad- visingusonmachinelearningmattersandsendingusinterestingpapersonthesubject, andEwouddeKok,theCEOofFeedbackFruits,forourbrainstormsessions. Wewould liketoespeciallythankPimdeHaanforbeingouradvisoratFeedbackFruitsandalways askingtherightquestionstogetusontrack. v C ONTENTS Preface iii Acknowledgements v 0.1 Acknowledgements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . v 0.2 Abstract. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 Introduction 3 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 ProblemDefinition 5 2.1 ProblemDefinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.1 Bloom’srevisedtaxonomy . . . . . . . . . . . . . . . . . . . . . . 5 2.1.2 Ambiguousclasses. . . . . . . . . . . . . . . . . . . . . . . . . . 6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 ProblemAnalysis 9 3.1 ProblemAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.1 Classifier. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.2 Settingabaseline . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.3 Dataacquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.4 Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.1.5 ActiveLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.6 OnlineLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.1.7 EnsembleClassification . . . . . . . . . . . . . . . . . . . . . . . 12 3.1.8 PrecisionvsRecallvsF1scorevsAccuracy. . . . . . . . . . . . . . 13 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 4 ClassifierDesign 15 4.1 Ensemble. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.2 SupportVectorMachine . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4.3 PassiveAggressive. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 5 Implementation 19 5.1 Technicalchoices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.1.1 Python3.5+. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.1.2 sklearn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5.1.3 NLTK. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.1.4 PostgreSQL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.1.5 AmazonS3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 vii viii CONTENTS 5.2 Codetools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.2.1 Github. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.2.2 Cloudplatform. . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 5.3 ClassificationGraphicalUserInterface(GUI). . . . . . . . . . . . . . . . 21 5.3.1 Ethicalimplications . . . . . . . . . . . . . . . . . . . . . . . . . 22 5.4 Codestructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.4.1 Front-end . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.4.2 Classifier. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.5 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 5.5.1 tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 5.5.2 Testtypes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 5.5.3 SIG. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.6 Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.6.1 Onlinedeployment . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.6.2 Entries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.6.3 Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.6.4 Labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.7 WebServer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.8 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.9 SIG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.9.1 HandlingfeedbackSIG. . . . . . . . . . . . . . . . . . . . . . . . 29 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Reflection 31 6.1 Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 7 FutureWork 33 7.1 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 7.2 Recommendations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 8 Conclusion 35 8.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 A Requirements 39 A.1 MoSCoWmodel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 B AdditionalResources 41 B.1 Evaluationresultsperclassifier . . . . . . . . . . . . . . . . . . . . . . . 41 B.2 Sklearnmodulesused. . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 B.3 FeatureList . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 B.4 Sourceslistsofcommonkeywords . . . . . . . . . . . . . . . . . . . . . 45 C ResearchReport 47 C.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 C.2 ProblemDefinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 C.2.1 Dataacquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . 48