Minimal Mobile Human Computer Interaction Abdallah El Ali Minimal Mobile Human Computer Interaction Abdallah A. El Ali Minimal Mobile Human Computer Interaction ACADEMISCH PROEFSCHRIFT terverkrijgingvandegraadvandoctoraande UniversiteitvanAmsterdam opgezagvandeRectorMagnificus prof.dr. D.C.vandenBoom tenoverstaanvaneendoorhetcollegevoorpromotiesingestelde commissie,inhetopenbaarteverdedigenin deAgnietenkapel opvrijdag15november2013,te12:00uur door Abdallah El Ali geborenteRiyadh,SaudiArabia Promotiecommissie Promotor: Prof.dr.L.Hardman Co-promotor: Dr.F.Nack Overigeleden: Prof.dr.B.Wielinga Prof.dr.ir. B.Kro¨se Prof.dr.M.deRijke Prof.dr.S.Boll FaculteitderNatuurwetenschappen,WiskundeenInformatica SIKSDissertationSeriesNo.2013-35 The research reported in this thesis has been carried out undertheauspicesofSIKS,theDutchResearchSchoolfor InformationandKnowledgeSystems. ThisresearchwassupportedbytheAmsterdamLivingLabprojectunderprojectnumber PID07071,andbytheEurostarSmartINSIDEprojectunderprojectnumberE5262. Copyright c 2013AbdallahElAli,Amsterdam,TheNetherlands (cid:13) CoverbyHosniAuji PrintedbyOffpage,Amsterdam ISBN:978-94-6182-364-9 Lookingback... 4.5years. 243pages. Imayhavewrittenthiswork,butanuncountableamountofthanks gototheoneswhoaccompaniedmeinthis(attimesridiculous)journey. Family, forbeingthereeverystepoftheway. Frank,Lynda, forbeingmymentors. NokiaResearch, forfire-startingmyresearch. T-Labs, forkeepingmyinterestsglowing. Co-authors, fortheinspirationandenjoyablecollaboration. Ex-students, forthedialoguesandgoodwork. HCS,ILPS,&otherSPlabs, forthetimesatPolder,Oerknal,andbeyond. Commelinstraatcrew&theUsualSuspects, forallthecrazytimes,nothingshortof. Existence, forsurvivingyouuntilnow. Contents 1 Introduction 1 1.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.1 MobileHumanComputerInteraction . . . . . . . . . . . . . . . . 3 1.1.2 Context-awareComputing . . . . . . . . . . . . . . . . . . . . . . 4 1.1.3 MultimodalInteraction . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 Research. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2.1 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3 MainContributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3.1 EmpiricalFindings . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3.2 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.3.3 MobileInteractionDesign . . . . . . . . . . . . . . . . . . . . . . 12 1.4 ThesisOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.5 ThesisOrigins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 I Context-Awareness 17 2 IdentifyingContextualFactorsinLocation-AwareMultimediaMessaging 19 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.1 SharingExperiences . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.2 Location-awareMessagingSystems . . . . . . . . . . . . . . . . . 21 2.4 PilotStudy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.4.1 LMMPrototype . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.4.2 LessonsLearned . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.5 Multi-modalDiaryStudy . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.5.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.5.2 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.5.3 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.6 CategorizationTask . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.6.1 Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.6.2 Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.6.3 Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.7 Results&Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 2.7.1 MediaPreferencesforMMs . . . . . . . . . . . . . . . . . . . . . 26 2.7.2 IdentifiedandRatedLMMDomainsandTasks . . . . . . . . . . . 27 2.7.3 CapturedExperiencesvs. ExperienceofCapture . . . . . . . . . . 28 2.7.4 CapturedExperiences . . . . . . . . . . . . . . . . . . . . . . . . 29 2.7.5 StudyLimitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.8 DesignRecommendations . . . . . . . . . . . . . . . . . . . . . . . . . . 34 2.9 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 v CONTENTS 3 CaseStudy: DesigningforPlayfulHCI 37 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3 WhatisaPlayfulExperience? . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4 TheInferenceProblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.4.1 Positivistvs. PhenomenologicalTheories . . . . . . . . . . . . . . 42 3.4.2 PlayfulRepresentationorInteraction? . . . . . . . . . . . . . . . . 42 3.5 TheMaintenanceProblem . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.5.1 Fun,ButNotUseful . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.6 TheMeasurementProblem . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.6.1 SubjectiveandObjectiveExperienceMeasures . . . . . . . . . . . 45 3.6.2 Over-measurementandUnder-measurement. . . . . . . . . . . . . 45 3.6.3 UPIMethodsandESMs . . . . . . . . . . . . . . . . . . . . . . . 46 3.7 DesignConsiderations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4 AutomaticExploration-basedRoutePlanning 51 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 4.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.3.1 TimeGeography . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 4.3.2 Photo-basedCityModeling . . . . . . . . . . . . . . . . . . . . . 54 4.3.3 Non-efficiencyDrivenRoutePlanners . . . . . . . . . . . . . . . . 54 4.4 PhotographerPaths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 4.4.1 Approach: MSAofArbitrarilyLongSequences . . . . . . . . . . . 55 4.4.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.4.3 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.4.4 SequenceAlignment . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.4.5 PRSAggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 4.4.6 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.5 UserEvaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.5.1 Laboratory-basedstudy. . . . . . . . . . . . . . . . . . . . . . . . 60 4.5.2 WebSurvey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.5.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 4.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.6.1 StudyLimitations . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 4.6.2 TowardsAutomaticExploration-basedRoutePlanners . . . . . . . 68 4.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 II GesturalInputTechniques 71 5 EffectsofErroronDevice-basedGestureInteraction 73 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.2 ResearchQuestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 5.3 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 vi