Exercise 4 - Summary prototyping - All members

Sammanfattning - Övning 4

Före övning 4 så gjorde vi en clickable prototype med hjälp av popapp som kan ses nedan. 

Vi tyckte att de skulle bli väldigt intressant att se hur den skulle tas emot av andra studenter. Gruppen som fick evaluera vår popapp var grupp C2.

Här är en sammanfattning av vad de tyckte var bra och vad som kunde förbättras:

Bra

• Det är bra med flaggor på startskärmen så att inte bara vår målgrupp(turisterna) kan använda appen utan även övriga grupper.
• Kategoriseringen vid biljettval
• Konfirmation av valda biljetter.

Förbättringsmöjligheter

• Skulle kunna göra engelska till startspråket för att tydliggöra målgruppen.
• Förbättra eller ta bort biljettköp via zonzystemet. För tillfället är det oklar hur det fungerar, krångligt med bokstäverna och inte nödvändigt för turisterna. Kartan är också väldigt tråkig, kanske byta ut den mot en turistkarta med turistattraktioner som slottet utmärkta.
• Göra det möjligt för blinda att köpa biljetter.
• Göra det enklare att ändra destination och biljetter om man skulle ångra sig senare.
• Hela tiden visa vad användaren har valt för att kräva så lite kapacitet som möjligt för att använda appen.

Innan vi fick vår respons så hade vi gjort en uppskattning av hur på bra Reliability, Validity, Ecological validity, Biases och Scope skulle vara på en skala 1-5. Nedan syns våra dåvarande uppskattningar.

• Reliability: 3
• Validity: 4
• Ecological validity: 1
• Biases: 3
• Scope: 3

När vi sedan hade fått tillbaka vår utvärdering så tänkte vi lite mer på detta och kom fram till nedanstående betyg.

• Reliability: 3
• Validity: 3
• Ecological validity: 2
• Biases: 3
• Scope: 4

Reliability får vara kvar på 3. Vi tog åt oss all feedback, positiv så väl som konstruktiv och tycker att det var mycket givande. Vi tror och hoppas att även turisterna tycker att detta är saker som passar dem. Faktum kvarstår dock att det är studenter som evaluerade appen och att appen på en liten surfplatta inte liknar biljettmaskinerna vilket gör att en 3:a fortfarande är lagom. 

Validity har vi valt att sänka med en poäng då själva processen var ganska styrd från beskrivningen och vi studenter inte fick jättestor möjlighet att påverka hur det skulle gå till. Mycket var dock spot-on men vissa delar saknas ändå.

Vi har valt att höja Ecological validity till 2. Vi tror fortfarande att det påverkar stort om man gör evalueringen under en stressig morgon med många som springer förbi och folk som står bakom en och suckar, men tror inte att det påverkar lika mycket som vi trodde innan. 

Gruppen som evaluerade oss hade ganska skiljande personligheter och lyckades därmed komma fram till olika förbättringsmöjligheter. Det är svårt att säga hur mycket de har missat men vi tror definitivt att de finns ännu fler förbättringsmöjligheter, och att ett team av experts hade kunnat komma fram till ännu mer. Med detta i åtanke lämnar vi Biases på 3. 

Sist men inte minst så har vi scope. Vi tycker att det vi har fått ut stämmer och att vi har fått ut mer än förväntat på den korta tidsåtgång som faktiskt var uppsatt. Därmed tycker vi evalueringen kan generaliseras med större säkerhet än vad vi trodde innan varför det nu är 4 istället för 3.

Exercise 4 - Feedback from group C2 - Group C2

User group 

Is it clear to whom the service is made for?

The user group is clear. Flags are a good way of indicating that it is available in other languages.

Can also be used by others outside the user group.

Is the functionality well adjusted to the particular user group?

Clever solution. We like that the flags are on the main page. Not too much information on the main page. Main language could be English to clarify that the interface is directed towards tourists.

'The feeling'

What does the first impression tell?

Simple and clear. Minimalistic. The user's mission is to buy a ticket. 

The zones are not clear. A? A+B? A+B+C? What does that mean? Is the 'Choose you zone?' function necessary? Maybe a tourist map instead of station map. The tourist could click where he wants to go and the interface could tell the user only the price. It is not necessary to know what zone you are in.

How are blind people going to interact with it?

Interaction and overarching structure

It the flow clear?

'Choose your ticket type'  in clear (good that the ages/limits are there!). The receipt is good, nice to get a confirmation that you have the correct tickets. Great that the app tells you is you have to change bus/tube. Good idea to print line switches on the ticket. The zone function is a bit unclear. Could the ticket be colour coded? This could be a good idea since the subway-lines already are color coded, by this you will create similarity in the design to group the interface with the existing subway map solution.  A suggestion: Minimize the user’s memory load, by always showing the steps and choices he has made. 

Is it always clear what options and possibilities the interface provides?

We suggest that you instead of the stations map have an interactive tourist map where the users can click on for example 'Slottet'. That way it will be easier for the tourists to find their stop. Is there any solutions for error prevention? What happens if the user click on the wrong button. 

Primary and secondary functions

Is the main functions in focus in the design?

Yes. The main action is to buy a ticket, and that is clear in the interface.

Is the secondary functions valuable?

No. We think that the 'zone' function could be swapped with a tourist map. 

Design/composition 

Is functions and elements naturally grouped? Design/layout?

The design is clear and easy to comprehend. It might be a good idea to colour code the buttons.

Recover from errors:

What happens if you want to change the trip in the last step. How does it work with the steps, will you have to re-do the steps if you go back or does the already tapped in information stay unchanged?

Sketches

Are they clear enough?

Yes. The prototype is well made and it is easy to understand your concept from the popApp.

Exercise 4 - Evaluation group C4 - Group Post

Hej Bloggen,

Idag har vi övergått till svenska. Vi ska utvärdera grupp C4:s blogg idag på övningen utifrån Nielson´s 10 heurestics. Länk till grupp C4:s blogg: https://c4.posti.es/

Visibility of system status

Vi har inte sett någon prototyp, men som vi förstår det kommer det enda riktiga valet att vara vilket språk man vill ha och sedan kan man därefter välja dag på året via ett hjul. Så som vi förstod det så berättar aldrig gubben hur man använder hjulet på sidan. Detta bör den nog göra så att man förstår att den sitter där och kan användas för att byta “dag”. Om personen inte vrider på “tidshjulet” under de första 5 minuterna kanske det bör dyka upp en informationsruta eller ett röstmeddelande som påminner användaren att den kan byta dag. Vi tror att det även vore bra om den lilla hjälpgubben även visar hur det går till när man kollar på en “infopunkt”. Om man inte fattar första steget vad händer då? Kan vara bra med något form av repeat option.

Vi saknar även en inforuta och an avsluta som man kan klicka på för att gå tillbaka och få instruktionerna igen eller om glasögonen skulle byta användare.

Match between system and the real world

Man kommer först få en guide till hur man redigerar och väljer språk av en gubbe som hoppar fram. Genom detta kommer man sedan kunna välja språk vilket är väldigt viktigt då deras målgrupp är turister. Men valet av språk kommer att göras genom att vrida på huvudet. Detta kan vara ett problem då om man har väldigt många språk så kommer man behöva snurra ett varv runt sig själv för att hitta sin flagga. Här skulle ett alternativ kunna vara att man väljer språk genom att snurra på hjulet och sedan klicka på ratten.

Av det Informationsflöde som finns  i sketcherna är det logiskt och förekommer i en naturlig ordning. ¡Muy bien!

User control and freedom

Vid val av språk kommer det antagligen behövas en bakåtknapp eller information om hur man ska starta om systemet för att få välja om språk. Hur stänger man informationsrutorna om platserna man tittar på? Om den är inställd på kinesiska, hur ska en tysk kunna hitta “exit” på kinesiska.

Eventuellt bör det kanske läsas upp ett meddelande som instruerar användaren till att ta av sig glasögonen om denne känner sig förvirrad, illamående eller rädd. Något som inte är alldeles ovanligt för förstagångsanvändare av VR-headsets.

Consistency and standards

Det måste finnas tydliga instruktioner om när man ska använda blicken och när man ska använda hjulet på glasögonen. Annars verkar den vara väldigt straight forward.

Error prevention

Man kanske ska kunna bekräfta det språk man väljer för att undvika att det blir fel språkinställningar.

Recognition rather than recall

Systemet är jättebra på det sättet. Kräver inget av användaren förutom att förstå hur man använder ratten och prickarna.

Flexibility and efficiency of use

Kanske fundera över om alla måste se språkguiden? Kommer det finnas något sätt att hoppa över introduction eller se om den?

Aesthetic and minimalist design

Vi tycker om den enkla designen och hur gruppen har försökt minska informationsflödet så mycket som möjligt.

Dock tycker vi att man inte ska behöva rulla igenom 365 dagar utan snarare månader. Detta för att undvika att man behöver snurra 365 varv på ratten. Vi anser att dagarna inte skiljer så mycket åt och att man får tillräckligt mycket väderupplevelse från 12 månader.

Help users recognize, diagnose, and recover from errors

N/A Finns inga errormeddelanden att utvärdera i dagsläget.

Help and documentation

N/A Finns ingen documentation i dagsläget men det kanske är passande att ha en skylt bredvid ståndet där man får glasögonen där det finns en guide till hur man återställer eller använder dem.  Vi tycker om gubben i början väldigt mycket, men vi tycker att man även ska erbjuda hjälp under den virtuella upplevelser.

Sammanfattning

Väldigt bra och kreativ idé som skulle göra succé bland turister och stockholmare i framtiden! Kul att ni har tänkt utanför lådan och utvecklat en produkt som är rolig och förenar nytta med nöje! :)

Målgruppen

Framgår det tydligt mot vilka tjänsten riktar sig?

• Den riktar sig mot alla som besöker och bor i stockholm. Behöver inte läggas vikt vid då alla kan använda den.

Är funktionaliteten anpassad för målgruppen? (språk, svårighetsgrad, målgruppens intressen)

• Ja, språkmöjligheter finns och den är väldigt intuitiv.

"Känslan"

Vad säger första intrycket?

• WOW kreativt. Har inte testat nån prototyp, men idén är kittlande.

Kommer användarna att stanna kvar? Återbesöka?

• Vi tror mer att det är en engångsgrej man gör. Om det finns få röda prickar, känner nog sig turister rätt klara men om det är väldigt många kanske man fortsätter på båtturen tillbaka. Dock kan för många röda prickar leda till förvirring

Behåller man användarna hela vägen?

• Ja! Om inte användaren faller överbord.

Interaktion och övergripande struktur

Tydligt flöde?

Bra och minimalistiskt, modernt att välja med VR-kontroller. Saknas lite information/valmöjligheter i dagsläget.

Bra att det inte är så många steg.

Man vet precis vad man ska/kan välja?

Ja, när det gäller språk är det glasklart. När det gäller “informationspunkter” bör det kanske förtydligas.

Funktioner och kringfunktioner

Är huvudfunktionerna i "fokus" i designen?

Ja. När det gäller virtual reality så blir det väldigt svårt att inte sätta det i fokus.

Finns det kringfunktioner i gränssnittet som verkar värdefulla? (exempel, ej helt genomförda)

Om man ser “tidshjulet” som en kringfunktion så är det helt klart värdefullt.

Design/komposition

Är funktioner och element naturligt grupperade?

Ja, finns för få steg för att misslyckas med detta.

Har designen en bra struktur/layout? Konsekvent?

Vi har inte sett någon prototyp, men de bilder vi har sett ser bra ut.

Ligger de viktigaste funktioner centralt?

Ja, mitt i nyllet.

Och mindre viktiga saker perifert/nedtonat?

Finns ingen information om detta.

Förslag på förändringar? Ta bort något?

Lägga till extra information. Bakåtknappar, bekräftelseruta vid val av språk samt mer information om hur man använder headsetet. Särskilt när det gäller hur man använder tidshjulet.

Tror ni designen är tilltalande för målgruppen?

Absolut! Coolt och nytänkade!

Hjälp

Erbjuds nån form av stöd för att ta sig igenom bokningen/ informationssökningen/ aktiviteten?

Man får hjälp på startsidan av en gubbe men vi skulle vilja se en mer genomgående guiding genom hela produkten.

Skisserna

Är de tillräckligt tydliga/självförklarande för att ni ska kunna ge konstruktiv återkoppling?

Vi fick en förklaring av gruppen men att enbart titta på skisserna skulle vi nog inte kunna ge så bra återkoppling.

Genomtänkt/slarvigt?

Koncist.

Exercise 4 - Individual post - Amanda

During the seminar we discussed and applied the Decide model to our project. We decided to use heuristics as our method and allow our classmates to be the experts tomorrow at the seminar. The experts are going to evaluate our first draft of clickable prototype that we have done in pop-app. Thanks to guidance from both Eva and Ann we have been able to develop the first version of the interface we drew on the storyboard last week. From this we hope to receive feedback about the interface and layout. A negative thing about letting our classmates to be the experts is that we might think a lot alike and miss certain important aspects that people from different cultures and background might find confusing or unclear. Since we are all studying to become engineers, we might have the same trial and error thinking and a way to understand technology better than others. On the other side it is out first draft and getting feedback on it would help us a lot since we would like to get some input on our design.

Another point we discussed during the seminar was that we wanted to be experts our selves to the updated version of the pop up and go through Nielsen’s 10 usability heuristics and also do a walkthrough if time allows.

If we hade endless amount of resources I primarily do better and more thorough field-study where we interviewed more tourist and asked more questions in depth. I would also hire professionals to give me guidance when it comes to designing interfaces and usability and actively asking for feedback. Furthermore I would let experts within the field test out app and give us feedback. We would also let our target group test the new interface to determine the level of usability since they are the end users and know best about the requirements.

Exercise 4 - Individual post - Per

Today we all gathered at Julia's place to work on the project. We sat down a couple of hours and finished our first low-fi clickable prototype that we will bring to the exercise for the heuristic evaluation on thursday. I focused a lot on the zone map and final receipt. This is how the zone screen turned out:

I think the Pop App prototype came out real nice, but there is still loads of improvements to add. The lectures from Kristina and Eva was really helpful, even though Pop App was really intuitive.

It’s going to be very interesting to hear others opinion on the subject tomorrow when we conduct our evaluation according to the DECIDE model, with cognitive walkthrough as method. One can only hope that they dare to say that our experts aren’t bias tomorrow. My biggest fear is that all the evaluators might be pretty similar as people. All are the same age and all are studying engineering. This lowers the validity of the evaluation somewhat. Ecological validity will of course be low since the setting is gonna be nothing like the metro, and as our prototype will be a on a tablet, which is nothing like the ticket machine that is used in reality.

Exercise 4 - Individual post - Viktor Bram

Since last we have started to create our pop-app which other students during the exercise are going to evaluate. It’s going to be really interesting to see how they interact with it and what they think about it. It’s absolutely not perfect and there are several improvements that can be done. For example I think that the price of your chosen tickets should be shown one step earlier when you actually are deciding how many of each ticker you are going to buy. It will also be interesting to see how the students will act as our experts. Since they all are young and think in similar ways they could be more and less sensitive to the same kind of design flaws and then our result would get distorted.

We have agreed in the group that we’re going to base our evaluation on the DECIDE framework since it’s fit this project purpose quite well. To use this we have must choose the evaluation methods. While it’s possible to use several of them to obtain richer data we’re limited in time and therefore we’re just going use one of them. We had several inspection methods that we could use. We choose to use the heuristic evaluation to evaluate our pop-app since we all think it’s good and it fits the purpose of the next exercise when we’re going to let other students act as experts while evaluating our app. The method is based on heuristics and the ones we are going to use are the Nielsen’s 10 Usability Heuristics.

We have also discussed how we could evaluate our project if we would have unlimited time and resources. If we had that it would put us in a really interesting position, the kind of position of big companies like Apple and Google. One very important thing is that we would be able to create the app on a real ticket machine down the subway.

I think we could still use the DECIDE framework but we could use more and bigger evaluation methods. For example we could still use the heuristic evaluation but we could have even more experts than we are going to have now. This is something they show a graph of in the book that the proportion of usability problems found gets increased by the number of experts.  Also these experts would be educated in evaluation and therefore they would detect more design flaws than the students. They could also give us better solution options.

I talked about using more evaluation methods if we had unlimited resources and another one I think is really good in combination with the heuristic evaluation is a wild study. We could change SL:s whole system on one ticket machine for a day. Then we could have cameras observing how people interact with it. We could also use a predictive model like the GOMS since it would be much easier to apply if we had everything we wanted. A problem that get bigger is the number of ethical issues which would arise using cameras. I think we would be able to handle them though due to our unlimited resources.

// Viktor Bram