LU-VIV-m

Shortcuts: Calendar | Assignments | Resources | Today (if there is a class)

Virtuālās vides un paplašinātā realitāte (VIV)

LU DF maģistru un doktorantu studiju kurss DatZ7031, meklēt eStudijās.

[ Virtual environments and augmented reality ]

Par kursu

Kursa ietvaros studenti apskata virtuālās vides un paplašinātās realitātes sistēmas, pielietojumus un saistītās pētniecības problēmas. Lielākā kursa daļa ir jaunāko publikāciju lasīšana, referēšana un diskusijas. Tāpēc studentiem pēc iespējas ātri (MD1) jāizvēlas publikācijas kuras tie lasīs un recenzēs. Otra kursa daļa ir kursa projekts kura piedalās studenti individuāli vai grupās, atkarībā no projekta apjoma un tēmas. Projekta tēmas studenti ir aicināti izvēlēties paši, bet atsevišķas iespējas piedāvās arī pasniedzējs.

Šis kurss ir semināra formā, tas nozīmē, ka jūsu līdzdalība ir būtisks piedevums ne tikai jums kā individuālam studentam, bet visu studentu apgūtajai vielai un kursa mērķu sasniegšanai.

Administratīvā informācija

• Pasniedzējs: Leo Seļāvo (epasts: vards.uzvards @ gmail.com)
• Komunikācija notiek ar eStudiju ziņu foruma palīdzību, vai individuāli epastā.

Darbu iesniegšana

Praktisko un mājas darbu iesniegšana izpildāma noteiktajos datumos un laikos elektroniski, e-studijās.

• Iesniegšanas termiņa laiks ir 30 minūtes pirms lekcijas sākuma.
• Iesniegto failu vārdam jābūt sekojošā formātā, ar _svītru tukšumu vietā, piemēram: "VIV_MD1_Vards_Uzvards.pdf"
• Ja iesniedzams teksts, piemēram, eseja vai apraksts, tad failam jābūt PDF formātā, ja vien nav prasīts citādi uzdevuma nosacījumos.
• Ja iesniedzami vairāki faili, piemēram, programmas pirmkods, tad tie iepriekš arhivējami kā *.zip arhīvs ar tādu pat faila vārdu kā aprakstīts iepriekš: "VIV_MD1_Vards_Uzvards.zip".
• Ja darbs tiek iesniegts ar novēlošanos, rezultāts tiek samazināts par 50%. Ja darbs iesniegts vairāk kā nedēļu pēc termiņa, pasniedzējs darbu var nepieņemt.

Calendar

Datums, nedēļa	Kursa saturs un prezentācijas	Uzdevumi
08.09.2020.	Ievads virtuālajās vidēs un to piemēri un pielietojumi. Lasīt: Par virtuālām vidēm un to vēsturi Kursa materiāli: Ray Kurzweil on how technology will transform us (TED talks) Google Glass: Why Google Glass? Sergey Brin on TED.com	Uzdots #MD0 mājas darbs - Virtuālā klase. Uzdots #MD1 mājas darbs - Publikāciju izvēle. Kursa gaitā katram studentam būs jārecenzē vismaz divas publikācijas. Tās vēlams sākumā izvēlēties saskaņā ar savām interesēm, protams, kontekstā ar virtuālajām vidēm. Ievadīt elektroniski, sekojot saitei uz MD1.
15.09.2020.	Virtuālās vides un paplašinātā realitāte. Pielietojumi. Kursa materiāli: Microsoft kartes un augmentētā realitāte (TED video). Microsoft Virtual Earth (TED video) Sixth Sense: MIT augmentētas vides projekts portāls un publikācijas SixthSense demo, Patie Maes at TED Pranav Mistry demo (on youtube) Second Life: Second Life, where anything is possible: Philip Rosedale on TED.com	Uzdots #MD2 mājas darbs - izpētīt SecondLife
22.09.2020.	Virtuālās pasaules un to arhitektūras. Diskusija par izvēlētajiem pētniecības rakstiem un prezentācijām. Kursa materiāli: Virtual World Architectures - IEEE Internet Computing raksts, September/October 2011 (Vol. 15, No. 5) pp. 11-14 (pdf)	Jāiesniedz #MD1 Uzdots #MD3 mājas darbs - izpētīt LambdaMoo How to log into LambdaMOO (Hint: telnet lambda.moo.mud.org 8888)
29.09.2020.	Video materiāli par paplašināto realitāti MetaVision talk at TED Jinha Lee - Reach into the computer and grab a pixel	#MD2 and #MD3 Due.
xx.xx.2020.	Valts Liepiņš Storage Solutions for Big Data Systems: A Qualitative Study and Comparison. Samiya Khana, Xiufeng Liub, Syed Arshad Alia, Mansaf Alama. ArXiv Computing Research Repository. (saite). Elvis Plācis RCAT: A Scalable Architecture for Massively Multiuser Online Environments. Thomas Debeauvais, Arthur Valadares, Cristina V. Lopes Institute for Software Research and Department of Informatics, UC Irvine. Report. (saite). Augmented reality examples A vision of future with holograms (by Alex Kipman at TED - the inventor of Kinect and HoloLens. Extras: Vividly app - Walk through buildings before they are built (A VR startup from LV). Diskusija par kursa projektiem.
xx.xx.2020.	Edgars Oļehnovičs High performance communication by people with paralysis using an intracortical brain-computer interface. Chethan Pandarinath, Paul Nuyujukian, Christine H Blabe, Brittany L Sorice, Jad Saab, Francis R Willett, Leigh R Hochberg, Krishna V Shenoy, Jaimie M Henderson. The National Center for Biotechnology Information advances science and health by providing access to biomedical and genomic information. [brīvi pieejams: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5319839/pdf/elife-18554.pdf (saite)]. Valts Liepiņš The blockchain: a new framework for robotic swarm systems. Eduardo Castelló Ferrer. ArXiv Computing Research Repository. (saite). Extras: What Makes a Spoon a Spoon? Form and Function in VR Industrial Design - what happens when form no longer follows function? From Oculus Connect VR conferences: Michael Abrash on future of VR at Oculus Connect 3 Michael Abrash opening keynote at Oculus Connect 6	#MD4 Due: Review of the article Virtual World Architectures - IEEE Internet Computing raksts, September/October 2011 (Vol. 15, No. 5) pp. 11-14 (pdf) #MD5 Announced: Choose the topic for your course project and prepare the project proposal.
xx.xx.2020.	Ieva Lapiņa Meta-analysis of the impact of Augmented Reality on students’ learning gains. Juan Garzón, Juan Acevedo. Educational Research Review Volume 27, June 2019, Pages 244-260. (saite). Elvis Plācis USING A VIRTUAL ENVIRONMENT TO EVALUATE PEDESTRIAN STREET CROSSING DECISIONS AT A TRAFFIC ROUNDABOUT. Haojie Wu. Dissertation Submitted to the Faculty of the Graduate School of Vanderbilt University in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY in COMPUTER SCIENCE. (saite). VR pielietojumi NASA un kosmonautu trenniņa VR eksperiments 20 gadu garumā
xx.xx.2020.	Guntis Šusts Is a Virtual Reality-based Laboratory Experience a Viable Alternative to the Real Thing?. James McCusker, Mohammed A. Almaghrabi, Bryon Kucharski. 2018 ASEE Annual Conference & Exposition. (saite). Katrīna Šakera-Pelcmane Augmented Reality vs. Virtual Reality: Differences and Similarities. Sagar R. Chavan. International Journal of Advanced Research in Computer Engineering & Technology. (saite). VR un paplašinātās realitātes (AR) pielietojumi Paplašinātā realitāte katrā darba vietā - Harvard Business review.	#MD5 Due - The project proposal
xx.xx.2020.	Ieva Lapiņa Effects of virtual presence and learning outcome using low-end virtual reality systems. Matias N.Selzer, Nicolas F.Gazcon,Martin L.Larrea. Displays Volume 59, September 2019, Pages 9-15. (saite). Diāna Ozoliņa Security and Privacy for Augmented Reality Systems. Franziska Roesner, Tadayoshi Kohno, David Molnar. Communications of the ACM. (saite). Maksims Ivanovs Virtual Environment Training: A New Tool for Neurorehabilitation. . Holden, Dyar.. Neurology Report, 2002, Vol. 26, No. 2. . (saite). Microsoft Hololens projekts: Hololens review - by a private party Hololens WEMO Operator System - business applications Microsoft HoloLens: HoloTour - virtual tourism How Hololens And Microsoft Teams Can Design a Car in Real Time - a presentation at Microsoft Ignite 2017 Next MD - how would you use MS Hololens?	Uzdots #MD7 - Microsoft Hololens application
xx.xx.2020.	Virtuāla nodarbība. Tās nozīmē, ka klasē nenotiek, bet pildāmi projekti un mājas darbi. Prezentācijas tiks pārceltas: Mairis Kalmikovs Cybersickness. Shi-Hong Liu, Neng-Hao Yu. IEEE VR OSAKA. (saite). Extras: VR for healthcare Think F.A.S.T. VR saves lives and improves stroke training by Qualcomm, (video) VR for surgical training by OSSO VR at Medgadget, (video) OSSO VR presentation at Nvidia emerging companies summit.	#MD7 Due - Microsoft Hololens application
xx.xx.2020.	Maksims Ivanovs Virtually Ostracized: Studying Ostracism in Immersive Virtual Environments.. Kassner, Wesselmann, Law, Williams.. Cyberpsychology, Behavior, and Social Networking, 15(8).. (saite). Edgars Oļehnovičs The Investigation of Virtual School Communications. Marley Belair. TechTrends. [caur lu bibliotēkas springer link var piekļūt pilnam rakstam: https://link.springer.com/article/10.1007/s11528-012-0584-2 (saite)]. Antons Starostins A Review on Industrial Augmented Reality Systems for the Industry 4.0 Shipyard. PAULA FRAGA-LAMAS, (Member, IEEE), TIAGO M. FERNÁNDEZ-CARAMÉS, (Senior Member, IEEE), ÓSCAR BLANCO-NOVOA, AND MIGUEL A. VILAR-MONTESINOS. ieee.org. [ (saite)]. Jūsu projekti
xx.xx.2020.	Diāna Ozoliņa A Game A Day Keeps The Doctor Away: A Short Review Of Computer Games In Mental Healthcare. Luciano Gamberini, Giacinto Barresi, Alice Majer, Fabiola Scarpetta. Journal of CyberTherapy & Rehabilitation. (saite). Mairis Kalmikovs Enabling augmented reality using eye gaze tracking. Ashwin SwaminathanMahesh Ramachandran. Google Patents. (saite). Jūsu projekti
xx.xx.2020.	Guntis Šusts Virtual Object of Learning for Driving Through Virtual Reality with Development of Peripherals and Glasses for Virtual Reality . Manuel García, Javier Vargas, Lauren Isaza. International Journal of Applied Engineering Research. (saite). Nenotika Elīna Samsonova Eye Tracking in Virtual Reality. Viviane Clay, Peter König, Sabine König. Journal of eye movement research. (saite). Jūsu projekti
xx.xx.2020.	Maija Kāle Space Food Experiences: Designing Passenger's Eating Experiences for Future Space Travel Scenarios. Marianna Obrist, Yunwen Tu, Lining Yao, Carlos Velasco . Frontiers in Computer Science. (saite). Diskusija par jūsu projektiem. Extras: Knee Anesthetic Injection Virtual Reality Trainer	Uzdots #MD6
xx.xx.2020.	Katrīna Šakera-Pelcmane Why and who will adopt extended reality technology? Literature review, synthesis, and future research agenda. Stephanie Hui-Wen Chuah. Preprint from Researchgate. (saite). Maija Kāle Eating with our eyes: From visual hunger to digital satiation. Charles Spence, Charles Michel. Brain and Cognition. (saite). Demos at Okajima Lab Andrejs Jencis The Internet-of-Things (IoT) Security : A Technological Perspective and Review. Dr. Yusuf Perwej, Firoj Parwej, Mumdouh Mirghani Mohamed Hassan, Nikhat Akhtar. International Journal of Scientific Research in Computer Science, Engineering and Information Technology. (saite). Jūsu projekti
xx.xx.2020.	Elīna Samsonova Consumers' food selection behaviors in three-dimensional (3D) virtual reality. Michael Siegrista , Chin-Yih Unga , Markus Zankb , Max Marinelloa , Andreas Kunzb , Christina Hartmanna , Marino Menozzia. Food Research International. [ (saite)]. Antons Starostins Why Every Organization Needs an Augmented Reality Strategy. Michael Porter, James Heppelmann. Harvard Business review . (saite). Andrejs Jencis Towards Security and Privacy for Multi-UserAugmented Reality: Foundations with End Users. Kiron Lebeck, Kimberly Ruth, Tadayoshi Kohno, Franziska Roesner. This paper appears at the 39th IEEE Symposium on Security and Privacy (Oakland 2018). (saite). Extras: Keynote at Vision Summit 2016 (video) Jonny Lee: Free or cheap Wii Remote hacks Jinha Lee: A tool that lets you touch pixels Chris Milk: How virtual reality can create the ultimate empathy machine Aaron Koblin: Visualizing ourselves ... with crowd-sourced data	#MD6 Termiņš
23.12.2020. - xx.01.2021.	Ziemassvētku un Jaungada brīvdienas
14.01.2021.	Final Exam 11:00, location: Room 312, Raiņa blv.19.	Final exam - file submission. Please include the following, as appropriate for your project. Please compress all files in one package as a ZIP file and name VIV_EKS_Name_Lastname.zip: VIV_EKS_Name_Lastname.pdf - Essay, describing the project and including the list of participants. Include an external reference to the demo as appropriate. VIV_PLA_Name_Lastname.pdf - Poster in PDF, PNG or JPEG format. A few hints about making a good poster VIV_3D_Name_Lastname.zip - 3D models (Sketchup, Blender,...) as appropriate. Any other files relevant to the project.

Assignments

Mājas darbi.

MD0

A virtual classroom

Consider a virtual classroom where students participate in a course such as this one, while being physically distant, yet being able to study, learn and gain knowledge, have discussions, work on assignments and tests in a meaningful way.

Answer the following questions:

Describe the class setup, the tools and the learning methods used. Consider what technologies are necessary to implement this. Describe a scenario where a class is taking place in such a virtual classroom. Outline, what could be implemented right now, e.g. for our class, and what is still in the future due to the lack of technologies or other factors. The submission should be in a PDF file, written in English or Latvian. One or two pages would be a good size for the submission.

MD1

Izvēlēties divas publikācijas referātam. Katrs students kursā prezentē divus referātus par publikācijām virtuālās un paplašinātas realitātes laukos. MD1 ietvaros katram studentam jāsameklē divas publikācijas par attiecīgajām tēmām:

• publikācijas autori un virsraksts;
• avots (konference);
• tēma;
• saite

Izvēle jāreģistrē elektroniski - šajā anketā.

MD2

Izvērtēt SecondLife virtuālo vidi. Iesniegt aprakstu (1 lpp). Izvērtējot pievērst uzmanību sekojošiem jautājumiem:

• Kas ir labs un kas slikts šajā vidē
• Kādi ir potenciālie pielietojumi ārpus pašas spēles (t.sk. vides izstrādātājiem)
• Vai vidē ir kas nevēlams, lieks, uzlabojams?
• Ar ko būtu vēlams vidi paplašināt

MD3

Izvērtēt LambdaMoo tekstuālo virtuālo vidi un uzrakstīt salīdzinājuma eseju (ar Second Life) uz vienas lapas.

• Ja nav iespējas piekļūt LambdaMOO serverim, izlasiet šo aprakstu, tai skaitā sekciju "Basics".

Jautājumi salīdzinošās analīzes anketai:

• Kas ir labs un kas slikts šajā vidē
• Kādi ir potenciālie pielietojumi
• Vai vidē ir kas nevēlams, lieks?
• Ar ko būtu vēlams vidi paplašināt

MD4

Review of the article Virtual World Architectures - IEEE Internet Computing raksts, September/October 2011 (Vol. 15, No. 5) pp. 11-14 (pdf)

The paper review has to answer the following questions:

• The summary of the ideas in the paper
• The strengths of the paper
• The weaknesses of the paper
• Suggestions for the improvement of the paper

The submission format is a PDF document

MD5

Uzrakstīt kursa projekta pieteikumu. Apjoms 1-2 lapas PDF formātā. Aprakstīt sekojošo:

• Dalībnieki.
• Par ko ir projekts, motivācija, vīzija. Saistītie risinājumi, un ar ko jūsējais būs atšķirīgs vai pat labāks.
• Sagaidāmais rezultāts, kā paredzēts realizēt.
• Risinājums, pieeja problēmai.
• Plāns, uzdevumi, iestrādes.

Kursa projekts realizējams vai nu individuāli, vai nelielās studentu grupās, atkarībā no sarežģītības. Tēmas ieteicams studentiem izdomāt pašīem, gan balstoties uz apgūto materiālu, gan savām interesēm.

Ir svarīgi, lai tēma rezonētu ar studentu interesēm. Piemēram, ja studentam interesē arhitektūra, tad projekts varētu būt saistīts ar kādas celtnes 3D modeli un sistēmu kas ļauj to apskatīt vai izstaigāt, plus vēl kāda īpašība kas padarītu šo darbu netriviālu. Vai arī mobilā lietotne ar AR elementiem, kas ļautu ar kameru skatīties uz celtnēm un piedāvātu papildus informāciju, kas pārklāta attēlam par konkrēto objektu vai tā detaļām.

Alternatīva tēma ir izveidot 3D modeli kādai svarīgai celtnei (Vec)Rīgā, un iesūtīt modeli Sketchup formātā. Kādreiz šīs ēkas arī centāmies reģistrēt ar Google Earth, bet tas vairs nav aktuāli.

Pēc MD5 iesniegšanas tēmas tiek izvērtētas un komunicējot ar pasniedzēju pielāgotas tā lai būtu gan piemērotākas kursam, gan arī sasniedzamas, gan netriviālas.

MD6

Iesniegt 2 recenzijas jūsu kursa sākumā izvēlētajiem rakstiem.

• Atbildēt esejas formā uz sekojošiem jautājumiem:
  1. Jūsu pieredze raksta tēmā: Eksperts; Zinošs; Tēma pazīstama; Tēma iepriekš nezināma.
  2. Īss raksta kopsavilkums
  3. Autoru devums un raksta labās īpašības
  4. Raksta vājās vietas
  5. Komentāri par to, kā rakstu varētu uzlabot vai papildināt.
• Formāts: PDF. Katra recenzija atsevišķā PDF failā
• Failu vārdi: VIV_REC1_Vards_Uzvards.pdf
• Iesūtīt vienā epastā pasniedzējam. Subj: "VIV REC Vards Uzvards"

MD7

Write a proposal about the project that is using Microsoft Hololens in a novel, constructive way. Use the course videos and materials available on Internet for inspiration and technical specifications. Include the following in the proposal:

• Concept, idea, motivation.
• Draft for the technical solution, including the resources needed, such as, application, framework, server or cloud solution, 3D input devices like Hydra.
• Estimate the complexity for implementing this project, e.g. the team size, roles and time required.

Submit as a PDF document.

Resources

• Publikāciju izvēle un prezentēšana
• Grāmata: Augmented Reality (InTech open)
• KZero blog - virtuālās pasaules, analīze.
• What to read about virtual environments @ ResearchGate

In the news

• Augmented Reality @ 3D news
• VIV-News

Preparing the presentation / Ieteikumi prezentāciju veidošanā

Please plan time accordingly. You should probably have one slide per minute or less.

Do a dry run before the presentation. Practice.

Make the presentation so that it tells the story as visually as you can, rather than having loads of text on the slides.

The presentations should follow a plan along these guidelines:

• Related work, other solutions, what was missing
• The current solution from the paper, approach
• Analysis, experimental setup, experiments, results
• Discussion
• Conclusion
• Prompts or ideas for in-class discussion after the paper presentation

Other sources and guidelines:

• http://www.catalysis.nl/links/presentations/presentation.php
• http://www.ellenfinkelstein.com/powerpointtips/powerpoint_tip_how_many_bullets.html
• http://www.presentationzen.com/presentationzen/2007/03/a_few_weeks_ago.html
• http://www.presentationzen.com/

Other courses and resources / Kursi un resursi

• Udacity kurss par interaktīvu 3D datorgrafiku.
• VR Developer nanodegree by Udacity

• Programming in Lua

Previous projects / Iepriekšējie projekti

• Virtuālā Rīga 3D modeļi Vecrīgā un Rīgā, ko veidojuši kursa studenti.
  • Vermanes darzs - course project

• Ģeolokācijas spēle

• 3D ekrāns ar rotējošu LED matricu (bilde)
• "Ķiveres" ekrāna perimetra paplašināšana ar LED lentām lai papildinātu klātbūtnes efektu video materiālam uz ekrāna.
• Virtuāla karte un navigācija, ko vada ar realitātē izvietotiem QR kodiem. Realizācija LU ēkā.
• "Socicon" - Sociāla vide internetā, kur komunikācija notiek tikai ar attēliem.

External projects / Ārējie projekti

• Everyday Experiments by IKEA

• CAVE = Cave automatic virtual environment (Wikipedia)
• Virtuālās alas (CAVE) un liela formāta, modulāri displeji ( atsevišķa lapa)

• "Holodeck-i"
  • Microsoft To Boldly Go Where No Videogame Company Has Gone Before?!
  • USC is Making a Real-Life Holodeck
  • Real-Life Holodeck Takes Scientists Out of This World
  • Real Life Holodeck with an Oculus Rift - Computerphile

• MSR un virtuālā realitāte

• Building Virtual Worlds Carrying on the Legacy of Randy Pausch's "Head Fake" @ CMU

• USAF virtuālais muzejs un USAF SR71 lidmašīnas pilota kabīne, pilns 360 skats.

• Inside USC’s crazy experimental VR lab
• Vividly - VR for architecture - made in Latvia.

• Augmentētā klinšu kāpšana
  • Kāpšana
  • Spēles (video).

• AR treneris biljardam

• 3D 4 Medical

• Apple U1 chip enabling UWB for localization

Roblox, virtual environments

• The Freedom Monument, Riga, Latvia
• Vermanes darzs - course project

Prezentācijas un video

• Jinha Lee - Reach into the computer and grab a pixel

• About Sixth Sense from MIT by:
  • Patie Maes
  • Pranav Mistry

• Sergey Brin about Why Google Glass

• Eric Berlow and Sean Gourley: Mapping ideas worth spreading

Applications / Pielietojumi

• AppliedVR pielietojumi sāpju mazināšanas terapijā
• Neiroķirurgi Stenfordas universitātē lieto VR

Potential project themes / Iespējamās kursa projektu tēmas

Virtuālā Rīga

• Rīgas arhitektūras objektu digitāla uzņemšana un integrēšana Rīgas 3D modelī.

Projekts Roblox vidē

• Roblox ir 3D spēļu izstrādes vide kas iekļauj gan 3D vides dizainu gan arī iespēju papildināt to ar funkcionalitāti programmēšanas valodā Lua.

Arhitektūra un VR (sadarbībā ar uzņēmumu):

1. Analītiku pievienošana uz integrēta Vr modeļa, tā varētu būt skaņa, gaisma, energoefektivitātes dati real-time attainojumā utt
2. Interakcijas/ ievades iekārtu testēšana, navigācijas izstrāde iespējams dažādos līmeņos - ar "remote control", "game console", "gesture based with Leap Motion".
   • Iespēja iezīmēt objektus un mainīt to materialitāti, izkārtojumu. Izmaiņu sinhronizācija - kaut kas tiek mainīts VR vidē un izmainās 2D vidē, piemēram plāns.
3. Saziņa vairāku lietotāju integrācija VR objektā; lietotāju saskarnes funkcionalitāte (frontend | backend).

Competitions / Konkursi

• Archhive