LU-VIV-m

From DiLab
Revision as of 12:30, 8 December 2020 by Leo (talk | contribs) (→‎08.12.2020.)
Jump to: navigation, search

Shortcuts: Calendar | Assignments | Resources | Today (if there is a class)


Virtuālās vides un paplašinātā realitāte (VIV)

LU DF maģistru un doktorantu studiju kurss DatZ7031, meklēt eStudijās.

[ Virtual environments and augmented reality ]

Par kursu

Kursa ietvaros studenti apskata virtuālās vides un paplašinātās realitātes sistēmas, pielietojumus un saistītās pētniecības problēmas. Lielākā kursa daļa ir jaunāko publikāciju lasīšana, referēšana un diskusijas. Tāpēc studentiem pēc iespējas ātri (MD1) jāizvēlas publikācijas kuras tie lasīs un recenzēs. Otra kursa daļa ir kursa projekts kura piedalās studenti individuāli vai grupās, atkarībā no projekta apjoma un tēmas. Projekta tēmas studenti ir aicināti izvēlēties paši, bet atsevišķas iespējas piedāvās arī pasniedzējs.

Šis kurss ir semināra formā, tas nozīmē, ka jūsu līdzdalība ir būtisks piedevums ne tikai jums kā individuālam studentam, bet visu studentu apgūtajai vielai un kursa mērķu sasniegšanai.



Administratīvā informācija

  • Pasniedzējs: Leo Seļāvo (epasts: vards.uzvards @ gmail.com)
  • Komunikācija notiek ar eStudiju ziņu foruma palīdzību, vai individuāli epastā.


Darbu iesniegšana

Praktisko un mājas darbu iesniegšana izpildāma noteiktajos datumos un laikos elektroniski, e-studijās.

  • Iesniegšanas termiņa laiks ir 30 minūtes pirms lekcijas sākuma.
  • Iesniegto failu vārdam jābūt sekojošā formātā, ar _svītru tukšumu vietā, piemēram: "VIV_MD1_Vards_Uzvards.pdf"
  • Ja iesniedzams teksts, piemēram, eseja vai apraksts, tad failam jābūt PDF formātā, ja vien nav prasīts citādi uzdevuma nosacījumos.
  • Ja iesniedzami vairāki faili, piemēram, programmas pirmkods, tad tie iepriekš arhivējami kā *.zip arhīvs ar tādu pat faila vārdu kā aprakstīts iepriekš: "VIV_MD1_Vards_Uzvards.zip".
  • Ja darbs tiek iesniegts ar novēlošanos, rezultāts tiek samazināts par 50%. Ja darbs iesniegts vairāk kā nedēļu pēc termiņa, pasniedzējs darbu var nepieņemt.


Calendar

Datums, nedēļa Kursa saturs un prezentācijas Uzdevumi

08.09.2020.

Ievads virtuālajās vidēs un to piemēri un pielietojumi.

Kursa materiāli:

Google Glass:

  • Announced #MD0 homework - Virtual classroom.
  • Announced #MD1 homework - Publication selection. / Publikāciju izvēle. Kursa gaitā katram studentam būs jārecenzē vismaz divas publikācijas. Tās vēlams sākumā izvēlēties saskaņā ar savām interesēm, protams, kontekstā ar virtuālajām vidēm.

15.09.2020.

Virtual environments and augmented reality, applications.

Course materials:

Second Life:

22.09.2020.

Virtual worlds and architectures.

  • What is Systems Architecture
  • Exercise: create a systems architecture for Virtual classroom
  • Discussion about the selected publications and presentations

Course reading materials:

  • Bruno, Fabio & Lagudi, Antonio & Barbieri, Loris & Muzzupappa, Maurizio & Mangeruga, Marino & Cozza, Marco & Cozza, Alessandro & Ritacco, Gerardo & Peluso, Raffaele. (2018). Virtual Reality Technologies for the Exploitation of Underwater Cultural Heritage. 10.3390/books978-3-03842-685-1/11. (pdf)

29.09.2020.

Video about augmented reality

06.10.2020.

Student presentations.

Kirils Gorjunovs

  • An Augmented Reality Head-Up Display System with a Wide-View Eyebox. Pei-Jung Wu, Chih-Hao Chuang, Chien-Yu Chen , 3 Jeng-Han Wu, and Bor-Shyh Lin. International Journal of Optics Volume 2020, Article ID 4719268. (saite).



Augmented reality examples

Extras:

  • Vividly app - Walk through buildings before they are built (A VR startup from LV).

13.10.2020.

Student presentations.

Maija Rēdmane

  • Cooperation of Virtual Reality and Real Objects with HoloLens. Jindřich Cýrus, David Krcmarik, Michal Petru, Jan Kočí. Cooperation of Virtual Reality and Real Objects with HoloLens. (saite).

Dainis Silamiķelis

  • A Gamification Approach to Improve the Software Development Process by Exploring the Personality of Software Practitioners. Mert Yilmaz, Murat Yilmaz, Rory V. O’Connor, Paul Clarke. International Conference on Software Process Improvement and Capability Determination. (saite).

Kirils Gorjunovs

  • HTC Vive: Analysis and Accuracy Improvement. Miguel Borges, Andrew Symingtony, Brian Coltiny, Trey Smithz, Rodrigo Ventura. NASA arhivs. (saite).


Extras:

  • #MD4 Due: Install Blender 2.8 (or newer version) software on the platform of your choice. Make a 3D model of a building. Consider making one that could be 3D printed. Turn in the blender file (md4.blend) and a rendered imege of the object in a pdf file.


  • #MD5 Announced: Choose the topic for your course project and prepare the project proposal.

20.10.2020.

Student presentations.

Mārtiņš Osmanis

  • MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality. SHANGCHEN HAN, BEIBEI LIU, RANDI CABEZAS, CHRISTOPHER D. TWIGG, PEIZHAO ZHANG, JEFF PETKAU, TSZ-HO YU, CHUN-JUNG TAI, MUZAFFER AKBAY, ZHENG WANG, ASAF NITZAN, GANG DONG, YUTING YE, LINGLING TAO, CHENGDE WAN, and ROBERT WANG, Facebook Reality Labs. https://dl.acm.org/doi/abs/10.1145/3386569.3392452. (saite).

Klāvs Spruģevics

  • Interactive three-dimensional virtual environment to reduce the public speaking anxiety levels of novice software engineers. Nazligul M. Denizci, Yilmaz Murat, Gulec Ulaş, Yilmaz AE, Isler Veysi, O'Connor RV, Gozcu Mert Ali, Clarke Paul. IET Research Journals Vol. 13, nr. 2, p. 152-158, 2018. (saite).


VR applications

27.10.2020.

Student presentations.

Kristers Krūmiņš

  • Spatial cognitive implications of teleporting through virtual environments. Lucia A. Cherep, Alex F. Lim, Jonathan W. Kelly, Devi Acharya, Alfredo Velasco. source. [ (saite)].

Andris Eihmanis

  • Toward Virtual Reality-based Evaluation of Robot Navigation among People. Fabien Grzeskowiak* Inria Rennes Bretagne Atlantique Marie Babel† Inria Rennes Bretagne Atlantique Julien Bruneau Inria Rennes Bretagne Atlantique Julien Pettre‡ Inria Rennes Bretagne Atlantique. https://ieeexplore.ieee.org. (saite).

Pavel Poliuskov

  • Understanding the diffusion of virtual reality glasses: The role of media, fashion and technology. Marc Herza , Philipp A. Rauschnabelb. Journal - Technological Forecasting & Social Change. [ (saite)].

Augmented Reality (AR) applications

  • #MD5 Due - The project proposal

03.11.2020.

Student presentations.

Dainis Silamiķelis

  • Coordination Platform for a Swarm of Mobile Robots. John Chavez, Jonatan Gómez, Ernesto Córdoba. Distributed Computing and Artificial Intelligence, 15th International Conference . (saite).

Lada Gorjunova

  • Design and Evaluation of an Augmented Reality Game for Cybersecurity Awareness (CybAR. Hamed Alqahtani, Manolya Kavakli-Thorne Department of Computing, Macquarie University, Sydney 2113, Australia. MDPI and ACS Style Journal, Published: 21 February 2020. (saite).

Microsoft Hololens project:

How Hololens And Microsoft Teams Can Design a Car in Real Time - a presentation at Microsoft Ignite 2017

Next MD - how would you use MS Hololens?

  • Announced #MD7 - Microsoft Hololens application

10.11.2020.

Student presentations.

Aija Kraševska

  • Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Hyun K. Kima, Jaehyun Parkb,, Yeongcheol Choib, Mungyeong Choeb. Applied Ergonomics. (saite).

Klāvs Spruģevics

  • An interactive and responsive virtual reality environment for participatory urban planning. Schrom-Feiertag Helmut, Stubenschrott Martinm, Regal Georg, Matyus Thomas, Seer Stefan. Proceedings of the Symposium on Simulation for Architecture and Urban Design SimAUD, p. 119-125., 2020.. (saite).

Extras: VR for healthcare

  • #MD7 Due - Microsoft Hololens application
  • #MD8 Announced - Unity 3D

17.11.2020.

Student presentations.

Maija Rēdmane

  • OpenBIM-Tango integrated virtual showroom for offsite manufactured production of self-build housing. Farzad Pour Rahimiana, Veselina Chavdarovab, Stephen Oliverb, Farhad Chamob, Lilia Potseluyko Amobib. OpenBIM-Tango integrated virtual showroom for offsite manufactured production of self-build housing. (saite).

Kristers Krūmiņš


Project discussion.

Extras: A week in VR - how did it go?

  • #MD8 Checkpoint - Unity 3D - setup and simple tests done.

24.11.2020.

Student presentations.

Artūrs Timrots

  • Saccade landing position prediction for gaze-contingent rendering. Elena Arabadzhiyska, Okan Tarhan Tursun, Karol Myszkowski, Karol Myszkowski, Hans Peter Seidel, Peter Seidel, Piotr Didy. ACM Digital Library. (saite).

Pavel Poliuskov

  • Edge Assisted Real-time Object Detection for Mobile Augmented Reality. Luyang Liu, Hongyu Li, Marco Gruteser. MOBICOM19. (saite).

Lada

  • Virtual Reality Exercise as a Coping Strategy for Health and Wellness Promotion in Older Adults during the COVID-19 Pandemic. Zan Gao, Jung Eun Lee, Daniel J. McDonough, Callie Albers. MDPI. (saite).


Project discussion.

01.12.2020.

Student presentations.

Aija Kraševska

  • Decreasing Pain Ratings in Chronic Arm Pain Through Changing a Virtual Body: Different Strategies for Different Pain Types. Marta Matamala-Gomez,Ana M. Diaz Gonzalez,Mel Slater,Maria V Sanchez-Vives. Journal of Pain (2018). (saite).


Andris Eihmanis

  • LiveDeep: Online Viewport Prediction for Live Virtual Reality Streaming Using Lifelong Deep Learning. Xianglong Feng* Rutgers University Yao Liu† SUNY Binghamton Sheng Wei‡ Rutgers University. https://ieeexplore.ieee.org/. (saite).


Project discussion.

08.12.2020.

Student presentations.

Artūrs Timrots

  • Visualizing Eye Tracking Data (may change). Andrada Pancu, Fanni Egresits, Laura Van Der, Michael Burch Youssef Selim, Bij, Omar Salem, Tarik Hacialiogullari, . researchGate. (saite).

Mārtiņš Osmanis

  • A Survey and Implementation of Fast-Input Typing Methods in Virtual Reality. Ryan Kim, Katherine Donahoe, Prithvi Sriram. Google Scholar. (saite).

Viesturs Gribulis

  • A Virtual-Reality System Integrated With Neuro-Behavior Sensing for Attention-Deficit/Hyperactivity Disorder Intelligent Assessment. Shih-Ching Yeh; Sheng-Yang Lin; Eric Hsiao-Kuang Wu; Kai-Feng Zhang; Xu Xiu; Albert Rizzo; Chia-Ru Chung. IEEE Transactions on Neural Systems and Rehabilitation Engineering. (saite).


Project discussion.

Extras:

15.12.2020.

Student presentations.

  • Maija R.
  • OpenBIM-Tango integrated virtual showroom for offsite manufactured production of self-build housing. Farzad Pour Rahimiana, Veselina Chavdarovab, Stephen Oliverb, Farhad Chamob, Lilia Potseluyko Amobib. OpenBIM-Tango integrated virtual showroom for offsite manufactured production of self-build housing. (saite).

Project discussion.

22.12.2020.

Student presentations.


Project discussion.

Extras:

23.12.2020. - xx.01.2021.

 Holiday break / Ziemassvētku un Jaungada brīvdienas

xx.01.2021.

 Final Exam

xx:00

Final exam - file submission. Please include the following, as appropriate for your project. Please compress all files in one package as a ZIP file and name VIV_EKS_Name_Lastname.zip:

  1. VIV_EKS_Name_Lastname.pdf - Essay, describing the project and including the list of participants. Include an external reference to the demo as appropriate.
  2. VIV_PLA_Name_Lastname.pdf - Poster in PDF, PNG or JPEG format.
  3. VIV_3D_Name_Lastname.zip - 3D models (Sketchup, Blender,...) as appropriate.
  4. Any other files relevant to the project.


Assignments

Mājas darbi.

MD0

A virtual classroom

Consider a virtual classroom where students participate in a course such as this one, while being physically distant, yet being able to study, learn and gain knowledge, have discussions, work on assignments and tests in a meaningful way.

Answer the following questions:

Describe the class setup, the tools and the learning methods used. Consider what technologies are necessary to implement this. Describe a scenario where a class is taking place in such a virtual classroom. Outline, what could be implemented right now, e.g. for our class, and what is still in the future due to the lack of technologies or other factors. The submission should be in a PDF file, written in English or Latvian. One or two pages would be a good size for the submission.


MD1

Izvēlēties divas publikācijas referātam. Katrs students kursā prezentē divus referātus par publikācijām virtuālās un paplašinātas realitātes laukos. MD1 ietvaros katram studentam jāsameklē divas publikācijas par attiecīgajām tēmām:

  • publikācijas autori un virsraksts;
  • avots (konference);
  • tēma;
  • saite

Izvēle jāreģistrē elektroniski - šajā anketā.


MD2

Izvērtēt SecondLife virtuālo vidi. Iesniegt aprakstu (1 lpp). Izvērtējot pievērst uzmanību sekojošiem jautājumiem:

  • Kas ir labs un kas slikts šajā vidē
  • Kādi ir potenciālie pielietojumi ārpus pašas spēles (t.sk. vides izstrādātājiem)
  • Vai vidē ir kas nevēlams, lieks, uzlabojams?
  • Ar ko būtu vēlams vidi paplašināt

MD3

Izvērtēt LambdaMoo tekstuālo virtuālo vidi un uzrakstīt salīdzinājuma eseju (ar Second Life) uz vienas lapas.

  • Ja nav iespējas piekļūt LambdaMOO serverim, izlasiet šo aprakstu, tai skaitā sekciju "Basics".

Jautājumi salīdzinošās analīzes anketai:

  • Kas ir labs un kas slikts šajā vidē
  • Kādi ir potenciālie pielietojumi
  • Vai vidē ir kas nevēlams, lieks?
  • Ar ko būtu vēlams vidi paplašināt


MD4

The purpose if this exercise is to explore the 3D modelling tool Blender that could be used for 3D model editing in the virtual worlds.

The task is to create a 3D design as discussed in the class, e.g. of a building. There are no strict requirements for the complexity of the design, but consider creating something that is not trivial.

Consider to make the design such that it could be 3D printed. This is not mandatory, but could be considered as an additional challenge for those that are already familiar with Blender.

Submit the blender file (md4.blend) of the design. Also, submit a PDF file that contains rendering the image.


MD5

Uzrakstīt kursa projekta pieteikumu. Apjoms 1-2 lapas PDF formātā. Aprakstīt sekojošo:

  • Dalībnieki.
  • Par ko ir projekts, motivācija, vīzija. Saistītie risinājumi, un ar ko jūsējais būs atšķirīgs vai pat labāks.
  • Sagaidāmais rezultāts, kā paredzēts realizēt.
  • Risinājums, pieeja problēmai.
  • Plāns, uzdevumi, iestrādes.

Kursa projekts realizējams vai nu individuāli, vai nelielās studentu grupās, atkarībā no sarežģītības. Tēmas ieteicams studentiem izdomāt pašīem, gan balstoties uz apgūto materiālu, gan savām interesēm.

Ir svarīgi, lai tēma rezonētu ar studentu interesēm. Piemēram, ja studentam interesē arhitektūra, tad projekts varētu būt saistīts ar kādas celtnes 3D modeli un sistēmu kas ļauj to apskatīt vai izstaigāt, plus vēl kāda īpašība kas padarītu šo darbu netriviālu. Vai arī mobilā lietotne ar AR elementiem, kas ļautu ar kameru skatīties uz celtnēm un piedāvātu papildus informāciju, kas pārklāta attēlam par konkrēto objektu vai tā detaļām.

Alternatīva tēma ir izveidot 3D modeli kādai svarīgai celtnei (Vec)Rīgā, un iesūtīt modeli Sketchup formātā. Kādreiz šīs ēkas arī centāmies reģistrēt ar Google Earth, bet tas vairs nav aktuāli.

Pēc MD5 iesniegšanas tēmas tiek izvērtētas un komunicējot ar pasniedzēju pielāgotas tā lai būtu gan piemērotākas kursam, gan arī sasniedzamas, gan netriviālas.

MD6

Iesniegt 2 recenzijas jūsu kursa sākumā izvēlētajiem rakstiem.

  • Atbildēt esejas formā uz sekojošiem jautājumiem:
    1. Jūsu pieredze raksta tēmā: Eksperts; Zinošs; Tēma pazīstama; Tēma iepriekš nezināma.
    2. Īss raksta kopsavilkums
    3. Autoru devums un raksta labās īpašības
    4. Raksta vājās vietas
    5. Komentāri par to, kā rakstu varētu uzlabot vai papildināt.
  • Formāts: PDF. Katra recenzija atsevišķā PDF failā
  • Failu vārdi: VIV_REC1_Vards_Uzvards.pdf
  • Iesūtīt eStudijās sadaļās RE1 un RE2.

MD7

Write a proposal about the project that is using Microsoft Hololens in a novel, constructive way. Use the course videos and materials available on Internet for inspiration and technical specifications. Include the following in the proposal:

  • Concept, idea, motivation.
  • Draft for the technical solution, including the resources needed, such as, application, framework, server or cloud solution, 3D input devices like Hydra.
  • Estimate the complexity for implementing this project, e.g. the team size, roles and time required.

Submit as a PDF document.


MD8

Introduction to Unity.

The purpose of this homework is ntroduction to Unity framework for 3D environment and software design.

  • Download and install Unity 3D framework.
  • Import your blender model from the earlier homework to the Unity environment.
  • Enable the user/player to be walking around and possibly through the imported building.
  • Improve the environment with other assets in Unity.
  • Add at least one active object such as mooving car or a working traffic light to your model.
  • Compile and package your application.
  • Create a description document that describes your application, the interface, has at least 2 screenshots and the link where to download your application and submit as a PDF document for MD8 in e-Studijas.

Resources:

Resources

In the news

Preparing the presentation / Ieteikumi prezentāciju veidošanā

Please plan time accordingly. You should probably have one slide per minute or less.

Do a dry run before the presentation. Practice.

Make the presentation so that it tells the story as visually as you can, rather than having loads of text on the slides.

The presentations should follow a plan along these guidelines:

  • Related work, other solutions, what was missing
  • The current solution from the paper, approach
  • Analysis, experimental setup, experiments, results
  • Discussion
  • Conclusion
  • Prompts or ideas for in-class discussion after the paper presentation

Other sources and guidelines:

Other courses and resources / Kursi un resursi

Previous projects / Iepriekšējie projekti

  • 3D ekrāns ar rotējošu LED matricu (bilde)
  • "Ķiveres" ekrāna perimetra paplašināšana ar LED lentām lai papildinātu klātbūtnes efektu video materiālam uz ekrāna.
  • Virtuāla karte un navigācija, ko vada ar realitātē izvietotiem QR kodiem. Realizācija LU ēkā.
  • "Socicon" - Sociāla vide internetā, kur komunikācija notiek tikai ar attēliem.

External projects / Ārējie projekti

Roblox, virtual environments

Prezentācijas un video

Applications / Pielietojumi

Exergames:

Potential project themes / Iespējamās kursa projektu tēmas

Virtuālā Rīga

  • Rīgas arhitektūras objektu digitāla uzņemšana un integrēšana Rīgas 3D modelī.

Projekts Roblox vidē

  • Roblox ir 3D spēļu izstrādes vide kas iekļauj gan 3D vides dizainu gan arī iespēju papildināt to ar funkcionalitāti programmēšanas valodā Lua.

Arhitektūra un VR (sadarbībā ar uzņēmumu):

  1. Analītiku pievienošana uz integrēta Vr modeļa, tā varētu būt skaņa, gaisma, energoefektivitātes dati real-time attainojumā utt
  2. Interakcijas/ ievades iekārtu testēšana, navigācijas izstrāde iespējams dažādos līmeņos - ar "remote control", "game console", "gesture based with Leap Motion".
    • Iespēja iezīmēt objektus un mainīt to materialitāti, izkārtojumu. Izmaiņu sinhronizācija - kaut kas tiek mainīts VR vidē un izmainās 2D vidē, piemēram plāns.
  3. Saziņa vairāku lietotāju integrācija VR objektā; lietotāju saskarnes funkcionalitāte (frontend | backend).

Competitions / Konkursi

Retrieved from "http://andromeda.df.lu.lv/wiki/index.php?title=LU-VIV-m&oldid=9193"