LU-VIV-m

From DiLab
Revision as of 14:14, 23 November 2021 by Leo (talk | contribs) (→‎07.12.2021.)
Jump to: navigation, search

Shortcuts: Calendar | Assignments | Resources | Today (if there is a class)


Virtuālās vides un paplašinātā realitāte (VIV)

LU DF maģistru un doktorantu studiju kurss DatZ7031, meklēt eStudijās.

[ Virtual environments and augmented reality ]

Par kursu

Kursa ietvaros studenti apskata virtuālās vides un paplašinātās realitātes sistēmas, pielietojumus un saistītās pētniecības problēmas. Lielākā kursa daļa ir jaunāko publikāciju lasīšana, referēšana un diskusijas. Tāpēc studentiem pēc iespējas ātri (MD1) jāizvēlas publikācijas kuras tie lasīs un recenzēs. Otra kursa daļa ir kursa projekts kura piedalās studenti individuāli vai grupās, atkarībā no projekta apjoma un tēmas. Projekta tēmas studenti ir aicināti izvēlēties paši, bet atsevišķas iespējas piedāvās arī pasniedzējs.

Šis kurss ir semināra formā, tas nozīmē, ka jūsu līdzdalība ir būtisks piedevums ne tikai jums kā individuālam studentam, bet visu studentu apgūtajai vielai un kursa mērķu sasniegšanai.



Administratīvā informācija

  • Pasniedzējs: Leo Seļāvo (epasts: vards.uzvards @ gmail.com)
  • Komunikācija notiek ar eStudiju ziņu foruma palīdzību, vai individuāli epastā.


Darbu iesniegšana

Praktisko un mājas darbu iesniegšana izpildāma noteiktajos datumos un laikos elektroniski, e-studijās.

  • Iesniegšanas termiņa laiks ir 30 minūtes pirms lekcijas sākuma.
  • Iesniegto failu vārdam jābūt sekojošā formātā, ar _svītru tukšumu vietā, piemēram: "VIV_MD1_Vards_Uzvards.pdf"
  • Ja iesniedzams teksts, piemēram, eseja vai apraksts, tad failam jābūt PDF formātā, ja vien nav prasīts citādi uzdevuma nosacījumos.
  • Ja iesniedzami vairāki faili, piemēram, programmas pirmkods, tad tie iepriekš arhivējami kā *.zip arhīvs ar tādu pat faila vārdu kā aprakstīts iepriekš: "VIV_MD1_Vards_Uzvards.zip".
  • Ja darbs tiek iesniegts ar novēlošanos, rezultāts tiek samazināts par 50%. Ja darbs iesniegts vairāk kā nedēļu pēc termiņa, pasniedzējs darbu var nepieņemt.


Calendar

Datums, nedēļa Kursa saturs un prezentācijas Uzdevumi

14.09.2021.

Ievads virtuālajās vidēs un to piemēri un pielietojumi.

Kursa materiāli:

Google Glass:

  • Announced #MD0 homework - Virtual classroom.
  • Announced #MD1 homework - Publication selection. / Publikāciju izvēle. Kursa gaitā katram studentam būs jārecenzē vismaz divas publikācijas. Tās vēlams sākumā izvēlēties saskaņā ar savām interesēm, protams, kontekstā ar virtuālajām vidēm.

21.09.2021.

Virtual environments and augmented reality, applications.

Course materials:

Second Life:

05.10.2021.

Virtual worlds and architectures.

  • What is Systems Architecture
  • Exercise: create a systems architecture for Virtual classroom
  • Discussion about the selected publications and presentations

Course reading materials:

  • Bruno, Fabio & Lagudi, Antonio & Barbieri, Loris & Muzzupappa, Maurizio & Mangeruga, Marino & Cozza, Marco & Cozza, Alessandro & Ritacco, Gerardo & Peluso, Raffaele. (2018). Virtual Reality Technologies for the Exploitation of Underwater Cultural Heritage. 10.3390/books978-3-03842-685-1/11. (pdf)

12.10.2021.

Video about augmented reality

  • Termiņš: Prezentāciju laiku izvēlei (eStudijās)
  • #MD2 and #MD3 Due.

19.10.2021.
  • SL & Lambda My diskusija
  • Blender Demo


Studentu presentācijas.

  • .

To be moved:

  • Eduards
  • Casting a Wide Net: An Internet of Things Testbed for Cybersecurity Education and Research. Jay Thom, Tapadhir Das, Bibek Shrestha, Shamik Sengupta, Engin Arslan. 2021 International Symposium on Performance Evaluation of Computer and Telecommunication Systems, Conference Paper · July 2021. (saite).
  • Eduards
  • Playing Video Games During the COVID-19 Pandemic and Effects on Players’ Well-Being. Matthew Barr, Alicia Copeland-Stewart. SAGE Publications Research Article. (saite).


Augmented reality examples

Extras:

  • Vividly app - Walk through buildings before they are built (A VR startup from LV).

26.10.2021.

Studentu presentācijas.

  • Kaspars
  • Grandmaster level in StarCraft II using multi-agent reinforcement learning. Oriol Vinyals, Igor Babuschkin, Wojciech M. Czarnecki, Michaël Mathieu, Andrew Dudzik, Junyoung Chung, David H. Choi, Richard Powell, Timo Ewalds, Petko Georgiev, Junhyuk Oh, Dan Horgan, Manuel Kroiss, Ivo Danihelka, Aja Huang, Laurent Sifre, Trevor Cai, John P. Agapiou, Max Jaderberg, Alexander S. Vezhnevets, Rémi Leblond, Tobias Pohlen, Valentin Dalibard, David Budden, Yury Sulsky, James Molloy, Tom L. Paine, Caglar Gulcehre, Ziyu Wang, Tobias Pfaff, Yuhuai Wu, Roman Ring, Dani Yogatama, Dario Wünsch, Katrina McKinney, Oliver Smith, Tom Schaul, Timothy Lillicrap, Koray Kavukcuoglu, Demis Hassabis, Chris Apps, David Silver. https://www.nature.com. [ (saite)].
  • Audris


Extras:

  • #MD4 Due: Install Blender 2.8 (or newer version) software on the platform of your choice. Make a 3D model of a building. Consider making one that could be 3D printed. Turn in the blender file (md4.blend) and a rendered imege of the object in a pdf file.


  • #MD5 Announced: Choose the topic for your course project and prepare the project proposal.

02.11.2021.

Studentu presentācijas.

  • Gatis
  • The VRNetzer platform enables interactive network analysis in Virtual Reality. Sebastian Pirch, Felix Müller, Eugenia Iofinova, Julia Pazmandi, Christiane V. R. Hütter, Martin Chiettini, Celine Sin, Kaan Boztug, Iana Podkosova, Hannes Kaufmann & Jörg Menche. Nature Communications volume 12, Article number: 2432 (2021). (saite).
  • Raivo
  • Waymo Simulated Driving Behavior in Reconstructed Fatal Crashes within an Autonomous Vehicle Operating Domain. John M. Scanlon, Kristofer D. Kusano, Tom Daniel, Christopher Alderson, Alexander Ogle, Trent Victor. Waymo, LLC pētījums. (saite).

VR applications

09.11.2021.

Studentu presentācijas.

  • Arnis Juraga
  • Hologrāfisks jauktās realitātes risinājums gaisa satiksmes kontrolei. Kyungjin Han, Syed Hammad Hussain Shah and Jong Weon Lee. https://www.mdpi.com/. (saite).
  • Rinalds Vīksna
  • FaceEraser: Removing Facial Parts for Augmented Reality. Miao Hua, Lijie Liu, et.al.. arXiv preprint. (saite).

Augmented Reality (AR) applications

  • #MD5 Due - The project proposal

16.11.2021.

Studentu presentācijas.

  • Audris
  • Kaspars

Microsoft Hololens project:

How Hololens And Microsoft Teams Can Design a Car in Real Time- a presentation at Microsoft Ignite 2017

Next MD - how would you use MS Hololens?

  • Announced #MD7 - Microsoft Hololens application

23.11.2021.

Studentu presentācijas.

  • Gatis
  • The Impact of Virtual Reality on Chronic Pain. Ted Jones, Todd Moore, James Choo. PLoS ONE 11(12): e0167523. (saite).
  • Ronalds
  • State of the art on immersive virtual reality and its use in developing meaningful empathy. ÉderEstrada Villalba, Alejandra LorenaSan Martín Azócar, Fausto AbrahamJacques-García. Computers & Electrical Engineering Numurs 93, Jūnijs 2021, 107272. (saite).

Extras: VR for healthcare

  • #MD7 Due - Microsoft Hololens application
  • #MD8 Announced - Unity 3D

30.11.2021.

Studentu prezentācijas.

  • Raivo
  • Adequacy of Immersive Virtual Reality for the Perception of Daylit Spaces: Comparison of Real and Virtual Environments. Kynthia Chamilothori, Jan Wienold & Marilyne Andersen. LEUKOS. [ (saite)].
  • Eduards
  • Playing Video Games During the COVID-19 Pandemic and Effects on Players’ Well-Being. Matthew Barr, Alicia Copeland-Stewart. journals.sagepub.com. (saite).


Project discussion.

Extras: A week in VR - how did it go?

  • #MD8 Checkpoint - Unity 3D - setup and simple tests done.

07.12.2021.

Studentu presentācijas.

  • Arnis
  • Realistic training in VR using physical manipulation. Alvaro Villegas, Pablo Perez, Redouane Kachach, Francisco Pereira, Ester Gonzalez-Sosa. ResearchGate. (saite).
  • Ronalds
  • The effectiveness of the use of augmented reality in anatomy education: a systematic review and meta-analysis. Kerem A. Bölek, Guido De Jong un Dylan Henssen . Scientific Reports numurs 11, Raksta numurs: 15292 (2021) . (saite).


Project discussion.

14.12.2021.

Studentu prezentācijas.

Rinalds Vīksna

  • Communicating Inferred Goals with Passive Augmented Reality and Active Haptic Feedback. 1 Communicating Inferred Goals with Passive Augmented Reality and Active Haptic FeedbackJames F. Mullen Jr, Josh Mosier et.al.. arXiv preprint. (saite).

Eduards Blumbergs

  • Playing Video Games During the COVID-19 Pandemic and Effects on Players’ Well-Being. Matthew Barr, Alicia Copeland-Stewart. SAGE Publications Research Article. (saite).

Extras:

21.12.2021.

Studentu prezentācijas.

  • .


Project discussion.

Extras:

  • #MD6 Termiņš (RE1 & RE2)

23.12.2021 - xx.01.2022

 Holiday break / Ziemassvētku un Jaungada brīvdienas

11.01.2022

 Final Exam

08:30

Eksāmena forma ir plakāta par izstrādāto projektu prezentācija.

Elektroniski iesniedzami e-studijās (EXAM_files):

  1. Plakāts PDF formā. Faila vārds: VIV_PLA_Vards_Uzvards.pdf
  2. Saite uz lejup-lādējamu Sketchup vai Blender modeli, ja tas ietilpst projektā. faila vārds: VIV_3D_Vards_Uzvards_objekts.skp
  3. Attēls ar 3D modeli (JPG vai PNG), ja tas ietilpst projektā. faila vārds: VIV_PIC_Vards_Uzvards_objekts.jpg
  4. Apraksts, esseja par projektu. Vēlams ierobežot uz 3 lapām. Formāts: PDF. Faila vārds: VIV_EKS_Vards_Uzvards.pdf
    • Aprakstā iekļaut saites uz demonstrējamo materiālu, vai portālu, ja tāds ir.

Assignments

Mājas darbi.

MD0

A virtual classroom

Consider a virtual classroom where students participate in a course such as this one, while being physically distant, yet being able to study, learn and gain knowledge, have discussions, work on assignments and tests in a meaningful way.

Answer the following questions:

Describe the class setup, the tools and the learning methods used. Consider what technologies are necessary to implement this. Describe a scenario where a class is taking place in such a virtual classroom. Outline, what could be implemented right now, e.g. for our class, and what is still in the future due to the lack of technologies or other factors. The submission should be in a PDF file, written in English or Latvian. One or two pages would be a good size for the submission.


MD1

Izvēlēties divas publikācijas referātam. Katrs students kursā prezentē divus referātus par publikācijām virtuālās un paplašinātas realitātes laukos. MD1 ietvaros katram studentam jāsameklē divas publikācijas par attiecīgajām tēmām:

  • publikācijas autori un virsraksts;
  • avots (konference);
  • tēma;
  • saite

Izvēle jāreģistrē elektroniski - šajā anketā.


MD2

Izvērtēt SecondLife virtuālo vidi. Iesniegt aprakstu (1 lpp). Izvērtējot pievērst uzmanību sekojošiem jautājumiem:

  • Kas ir labs un kas slikts šajā vidē
  • Kādi ir potenciālie pielietojumi ārpus pašas spēles (t.sk. vides izstrādātājiem)
  • Vai vidē ir kas nevēlams, lieks, uzlabojams?
  • Ar ko būtu vēlams vidi paplašināt

MD3

Izvērtēt LambdaMoo tekstuālo virtuālo vidi un uzrakstīt salīdzinājuma eseju (ar Second Life) uz vienas lapas.

  • Ja nav iespējas piekļūt LambdaMOO serverim, izlasiet šo aprakstu, tai skaitā sekciju "Basics".

Jautājumi salīdzinošās analīzes anketai:

  • Kas ir labs un kas slikts šajā vidē
  • Kādi ir potenciālie pielietojumi
  • Vai vidē ir kas nevēlams, lieks?
  • Ar ko būtu vēlams vidi paplašināt


MD4

The purpose if this exercise is to explore the 3D modelling tool Blender that could be used for 3D model editing in the virtual worlds.

The task is to create a 3D design as discussed in the class, e.g. of a building. There are no strict requirements for the complexity of the design, but consider creating something that is not trivial.

Consider to make the design such that it could be 3D printed. This is not mandatory, but could be considered as an additional challenge for those that are already familiar with Blender.

Submit the blender file (md4.blend) of the design. Also, submit a PDF file that contains rendering the image.


MD5

Uzrakstīt kursa projekta pieteikumu. Apjoms 1-2 lapas PDF formātā. Aprakstīt sekojošo:

  • Dalībnieki.
  • Par ko ir projekts, motivācija, vīzija. Saistītie risinājumi, un ar ko jūsējais būs atšķirīgs vai pat labāks.
  • Sagaidāmais rezultāts, kā paredzēts realizēt.
  • Risinājums, pieeja problēmai.
  • Plāns, uzdevumi, iestrādes.

Kursa projekts realizējams vai nu individuāli, vai nelielās studentu grupās, atkarībā no sarežģītības. Tēmas ieteicams studentiem izdomāt pašīem, gan balstoties uz apgūto materiālu, gan savām interesēm.

Ir svarīgi, lai tēma rezonētu ar studentu interesēm. Piemēram, ja studentam interesē arhitektūra, tad projekts varētu būt saistīts ar kādas celtnes 3D modeli un sistēmu kas ļauj to apskatīt vai izstaigāt, plus vēl kāda īpašība kas padarītu šo darbu netriviālu. Vai arī mobilā lietotne ar AR elementiem, kas ļautu ar kameru skatīties uz celtnēm un piedāvātu papildus informāciju, kas pārklāta attēlam par konkrēto objektu vai tā detaļām.

Alternatīva tēma ir izveidot 3D modeli kādai svarīgai celtnei (Vec)Rīgā, un iesūtīt modeli Sketchup formātā. Kādreiz šīs ēkas arī centāmies reģistrēt ar Google Earth, bet tas vairs nav aktuāli.

Pēc MD5 iesniegšanas tēmas tiek izvērtētas un komunicējot ar pasniedzēju pielāgotas tā lai būtu gan piemērotākas kursam, gan arī sasniedzamas, gan netriviālas.

MD6

(RE1 & RE2) Iesniegt 2 recenzijas jūsu kursa sākumā izvēlētajiem rakstiem.

  • Atbildēt esejas formā uz sekojošiem jautājumiem:
    1. Jūsu pieredze raksta tēmā: Eksperts; Zinošs; Tēma pazīstama; Tēma iepriekš nezināma.
    2. Īss raksta kopsavilkums
    3. Autoru devums un raksta labās īpašības
    4. Raksta vājās vietas
    5. Komentāri par to, kā rakstu varētu uzlabot vai papildināt.
  • Formāts: PDF. Katra recenzija atsevišķā PDF failā
  • Failu vārdi: VIV_REC1_Vards_Uzvards.pdf
  • Iesūtīt eStudijās sadaļās RE1 un RE2.

MD7

Write a proposal about the project that is using Microsoft Hololens in a novel, constructive way. Use the course videos and materials available on Internet for inspiration and technical specifications. Include the following in the proposal:

  • Concept, idea, motivation.
  • Draft for the technical solution, including the resources needed, such as, application, framework, server or cloud solution, 3D input devices like Hydra.
  • Estimate the complexity for implementing this project, e.g. the team size, roles and time required.

Submit as a PDF document.


MD8

Introduction to Unity.

The purpose of this homework is ntroduction to Unity framework for 3D environment and software design.

  • Download and install Unity 3D framework.
  • Import your blender model from the earlier homework to the Unity environment.
  • Enable the user/player to be walking around and possibly through the imported building.
  • Improve the environment with other assets in Unity.
  • Add at least one active object such as mooving car or a working traffic light to your model.
  • Compile and package your application.
  • Create a description document that describes your application, the interface, has at least 2 screenshots and the link where to download your application and submit as a PDF document for MD8 in e-Studijas.

Resources:

Resources

In the news

  • VRx in medicine, interview with Brennan Spiegel
In his book, VRx: How Virtual Therapeutics Will Revolutionize Medicine, Dr. Brennan Spiegel, a gastroenterologist and Director of Health Services Research at Cedars-Sinai Medical Center in Los Angeles, goes into detail about how virtual reality is playing an increasing role in therapeutic medicine.

Preparing the presentation / Ieteikumi prezentāciju veidošanā

Please plan time accordingly. You should probably have one slide per minute or less.

Do a dry run before the presentation. Practice.

Make the presentation so that it tells the story as visually as you can, rather than having loads of text on the slides.

The presentations should follow a plan along these guidelines:

  • Related work, other solutions, what was missing
  • The current solution from the paper, approach
  • Analysis, experimental setup, experiments, results
  • Discussion
  • Conclusion
  • Prompts or ideas for in-class discussion after the paper presentation

Other sources and guidelines:

Other courses and resources / Kursi un resursi

Previous projects / Iepriekšējie projekti

  • 3D ekrāns ar rotējošu LED matricu (bilde)
  • "Ķiveres" ekrāna perimetra paplašināšana ar LED lentām lai papildinātu klātbūtnes efektu video materiālam uz ekrāna.
  • Virtuāla karte un navigācija, ko vada ar realitātē izvietotiem QR kodiem. Realizācija LU ēkā.
  • "Socicon" - Sociāla vide internetā, kur komunikācija notiek tikai ar attēliem.

External projects / Ārējie projekti

Roblox, virtual environments

Prezentācijas un video

Applications / Pielietojumi

Exergames:

Potential project themes / Iespējamās kursa projektu tēmas

Iedomājieties skolu, kurā katrs priekšmets ir pasaule virtuālajā realitātē. Tas dotu alternatīvu mācību pieeju, skolēni varētu ne tikai lasīt par priekšmetu, bet burtiski spert soli tajā iekšā, lai redzētu un manipulētu ar tēmas objektiem un principiem no iekšienes. Piemēri šādiem priekšmetiem: astronomija, ķīmija, bioloģija, tēlotāja māksla,...

Virtuālā Rīga

  • Rīgas arhitektūras objektu digitāla uzņemšana un integrēšana Rīgas 3D modelī.

Projekts Roblox vidē

  • Roblox ir 3D spēļu izstrādes vide kas iekļauj gan 3D vides dizainu gan arī iespēju papildināt to ar funkcionalitāti programmēšanas valodā Lua.

Arhitektūra un VR (sadarbībā ar uzņēmumu):

  1. Analītiku pievienošana uz integrēta Vr modeļa, tā varētu būt skaņa, gaisma, energoefektivitātes dati real-time attainojumā utt
  2. Interakcijas/ ievades iekārtu testēšana, navigācijas izstrāde iespējams dažādos līmeņos - ar "remote control", "game console", "gesture based with Leap Motion".
    • Iespēja iezīmēt objektus un mainīt to materialitāti, izkārtojumu. Izmaiņu sinhronizācija - kaut kas tiek mainīts VR vidē un izmainās 2D vidē, piemēram plāns.
  3. Saziņa vairāku lietotāju integrācija VR objektā; lietotāju saskarnes funkcionalitāte (frontend | backend).

Competitions / Konkursi

Retrieved from "http://andromeda.df.lu.lv/wiki/index.php?title=LU-VIV-m&oldid=9885"