LU-LSP-b

Īssaites: Kalendārs | Uzdevumi | Resursi | Šodiena... (ja ir lekcija)

Linux sistēmas programmēšana (LSP)

LU DF bakalaura studiju kurss DatZ3122, meklēt eStudijās.

• Pasniedzējs: Leo Seļāvo (epasts: vards.uzvards @ gmail.com)

• Vēstkopa komunikācijai par kursa aktualitātēm, uzdevumiem, termiņiem un problēmām:
  • Google grupa lu-lsp-b@googlegroups.com Lai pieteiktos, sekot http://groups.google.lv/group/lu-lsp-b un pieslēgties ar savu google kontu, vai arī sūtīt epastu pasniedzējam.

• Vērtējums = 15% praktiskie darbi, 25% mājas darbi, 10% dalība klasē, 20% KD1 un 30% KD2(eksāmens).

• LSP kursa atsauksmes no iepriekšējiem gadiem.

Praktisko un mājas darbu iesniegšana

• Mājas darbus iesniegt e-studijās vai darbu testēšanas serverī, atkarībā no darba specifikācijas.
• Faila nosaukumam jābūt formā LSP_MD1_Vards_Uzvards.c (Mainot atbilstošo uzdevuma kodu un faila formātu pēc nepieciešamības)
• [!] Nevajag arhivēt failus, ja vien tas nav prasīts uzdevuma nosacījumos

Praktisko darbu vērtēšanas kritēriji

• Praktisko darbu mērķis ir nostiprināt un parādīt izpratni par apgūto vielu, attiecīgi darbi ir jārisina patstāvīgi, tomēr jautājumu uzdošana pasniedzējam vai kolēģiem ir vēlama.
• Maksimālo vērtējumu par praktisko darbu var saņemt, ja tas iesūtīts līdz praktisko darbu lekcijas beigām (vai brīdim, kad vienojamies, ka publiski apskatīsim PD risinājumu).
• Pēc termiņa praktiskie darbi tiek pieņemti vēl tekošo nedēļu (līdz nākamās lekcijas sākumam) un tiks novērtēti, tomēr vairs ne ar maksimālo atzīmi.
• Papildus praktiskajos darbos un lekcijās var izpelnīties "plusiņus" ar dalību diskusijās, unikālu risinājumu un ideju piedāvāšanu, trāpīgu jautājumu uzdošanu, atbildēšanu uz kolēģu jautājumiem u.t.t., kas savukārt palīdzēs savākt +10% no kopējā vērtējuma "par darbu klasē".

Mājas darbu vērtēšanas kritēriji

• Mājas darbu iesniegšanas termiņa laiks ir 30 minūtes pirms lekcijas sākuma
• Ja darbs tiek iesniegts ar novēlošanos (kaut vai 1 min!):
  • Sekundi pēc termiņa rezultāts tiek samazināts par 50%
  • Nedēļu pēc termiņa darbi vairs netiek pieņemti.

Kalendārs

Datums	Tēma, saturs	Uzdevumi
05.02.20 08:30	Ievads kursā Slaidi Unix un Linux operētājsistēmu pamatkoncepcijas un vēsture. Linux sistēmprogrammētaja rīki (shell, gcc, make, manpages u.c.) Vispārīgs pārskats par valodu C.	Uzdots: MD0 mājas darbs - programmēšanas stils - izlasīt un ņemt vērā turpmākajos darbos.
06.02.20 14:30	' [PD0] Praktiskais darbs #0: Iekārtot darba vidi (linux, teksta redaktors, kompilators) izveidot un pašiem nokompilēt ""Hello world"" C valodā Iepazīties ar shell komandām un uzdot jautājumus par neskaidrībām: UNIX čaulas populārākās komandas un lietojumi Lasīt Kas tas ir, Linux? - tagad vai līdz nākamajai lekcijai Lasīt C valodas pamācību no Drexel universitātes.
06.02.20 16:30	Datu struktūras un algoritmi valodā C. Slaidi C standarti, kompilācija, bibliotēkas, linkošana, skalārie un saliktie tipi (t.sk pointeri un masīvi), funkcijas, nosacījumi, cikli	Uzdots: MD1 mājas darbs - dzimtas koks.
12.02.20 08:30	' [PD1] Praktiskais darbs #1 - darbs ar tekstu.
13.02.20 14:30	Darbs ar failiem. Slaidi Sistēmas izsaukumi un standarta bibliotēkas funkcijas faila ievadam un izvadam. Linux piedāvātās programmas darbam ar failu izvadu/ievadu (cat, tail, head, less, telnet u.c.). Failu ievada un izvada ātrdarbības uzlabošana, buferi., ņemot vērā sistēmas arhitektūru.
13.02.20 16:30	' [PD2] Praktiskais darbs #2 - failu kopēšana.
19.02.20 08:30	Failu sistēma Slaidi Faila izmēra noteikšana. Failu saites, stingrās un vājās (hard links, soft links). Failu glabāšana un pieeja operētājsistēmā. i-node jēdziens. Sistēmas izsaukums stat(). Direktoriju struktūra. Izsaukumi opendir(), readdir() un closedir().	Uzdots: MD3 mājas darbs - direktoriju koka apstaigāšana.
20.02.20 14:30	' [PD3] Praktiskais darbs #3 - direktoriju koka apstaigāšana.	Termiņš: MD1
20.02.20 16:30	Failu piekļuves režīmi Slaidi Faila piekļuves tiesību režīmi pie open() un umask. Failu un i-node izsaukumi: chmod(), link(), unlink(), remove(), rename(), symlink(), readlink(), utime(), mkdir(), rmdir(), chdir(), getcwd(). Programma rakstīšanai log failā. Log faili. Ekskluzīva rakstīšana ar open(...O_SYNC) un fcntl() metodēm.
26.02.20 08:30	' [PD4] Praktiskais darbs #4 - programmas analīze.
27.02.20 14:30	Atmiņas arhitektūra Slaidi Atmiņas arhitektūra. Virtuālā atmiņa. TEXT, DATA, HEAP un STACK segmenti. Koplietošanas atmiņa starp procesiem. Procedūru izsaukumi. Parametru nodošana caur steku. Steka satura analīze un piekļuve stekam.
27.02.20 16:30	' [PD_A] Praktiskajos darbos apskatīsim MD1.	Termiņš: MD3
04.03.20 08:30	Virtuālā atmiņa Slaidi Atkārtojums par virtuālo atmiņu un procesa TEXT,DATA, HEAP un STACK segmentiem. Virtuālās atmiņas lapas. Page fault un segmentation fault. Atmiņas aizsardzība. setjmp() un longjmp().	Uzdots: MD4 mājas darbs - atmiņas rezervācijas funkciju salīdzinājums.
05.03.20 14:30	KD1 [KD1] Vidus semestra kontroldarbs.	Kontroldarbs KD1
05.03.20 16:30	' [PD5] Praktiskais darbs #5 - setjmp(),longjmp() un taimera signāls.
11.03.20 08:30	Dinamiskā atmiņa Slaidi Dinamiskā atmiņas izdalīšana. Heap, malloc() un free(). Dienesta informācija pie atmiņas izdalīšanas un atbrīvošanas. Brīvās atmiņas saraksti. Prasības malloc() un free() veiktspējai.
12.03.20 14:30	' [PD6] Praktiskais darbs #6 - atmiņas rezervācija.
12.03.20 16:30	Atmiņas fragmentācija Slaidi Atmiņas fragmentācija. Atmiņas rezervēšanas (allocation) algoritmi, kas darbojas uz atmiņas fragmentiem. Atmiņas 'spaiņi'.	Termiņš: MD4
18.03.20 08:30	' [PD8] Praktiskais darbs #8 - vienkāršs atmiņas alokators fiksēta izmēra objektiem.
19.03.20 14:30	Atkļūdošana Slaidi Linux atkļūdošanas rīki un to lietošana.	Uzdots: MD5 - atmiņas fragmentācijas algoritmu novērtējums (grupās)
19.03.20 16:30	' [PD_D] Izmēģināt atkļūdošanas rīkus. Plānot MD5 grupas. Sākt gatavoties Kursa projektam!	Domāt kursa projekta tēmas!
25.03.20 08:30	Daudz-uzdevumu vide Slaidi Daudz-uzdevumu vide. Procesi un procesu kontrole. Pavedieni (threads). Kooperējošies procesi un preemptīvā daudz-uzdevumu metode. Komanda ps. getpid() un getppid(). fork(), exec(), wait(). system().	Mājas darba MD5 grupu izveidošanas termiņš. Katra grupa: lūdzu atsūtiet vienu e-pastu ar paredzamajiem dalībniekiem!
26.03.20 14:30	' [PD9] Praktiskais darbs #9: Programma kas taisa N pavedienus, kur katrs izdrukā M burtus.	Apspriežam kursa projekta tēmas
26.03.20 16:30	Procesa dzīves cikls Slaidi Procesa dzīves cikls: Procesa ielādēšana, uzsākšanās un pieci veidi kā process var beigties. exit() un _exit(). Starpprocesu komunikācija. Klienta un servera arhitektūra. Iteratīvie un paralēlie serveri. Sockets. Komunikācija starp nesaistītiem procesiem. Kursa projekta diskusija. Sekojiet kursa Slack kanālam! Izvēlētā kursa projekta noteikumu izstrāde Sākt darbu pie protokola formulēšanas - kādas ziņas Jūsuprāt nepieciešams sūtīt tīklā, lai programma pilnvērtīgi strādātu. Piemēram, iepriekšējā gada noteikumi	Termiņš: MD5 Eksāmena projekts: Spēles izvēle un noteikumi Darbs pie [XX spēles noteikumu dokumenta]. Sākam diskutēt par protokolu - nākamajā lekcijā jānonāk līdz pirmajai protokola versijai!
01.04.20 08:30	Signāli Slaidi Signāli. Alarm serviss un signāls. Diskusija par komunikācijas protokolu izstrādi.
02.04.20 14:30	' [PD10] Praktiskais darbs #10 - starpprocesu komunikācija.	Termiņš: Kursa projekta spēles noteikumi+uzmetums protokolam GoogleDoc dokumentā.
02.04.20 16:30	Pavedieni Slaidi Pavedieni. POSIX pavedieni. Mutex. Datu skriešanās (data race condition). Strupceļš (deadlock).
15.04.20 08:30	' Ieskatam servera/klienta komunikācijā PD11, bet nav jānodod. [PD_KP2] Darbs pie kursa projekta.	Termiņš: Spēles protokola gala versija
16.04.20 14:30	Kursa kopsavilkums
16.04.20 16:30	' [PD_KP2] Darbs pie kursa projekta.
xx.xx.xx xx:xx	Eksāmens Eksāmena forma: projektu demonstrācija un prezentācija (darbība, pirmkods, diskusijas). Pirms eksāmena kodam kopā ar kompilācijas un palaišanas instrukcijām jābūt iesniegtam e-studijās!	Iesniegt eksāmena/projekta failus un aprakstu E-studijās

Uzdevumi

Mājas darbi

• MD0: Izlasīt kodēšanas stila dokumentus.
• MD1: Ģimenes koka ģenerēšanas programma.
• MD2 - nav uzdots.
• MD3: Vienādo failu meklēšana direktorijas kokā.
• MD4: Atmiņas rezervācijas funkciju salīdzināšana.
• MD5: Atmiņas fragmentācijas algoritmu novērtējums.

Eksāmens izpaužas kā kursa projekta aizstāvēšana.

Resursi

Pamācoši vingrinājumi un piemēri

• Failu I/O buferi un sekas: divi raksta, redzam trīs...
• Aprēķins, cik laika vajag pārkopēt 1 TB pa baitam bez bufera.
• Paging: piemērs 4K x 4K masīva apstaigāšanai, mainot indeksus: 4K vs 16M page faults

Literatūra

• Advanced Programming in the UNIX(R) Environment, Second Edition, by W. Richard Stevens, Stephen A. Rago. Addison Wesley Professional, 2005, ISBN 0-201-43307-9. (Indiešu eksemplāram ir ISBN 81-317-0005-4)

• "Linux system programming" by Robert Love, O'Reilly Media, 2007, ISBN 0596009585

• Advanced Linux Programming by CodeSourcery LLC,

• "Building Embedded Linux Systems" O'Reilly Media, 2008, ISBN 0596529686

• Sublime_Text_cheat_sheet - Lieliskā Sublime teksta redaktora taustiņu kombinācijas

• To become a good programmer... - C grāmatu saraksts

Programmētāja resursi

• Noderīgas Linux komandas
• Bash by Example @ibm/developerworks
• Intro to Linux kernel

• Programming in C: A Tutorial (by Brian W. Kernighan)
• GCC and make - par gcc kompilatoru no NTU
• Gnu make dokumentācija
• makefile vai Makefile?
• Tipiskas unix direktoriju hierarhijas īss apraksts.

• Sockets:
  • Programming IP Sockets on Linux (tutorial @ gnosis.cx)
  • Sockets Tutorial @ Linux Howtos
  • Berkeley sockets (Wikipēdija)

• http://www.hiraeth.com/alan/tutorials/courses/unixprog.html
• http://lkml.org/
• The Linux Kernel Module Programming Guide

• Mutex tutorial and example

Programmēšanas analīzes rīki

• PMD - scans source code and looks for bugs, dead code, suboptimal code, overcomplicated expressions, duplicate code.

Linux veiktspējas analīze

• Top 20 Linux monitoring tools @cyberciti
• 20 rīki Linux veikstpējas monitoringam (IPTraf u.c.) @tecmint
• CPU analīze
• Disku I/O analīze
• IO profiling at Linux programming blog
• Tīkla analīze
  • Tīkla caurplūdes testi

$ yes | pv | ssh user@example.com "cat > /dev/null"
     97,3MiB 0:01:36 [1,28MiB/s][         <=>    ]

$ mtr -rw -c 100  <server_ip>
     HOST: <myhost>     Loss%   Snt   Last   Avg  Best  Wrst StDev
     1.|-- _gateway      0.0%   100    0.7   0.6   0.3   2.4   0.2
     2.|-- <server_ip>   1.0%   100    1.0   4.3   0.9  26.6   5.7

$ iperf3 -s    # startē serveri vienā galā
     Server listening on 5201
$ iperf3 -c <server_ip>    # startē klientu otrā galā
     Connecting to host <server_ip>, port 5201
     [  5] local 192.168.1.123 port 51846 connected to <server_ip> port 5201
     [ ID] Interval           Transfer     Bitrate         Retr  Cwnd
     [  5]   0.00-1.00   sec  1.42 MBytes  11.9 Mbits/sec    0   89.1 KBytes       
     [  5]   1.00-2.00   sec  1.62 MBytes  13.6 Mbits/sec    0    147 KBytes       
     ...
     [  5]   9.00-10.00  sec  2.30 MBytes  19.3 Mbits/sec    0    595 KBytes       
     - - - - - - - - - - - - - - - - - - - - - - - - -
     [ ID] Interval           Transfer     Bitrate         Retr
     [  5]   0.00-10.00  sec  14.2 MBytes  11.9 Mbits/sec    0             sender
     [  5]   0.00-10.42  sec  11.6 MBytes  9.36 Mbits/sec                  receiver

$ nstat -az | grep -Ei "drop|overflow|retrans"
     TcpRetransSegs                  127923             0.0
     TcpExtLockDroppedIcmps          0                  0.0
     TcpExtListenDrops               1                  0.0
     TcpExtTCPLostRetransmit         11837              0.0
     ...

$ ethtool eth0
     Settings for eth0:
     Supported ports: [ TP ]
     Supported link modes:   10baseT/Half 10baseT/Full
                       100baseT/Half 100baseT/Full
                       1000baseT/Full
     ...

$ sudo ethtool -S eth0 | grep -E "errors|dropped|fifo|collision"
     collisions: 0
     rx_crc_errors: 0
     rx_missed_errors: 0
     tx_aborted_errors: 0
     tx_carrier_errors: 0
     ...

• "bashtop" rīks veiktspējas analīzei

Āķīgi uzdevumi un pieredze

• C/C++ Tricky Programs
• Computers are exact, precise, and logical machines, until they aren’t.
• Advent of Code

Atziņas

• Teach yourself programming in 10 years by Peter Norvig
• Code review: Learn how NASA codes (blog), and Mars Code (ACM article)
• Things Every Hacker Once Knew
• Kāpēc CR+LF? - Par to kāpēc vēsturisku iemeslu dēļ Windows sistēmās teksta rindas beigās ir CR+LF, kamēr Unix sistēmā tikai LF
• Linux Timeline - Linux distributīvu vēstures diagramma.

• Linus ar Linus par Linux un ne tikai, kamēr būvē datoru priekš Linus (2025).

• Linux Distribution Timeline (2024) - liels attēls ar Linux distributīvu savstarpējo saikni un vēsturi.