Atsauksmes
“Pārdomāta programma un nodarbību plāns. Nodarbībā veiksmīgi tiek izmantoti grupu darbi. Pasniedzējs ļoti atvērts, pieejams un iesaistošs.”
Evija
"Kurss ļoti patika! Patika nodarbību struktūra - bija teorētiskas nodarbības, bet lielāko uzsvaru pasniedzējs lika uz praktiskiem uzdevumiem, kas, man šķiet, ir vienīgais veids, kā var iemācīties programmēt. Patika pasniedzēja individuāla pieeja visiem kursa dalībniekiem un grupām - viņš vienmēr palīdzēja, ja bija jautājumi, un pielāgoja nodarbību saturu un tempu kursa dalībniekiem."
Alīna
“Būtiskākais ieguvums no projektu grupu darba ir iespēja pielietot zināšana kamēr vēl tās ir "svaigas". Tā informācija labāk tiek saprasta un ilgāk to atceras.”
Ilmārs
Tīmekļa skrāpēšanas tehnoloģijas ar Python bibliotēkām
Kursa mērķis
Sniegt zināšanas un prasmes pielietot tīmekļa skrāpēšanas tehnikas un metodikas, lai iegūtu un apkopotu datus no tīmekļa lapām, izmantojot Python bibliotēkas Beautiful Soup, Scrapy un Selenium.
Mērķauditorija
Ikviens, kurš apkopo un analīzē datus, sadarbojas ar citiem, aprakstot un prezentējot datus: biznesa un finanšu speciālisti, analītiķi, pētnieki, digitālo mediju speciālisti u.c.
Kursa mērķis
Sniegt zināšanas un prasmes pielietot tīmekļa skrāpēšanas tehnikas un metodikas, lai iegūtu un apkopotu datus no tīmekļa lapām, izmantojot Python bibliotēkas Beautiful Soup, Scrapy un Selenium.
Mērķauditorija
Ikviens, kurš apkopo un analīzē datus, sadarbojas ar citiem, aprakstot un prezentējot datus: biznesa un finanšu speciālisti, analītiķi, pētnieki, digitālo mediju speciālisti u.c.
Tehnoloģijas
Python, Beautiful Soup, Scrapy, Selenium, Lxml, Pyquery
MĀCĪBU NORISE
20% teorija un 80% prakse
Mācības notiek tiešsaistē. Mācības notiek 2 reizes nedēļā pa 4 mācību stundām 6 nedēļu garumā. Mācību laikā dalībnieki apgūst teoriju, ko nostiprina ar praktiskajiem uzdevumiem un grupu projektu.
Projektos balstīta mācīšanās nozīmē darbu grupās, kad mācību dalībnieki izstrādā projektu, kas ir balstīts uz reālu darba situāciju, praktiski pielietojot nodarbībās apgūtās prasmes un zināšanas.
Darbs komandā
Praktiska pieredze
Projekta izstrāde
e-CF 4.0
D.7. Data Science and Analytics L3
E.6. ICT Quality Management L2
E.8. Information Security Management L2
Caurviju kompetences
Komunikācija
Pašattīstība
Darbs komandā
Iniciatīva
E-kompetences un caurviju kompetences
E-kompetences un caurviju kompetences
e-CF 4.0
D.7. Data Science and Analytics L3
E.6. ICT Quality Management L2
E.8. Information Security Management L2
Caurviju kompetences
Komunikācija
Pašattīstība
Darbs komandā
Iniciatīva
Priekšzināšanas
Vēlamas pamatprasmes programmēšanā (algoritmi, loģiskās konstrukcijas).
Vēlamas pamatprasmes Python valodā.
Izpratne par datu analīzes uzdevumiem un mērķiem.
Sertifikācija
Šajā programmā sertifikācija nav iekļauta.
Kursa tēmas
1. Python darba vides sagatavošana:
1.1. Python bibliotēku izvēle
1.2. vaicājumu izmantošana datu iegūšanai
1.3. tīmekļa skrāpēšanas paņēmieni un metodikas vairākām tīmekļa lapu kopām
2. Datu iegūšana:
2.1. vaicājumu izmantošana datu iegūšanai
2.2. skrāpēšanas bibliotēku rīki un to pielietošana datu izgūšanai
2.3. skrāpētāju selektoru izmantošana datu meklēšanai un izgūšanai
2.4. datu ielāde unikodā / UTF-8
3. Skrāpētāju veidošana:
3.1. skrāpētāju funkcionalitātes izvēle
3.2. skrāpētāju funkcionalitātes izstrāde
4. Datu apstrāde:
4.1. datu tīrīšana
4.2. datu kārtošana
4.3. datu trendu analīze
4.4. datu vizualizācija
5. Datu kvalitāte:
5.1. datu ticamības nodrošināšana
5.2. datu atbilstība datu kvalitātes un datu aizsardzības regulām un politikām
6. Sadarbība ar kolēģiem, partneriem, klientiem, prezentējot datu apstrādes un analīzes rezultātus:
6.1. datu iegūšanas, apstrādes un glabāšanas vides ievainojamības un draudu identificēšana un novēršana
6.2. skrāpēšanas bibliotēku Beautiful Soup un Scrapy rīku izmantošana datu izgūšanai
Mācīšanās rezultāti
Pēc sekmīgas mācību programmas apgūšanas kursa dalībnieki varēs patstāvīgi vai ar nelielu pieredzējušāku kolēģu atbalstu:
Izveidot Python darba vidi
Izvēlēties un pielietot uzdevumiem piemērotāko Python bibliotēku
Pielietot tīmekļa skrāpēšanas paņēmienus un metodikas vairākām tīmekļa lapu kopām
Pielietot Python skrāpēšanas bibliotēku rīkus
Pielietot paņēmienus informācijas iegūšanai no tīmekļa lapu datiem, izmantojot datu modeļus un atribūtus
Veidot skrāpētājus ar nepieciešamo funkcionalitāti
Skaidrot interneta vietņu karšu nozīmi datu skrāpēšanas uzdevumos
Veikt datu tīrīšanu ar Python bibliotēku rīkiem
Veikt datu kārtošanu ar Python bibliotēku rīkiem
Pielietot paņēmienus datu ticamības pārbaudei
Veikt datu trendu analīzi ar Python bibliotēku rīkiem
Veidot datu trendu vizualizāciju ar Python bibliotēku rīkiem
Pielietot datu aizsardzības regulas un politiku datu kvalitātes un atbilstības uzturēšanai
Modelēt un plānot sistemātisku datu iegūšanas, apstrādes un glabāšanas vides novērošanu, lai identificētu un definētu ievainojamības un draudus, kā arī reģistrētu un ziņotu neatbilstības
Veidot sadarbību ar kolēģiem, partneriem, klientiem, prezentējot datu apstrādes analīzes rezultātus
Atsauksmes
“Pārdomāta programma un nodarbību plāns. Nodarbībā veiksmīgi tiek izmantoti grupu darbi. Pasniedzējs ļoti atvērts, pieejams un iesaistošs.”
Evija
"Kurss ļoti patika! Patika nodarbību struktūra - bija teorētiskas nodarbības, bet lielāko uzsvaru pasniedzējs lika uz praktiskiem uzdevumiem, kas, man šķiet, ir vienīgais veids, kā var iemācīties programmēt. Patika pasniedzēja individuāla pieeja visiem kursa dalībniekiem un grupām - viņš vienmēr palīdzēja, ja bija jautājumi, un pielāgoja nodarbību saturu un tempu kursa dalībniekiem."
Alīna
“Būtiskākais ieguvums no projektu grupu darba ir iespēja pielietot zināšana kamēr vēl tās ir "svaigas". Tā informācija labāk tiek saprasta un ilgāk to atceras.”
Ilmārs