Mitu peat\u00fckki tagasi tutvusime v\u00f5imalusega oma arvutis olevast failist andmeid lugeda. T\u00e4nap\u00e4eval tuleb tihti ka ette, et soovitud fail paikneb kusagil internetis. Pythoniga ei ole veebist lugemine eriti raske. Kasutada saab k\u00e4sku Kui meid huvitav info (antud juhul Juhan Liivi luuletuse \"Ta lendab mesipuu poole\" 1. salm) on aadressil https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt<\/a>, siis saame selle k\u00e4tte j\u00e4rgmise programmiga:<\/p>\r\nN\u00e4iteprogramm. Faili lugemine veebist<\/strong>\r\n Eelmises n\u00e4ites lugesime veebist ilma vorminduseta tekstifaili. Suur osa veebis olevatest failidest on keerulisema struktuuriga, sageli sellisega, kus lehek\u00fclje l\u00e4htekood on tavalisele vaatajale arusaamatu. Enamjaolt on l\u00e4htekoodis arvestatud sellega, et veebilehitseja muudaks selle inimesele m\u00f5istetavaks v\u00e4ljundiks. N\u00e4iteks Tartu \u00dclikooli arvutiteaduse instituudi veebileht algab nii:<\/p>\r\n\r\n Esimese rida HTML-keeles on olulisel kohal m\u00e4rgendamine (markup).<\/em> M\u00e4rgendi algust ja l\u00f5ppu t\u00e4histavad s\u00fcmbolid <<\/strong> ja ><\/strong> ning m\u00e4rgendi sisu j\u00e4rgi oskab veebilehitseja teksti sobivalt kuvada. Leidub teisigi m\u00e4rgendikeeli, kus m\u00e4rgendid on erinevalt esitatud (nt dokumentide kirjutamiseks kasutatav LaTeX).<\/p>\r\n\r\n Funktsioonile J\u00e4rgmine programm loeb instituudi veebilehelt 121 esimest m\u00e4rki:<\/p>\r\nN\u00e4iteprogramm. Esimeste s\u00fcmbolite lugemine<\/strong>\r\n Pythoni programmi saab panna veebilehitsejat avama:<\/p>\r\n\r\n V\u00f5ime ka otsis\u00f5na programmi kasutajalt k\u00fcsida:<\/p>\r\n\r\n Mitu peat\u00fckki tagasi tutvusime v\u00f5imalusega oma arvutis olevast failist andmeid lugeda. T\u00e4nap\u00e4eval tuleb tihti ka ette, et soovitud fail paikneb kusagil internetis. Pythoniga ei ole veebist lugemine eriti raske. Kasutada saab k\u00e4sku Kui meid huvitav info (antud juhul Juhan Liivi luuletuse “Ta lendab mesipuu poole” 1. salm) on aadressil https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt<\/a>, siis saame selle k\u00e4tte j\u00e4rgmise programmiga:<\/p>\n N\u00e4iteprogramm. Faili lugemine veebist<\/strong><\/p>\n Hetkel k\u00e4sitlesime kogu teksti tervikuna: algul baitidena, hiljem \u00fche s\u00f5nena. Kuna selles s\u00f5nes on ka reavahetused, siis kuvati s\u00f5ne mitme reana. Kui ridasid on tarvis k\u00e4sitleda eraldi s\u00f5nedena, siis on abiks funktsioon N\u00e4iteprogramm. Faili lugemine veebist koos ridade eraldamisega<\/strong><\/p>\n Rida indeksiga 4 ( Eelmises n\u00e4ites lugesime veebist ilma vorminduseta tekstifaili. Suur osa veebis olevatest failidest on keerulisema struktuuriga, sageli sellisega, kus lehek\u00fclje l\u00e4htekood on tavalisele vaatajale arusaamatu. Enamjaolt on l\u00e4htekoodis arvestatud sellega, et veebilehitseja muudaks selle inimesele m\u00f5istetavaks v\u00e4ljundiks. N\u00e4iteks Tartu \u00dclikooli arvutiteaduse instituudi veebileht algab nii:<\/p>\n Esimese rida HTML-keeles on olulisel kohal m\u00e4rgendamine (markup).<\/em> M\u00e4rgendi algust ja l\u00f5ppu t\u00e4histavad s\u00fcmbolid <<\/strong> ja ><\/strong> ning m\u00e4rgendi sisu j\u00e4rgi oskab veebilehitseja teksti sobivalt kuvada. Leidub teisigi m\u00e4rgendikeeli, kus m\u00e4rgendid on erinevalt esitatud (nt dokumentide kirjutamiseks kasutatav LaTeX).<\/p>\nurlopen<\/code>, mis on vaja eelnevalt importida moodulist urllib.request<\/em>.<\/p>\r\nfrom urllib.request import urlopen\r\n \r\nfailVeebis = urlopen(\"https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt\")\r\nbaidid = failVeebis.read() # kogu fail baitidena\r\ntekst = baidid.decode() # baitidest saab s\u00f5ne\r\nfailVeebis.close()\r\nprint(tekst)<\/pre>\r\nHetkel k\u00e4sitlesime kogu teksti tervikuna: algul baitidena, hiljem \u00fche s\u00f5nena. Kuna selles s\u00f5nes on ka reavahetused, siis kuvati s\u00f5ne mitme reana. Kui ridasid on tarvis k\u00e4sitleda eraldi s\u00f5nedena, siis on abiks funktsioon
splitlines<\/code>, mis jagab \u00fche s\u00f5ne reavahetuse kohtade j\u00e4rgi s\u00f5nede j\u00e4rjendiks:\r\n\r\nN\u00e4iteprogramm. Faili lugemine veebist koos ridade eraldamisega<\/strong>\r\nfrom urllib.request import urlopen\r\n \r\nfailVeebis = urlopen(\"https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt\")\r\nbaidid = failVeebis.read()\r\ntekst = baidid.decode() # baitidest saab s\u00f5ne\r\nridadeKaupa = tekst.splitlines() # s\u00f5ne jaotatakse reavahetuse kohtadelt\r\nfailVeebis.close()\r\nprint(ridadeKaupa[4]) # rida indeksiga 4<\/pre>\r\nRida indeksiga 4 (
ridadeKaupa[4]<\/code><\/code>) on tavam\u00f5istes 5. rida, sest loendamine algab nullist. Kuna tegemist on s\u00f5nega, siis saame indeksi abil k\u00e4tte selle \u00fcksikuid s\u00fcmboleid. N\u00e4iteks real indeksiga 4 saab s\u00fcmboli indeksiga 7 k\u00e4tte k\u00e4suga ridadeKaupa[4][7]<\/code>. Proovi, mis s\u00fcmbol sellel kohal on.\r\nKindel struktuur. HTML<\/h2>\r\n
<!DOCTYPE html>\r\n<html lang=\"et\" dir=\"ltr\">\r\n<head>\r\n <meta http-equiv=\"Content-Type\" content=\"text\/html; charset=utf-8\" \/><\/pre>\r\n
!DOCTYPE html<\/code><\/code> t\u00e4histab, et tegemist on HTML-keelse tekstiga. HTML (HyperText Markup Language<\/em>) on ilmselt levinuim veebilehtede loomisel kasutatav keel. (Loe lisaks https:\/\/et.wikipedia.org\/wiki\/HTML<\/a>). Teisel real n\u00e4idatakse, et keel on eesti keel lang=\"et\"<\/code><\/code> ja tekst on vasakult paremale (dir=\"ltr\",<\/code><\/code> Left-to-right<\/em>). Neljandal real on n\u00e4iteks n\u00e4ha, et teksti kodeering on UTF-8 (charset=utf-8<\/code>).<\/p>\r\nEnesekontroll (1 \u00fclesanne)<\/h3>\r\n
[h5p id=\"38\"]<\/code>\r\nLoetavate s\u00fcmbolite piiramine<\/h3>\r\n
read<\/code> saab anda ka argumendi, mis piirab loetavate m\u00e4rkide arvu. Kui argumenti pole, siis loetakse terve fail.<\/p>\r\nfrom urllib.request import urlopen\r\nfailVeebis = urlopen(\"http:\/\/www.cs.ut.ee\")\r\nbaidid = failVeebis.read(121) # 121 esimest\r\ntekst = baidid.decode() # baitidest saab s\u00f5ne\r\nprint(tekst)\r\nfailVeebis.close()<\/pre>\r\n
Struktuuri t\u00f6\u00f6tlemine<\/h3>\r\nKui lehek\u00fclg on teatud struktuuriga (nt HTML-keeles, millega tutvusime eespool), siis saab kirjutada programmi, mis otsib sealt huvipakkuvaid andmeid. Ka v\u00f5ib lehek\u00fclje aadressis olla aasta, kuu ja kuup\u00e4ev (n\u00e4iteks\r\nhttp:\/\/meteo.physic.ut.ee\/et\/showperiod.php?type=setmonth&year=2018&month=10&m=24<\/a>). J\u00e4rgmine programm loeb aadressilt http:\/\/meteo.physic.ut.ee\/<\/a> \u00fche valitud kuup\u00e4eva andmed ja leiab sealt selle p\u00e4eva keskmise temperatuuri:\r\n\r\nN\u00e4iteprogamm. Keskmise \u00f5hutemperatuuri lugemine<\/strong>\r\n
from urllib.request import urlopen\r\n \r\n#valitud kuup\u00e4ev\r\np\u00e4ev = 24\r\nkuu = 10\r\naasta = 2018\r\n \r\n#paneme lingi kokku\r\nvastus = urlopen(\"http:\/\/meteo.physic.ut.ee\/et\/showperiod.php?type=setday&year=\"+str(aasta)+\"&month=\"+str(kuu)+\"&day=\"+str(p\u00e4ev))\r\n#loeme terve faili\r\nbaidid = vastus.read()\r\ntekst = baidid.decode()\r\n \r\n#otsime failis s\u00f5na 'keskmine', mis on \u00fcmbritsetud HTML-m\u00e4rgenditega\r\notsitav = \"<SMALL>keskmine<\/SMALL><BR><B>\"\r\nalgus = tekst.index(otsitav) #meetod index tagastab otsitava s\u00f5na positsiooni alguse\r\ntemp_algus = algus + len(otsitav) #indeks, kust tekstis v\u00f5ib leida temperatuuri\r\ndeg = tekst.index(\" °\") #peale temperatuuri on t\u00fchik ja s\u00fcmbol\r\ntemp = tekst[temp_algus:deg] #l\u00f5ikame temperatuuri v\u00e4lja\r\n \r\n#v\u00e4ljastame kuup\u00e4eva ja keskmise temperatuuri\r\nprint(str(p\u00e4ev)+\".\"+str(kuu)+\".\"+str(aasta)+\": \"+str(temp))<\/pre>\r\nUuri erinevate p\u00e4evade keskmisi temperatuure. Kui palju erineb 2013. aasta j\u00f5ulup\u00e4eva keskmine 2014. aasta jaanip\u00e4eva keskmisest?\r\n
Veebilehitseja avamine<\/h2>\r\n
from webbrowser import *\r\nopen(\"www.cs.ut.ee\")<\/pre>\r\nAvame programselt lehek\u00fclje, mis n\u00e4itab, mis on \u00f5igekeelsuss\u00f5nastikus kirjas s\u00f5na \"programmeerimine\" kohta (kui kasutame s\u00f5nastikus otsingut, ilmub aadressireale t\u00e4pne aadress, mida programmis kasutada):\r\n
from webbrowser import *\r\naadress = \"http:\/\/www.eki.ee\/dict\/qs\/index.cgi?Q=programmeerimine\"\r\nopen (aadress)<\/pre>\r\n
from webbrowser import *\r\nsona = input(\"Sisestage s\u00f5na: \")\r\naadress = \"http:\/\/www.eki.ee\/dict\/qs\/index.cgi?Q=\" + sona\r\nopen(aadress)<\/pre>\r\n \r\n\r\n ","rendered":"
Veebis on fail<\/h2>\n
urlopen<\/code>, mis on vaja eelnevalt importida moodulist urllib.request<\/em>.<\/p>\nfrom urllib.request import urlopen\r\n \r\nfailVeebis = urlopen(\"https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt\")\r\nbaidid = failVeebis.read() # kogu fail baitidena\r\ntekst = baidid.decode() # baitidest saab s\u00f5ne\r\nfailVeebis.close()\r\nprint(tekst)<\/pre>\n
splitlines<\/code>, mis jagab \u00fche s\u00f5ne reavahetuse kohtade j\u00e4rgi s\u00f5nede j\u00e4rjendiks:<\/p>\nfrom urllib.request import urlopen\r\n \r\nfailVeebis = urlopen(\"https:\/\/kodu.ut.ee\/~marinai\/eprogalused\/mesipuu.txt\")\r\nbaidid = failVeebis.read()\r\ntekst = baidid.decode() # baitidest saab s\u00f5ne\r\nridadeKaupa = tekst.splitlines() # s\u00f5ne jaotatakse reavahetuse kohtadelt\r\nfailVeebis.close()\r\nprint(ridadeKaupa[4]) # rida indeksiga 4<\/pre>\n
ridadeKaupa[4]<\/code><\/code>) on tavam\u00f5istes 5. rida, sest loendamine algab nullist. Kuna tegemist on s\u00f5nega, siis saame indeksi abil k\u00e4tte selle \u00fcksikuid s\u00fcmboleid. N\u00e4iteks real indeksiga 4 saab s\u00fcmboli indeksiga 7 k\u00e4tte k\u00e4suga ridadeKaupa[4][7]<\/code>. Proovi, mis s\u00fcmbol sellel kohal on.<\/p>\nKindel struktuur. HTML<\/h2>\n
<!DOCTYPE html>\r\n<html lang=\"et\" dir=\"ltr\">\r\n<head>\r\n <meta http-equiv=\"Content-Type\" content=\"text\/html; charset=utf-8\" \/><\/pre>\n
!DOCTYPE html<\/code><\/code> t\u00e4histab, et tegemist on HTML-keelse tekstiga. HTML (HyperText Markup Language<\/em>) on ilmselt levinuim veebilehtede loomisel kasutatav keel. (Loe lisaks https:\/\/et.wikipedia.org\/wiki\/HTML<\/a>). Teisel real n\u00e4idatakse, et keel on eesti keel lang=\"et\"<\/code><\/code> ja tekst on vasakult paremale (dir=\"ltr\",<\/code><\/code> Left-to-right<\/em>). Neljandal real on n\u00e4iteks n\u00e4ha, et teksti kodeering on UTF-8 (charset=utf-8<\/code>).<\/p>\nEnesekontroll (1 \u00fclesanne)<\/h3>\n
<\/p>\n