Tietokannat
- Tietokannan luominen
- Tietokantayhteys
- Kyselyt
- Lisääminen
- Poistaminen
- Päivittäminen
- Monimutkaisemmat tulostukset
- Transaktiot
- Automaattiset avainkentät
- Lisätietoa
Harjoitellaan tietokantojen käyttämistä.
Mallivastaus: reseptit (Lähdekoodi, Template)
Katso ennen näiden tehtävien tekemistä luennot: Tietokannat ja Python ja Tietokannat ja python jatkoa.
Tietokantatehtävät voi tehdä Flaskin sijaan myös tavallisella CGI-ohjelmalla tai ajamalla sovellusta suoraan halavassa/jalavassa komentoriviltä.
Muista myös Pythonin sqlite3-kirjaston dokumentaatio
Tietokannan luominen
Tehtävissä käytetään SQLite3-tietokantaa, jota voidaan hallinnoida suoraan komentoriviltä käynnistyvällä työkalulla. Samaan tapaan onnistuu myös hienompien tietokannan hallintajärjestelmien hallinnointi (PostgreSQL, MySQL). SQLite-tietokannan kanssa mahdollisesti vastaantulevista ongelmista on oma FAQ.
- Ota Puttylla SSH-yhteys halava.cc.jyu.fi:hin.
- Siirry public_html-kansioosi eli symbolisen linkin kautta W:-asemaa vastaavaan paikkaan. Luo tänne alihakemisto hidden ellet luonut sitä jo aiemmin.
- Kopioi itsellesi resepti.sql-tiedosto wget-komennolla:
wget http://appro.mit.jyu.fi/tiea2080/ohjaus/ohjaus4/resepti.sql
Tietokannan rakenne:
- Avaa hidden-kansiossa sqlite3 komennolla:
sqlite3 resepti
- Luo tietokannan rakenne komennolla:
.read resepti.sql
SQLite lukee resepti.sql-tiedoston ja suorittaa sen sisältämät SQL-komennot. Jos SQLite kaatuu niin käynnistä se uudelleen.
SQLite luo nyt uuden resepti-tiedoston ja tekee siitä tietokannan. SQLite saattaa kaatua mutta sen pitäisi silti luoda tietokanta. Kokeile käynnistämällä SQlite uudelleen ja kirjoittamalla .tables. Jos saat listauksen tietokannan tauluista niin kaikki on ok.
Jos kannan luominen sql-lauseilla ei mitenkään onnistu voit yrittää kopioida valmiin kantatiedoston ja avata sen komennolla sqlite3 resepti.sqlite.
- Voit tutustua sqlite3-työkalun osaamiin komentoihin kirjoittamalla .help.
- Tutki tietokantasi rakennetta seuraavilla komennoilla: .tables, .schema resepti ja .schema ruokalaji.
- Tutki mitä taulut sisältävät yksinkertaisilla SQL-kyselyillä:
SELECT * FROM Resepti;
SELECT * FROM Ruokalaji;
- .quit-komennolla pääset takaisin unix-shelliin.
- Anna tietokantaan ja kansioon (hidden), jossa tietokantatiedosto sijaitsee, kaikille kirjoitusoikeus (chmod a+rw resepti ja chmod a+rwx ./), niin tietokantaan kohdistuvat muutosoperaatiot toimivat jatkossa myös WWW:n kautta.
Tietokantayhteys
Sovelluksen alussa pitää luoda tietokantaan yhteys, jota käytetään koko suorituksen ajan. Yhteyden avaaminen on aina raskas prosessi, joten turhaan yhteyttä ei pidä aukoa ja sulkea. Suurissa sovelluksissa tietokantayhteys pidetään auki pitempään ja samaa yhteyttä käytetään uudelleen ja uudelleen.
Huom! Älä käytä globaaleja muuttujia
- Lisää Flask-ohjelmaasi uusi sivu /reseptit.
Flask-koodi
#!/polku/omaan/virtuaaliymparistoon/venv/bin/python # -*- coding: utf-8 -*- import sys from wsgiref.handlers import CGIHandler from werkzeug.debug import DebuggedApplication try: from oma import app as application if __name__ == '__main__': handler = CGIHandler() handler.run(DebuggedApplication(application)) except: print "Content-Type: text/plain;charset=UTF-8\n" print "Syntaksivirhe:\n" for err in sys.exc_info(): print str(err)
import sqlite3 import logging import os logging.basicConfig(filename='../../../hidden/flask.log',level=logging.DEBUG) from contextlib import closing # voidaan napata kiinni palvelimen virheet @app.errorhandler(werkzeug.exceptions.InternalServerError) def handle_internal_server_error(e): return Response('Internal Server Error\n' + str(e), status=500, content_type="text/plain; charset=UTF-8") @app.route('/reseptit') def reseptit(): # voit itse napata virheet kiinni try..exceptilla. Testivaiheessa voidaan luottaa ylläolevaan # werkzeugin virhekäsittelyyn, joka heittää virheet näkyville selaimeen. # tuotantokäytössä olevassa sovelluksessa virheitä ei pidä näyttää käyttäjille # Tietokantayhteyden avaaminen pitäisi laittaa try..exceptin sisään! # # Oletetaan että sovellus on kansiossa /~omatunnus/cgi-bin/tiea2080/ohjaus4/ # ja tietokanta on kansiossa /~omatunnus/hidden/ # os.path.abspath muuntaa suhteellisen polun absoluuttiseksi, joka taasen kelpaa sqlitelle con = sqlite3.connect(os.path.abspath('../../../hidden/resepti')) return Response("Toimii")
- Asetetaan tietokantayhteydessä viite-eheydet (foreign keys) käyttöön:
con.execute("PRAGMA foreign_keys = ON")
-
Aseta tietokantayhteyteen seuraavat asetukset jotta voidaan kursoreissa viitata kenttiin niiden nimillä:
# voidaan käsitellä palautettuja tietueita niiden kenttien nimillä con.row_factory = sqlite3.Row
- Sinulla pitäisi olla nyt seuraavankaltainen koodi:
#tietokantayhteyden avaaminen ja olennaiset asetukset con = sqlite3.connect(os.path.abspath('../../../hidden/resepti')) con.row_factory = sqlite3.Row con.execute("PRAGMA foreign_keys = ON")
- Kokeile selaimella toimiiko ohjelmasi ilman virheilmoituksia
- Kun tietokantayhteyttä ei enää tarvita niin sulje yhteys:
con.close()
Kyselyt
Tietokantaan kohdistuvat kyselyt ovat jokaisen sovelluksen perusta. Jos SQL-kyselyiden kirjoittaminen tuottaa suuria hankaluuksia voit harjoitella niitä Henkilökohtaisen tiedonhallinnan perusteet -kurssin demotehtävillä.
-
Valmistele yksinkertainen kysely:
sql = """ SELECT nimi as Nimi, kuvaus as Kuvaus, henkilomaara as Henkilomaara FROM resepti """
- Luo Cursor-objekti ja suorita (execute) kysely. Ota kiinni
mahdolliset virhetilanteet ja kirjoita ne logiin.
cur = con.cursor() try: cur.execute(sql) except: logging.debug("kysely ei toimi") for err in sys.exc_info(): logging.debug(err)
-
Luo tuloksena saaduista tietueista Jinja-templatelle sopiva tietorakenne. Seuraavassa on esimerkki
sql = """ SELECT nimi as Nimi, kuvaus as Kuvaus, henkilomaara as Henkilomaara FROM resepti """ cur = con.cursor() cur.execute(sql) # suoritetaan kysely reseptit = cur.fetchall() #haetaan kaikki kyselyn tulokset con.close() # suljetaan yhteys tietokantaan return render_template('reseptit.html', reseptit=reseptit)
- Vie reseptit templatelle. Voit ensimmäisessä versiossa suoraan tulostaa tietorakenteen templatessa näkyville.
{{ reseptit }}
Kokeile suorittaa ohjelmasi selaimessa. Tee tämän jälkeen siistimpi tulostusversio eli käy näkymässä silmukassa läpi reseptit-rakenne, joka toimii kuten dict, ja tulosta sen sisältö kauniisti taulukkona. Esim.<table> <caption>Reseptit</caption> {%for r in reseptit:%} <tr><th>{{r['nimi']}}</th> <td>{{r['kuvaus']}}</td> <td>{{r['henkilomaara']}}</td> {%endfor%} </table>
Kenttien nimissä isoilla ja pienillä kirjaimilla ei ole merkitystä.
- Yleensä kyselyjä pitää rajoittaa sopivilla ehdoilla, jotka muuttuvat ohjelman suorituksen mukana. Tällöin kyselystä
tulee dynaaminen. Muuta edellistä kyselyä seuraavanlaiseksi:
# valmistellaan kysely ja sijoitetaan dynaamisen arvon tilalle :lkm-muuttuja sql = '''SELECT Nimi, Kuvaus, Henkilomaara, ReseptiID, RuokaLajiID FROM Resepti WHERE henkilomaara = :lukumaara ''' lkm = 4 cur.execute( sql, {"lukumaara":lkm})
Kokeile sivun toimintaa Kokeile muuttaa lkm-muuttujan arvoa.
lukumaara-placeholderin nimessä on merkitystä isoilla ja pienillä kirjaimilla. :lukumaara on eri asia kuin :Lukumaara. - Yritä käydä sama kursori läpi silmukalla kahteen kertaan. Jälkimmäisellä kerralla ei pitäisi löytyä mitään. Kursori antaa kertaalleen tietokantakyselyn tulokset ja jos haluaa ne uudelleen on suoritettava execute uudelleen. Samaa kyselyä ei kannata suorittaa useaan kertaan vaan kannattaa ottaa heti talteen mitä tarvitsee.
- Hae tietokannasta kaikki reseptit ja vie ne templatelle. Hae myös kaikki ruokalajit. Tulosta nämä kaikki siististi näkyville www-sivullesi niin voit helpommin testata seuraavia tehtäviä, kun sivua uudelleen ladattaessa näet heti mitä muutoksia sisältöön on tullut.
Muuttujia saa sijoittaa kyselyihin vain edellämainitulla tavalla tai käyttäen ?-merkki placeholdereita! Missään tapauksessa sijoittamista ei saa tehdä normaaleilla merkkijono-operaatioilla. Oikein toimiessa tietokanta pitää itse huolen siitä, että sijoitettavat arvot ovat tarpeen mukaan heittomerkkien sisällä tai ilman. Tietokanta pitää myös huolen, että kenttiin ei tule vääräntyyppistä tietoa. Kyselyjen valmistelu parantaa tietoturvaa SQL Injection -tyyppisiä hyökkäyksiä vastaan.
Lisääminen
Tietojen lisääminen tapahtuu valmisteltujen kyselyjen avulla aivan samaan tapaan kuin kyselyjenkin tekeminen:
- Lisätään tietokantaan uusi resepti. Luo suusi valmisteltava kysely muotoon:
INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID, ReseptiID) VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji, :reseptiid)
- Kehittele jokin reseptin nimi ja lyhyt kuvaus (esim. makaronilaatikko) ja luo muuttujat kaikille parametreille. resepti.sql:stä voit katsoa millaisilla ID-arvoilla ruokalajeja on olemassa. Anna ReseptiID:ksi joku sellainen numero mitä ei vielä ole tietokannassa (esim. 10).
- Sido muuttujat kyselyyn ja suorita sovelluksesi lataamalla sivu uudelleen.
- Kokeile suorittaa saman reseptin lisääminen uudelleen. Onnistuuko vai saatko virheilmoituksen?
Ota try..exceptillä kiinni mahdolliset virheet ja tulosta ne lokitiedostoon.
Muistathan, että lisäys ei jää voimaan jollet hyväksy transaktiota:
con.commit()
Muistathan myös, että kahta reseptiä ei voi lisätä samalla reseptiID:llä (perusavaimen eheys!). Kokeile millaisen virheilmoituksen saat. Entäs jos yrität käyttää ruokalajin id:nä väärää arvoa? Kokeile millainen virheilmoitus nyt tulee.- IntegrityError: PRIMARY KEY must be unique
- IntegrityError: Constraint failed: Ruokalajia ei löydy
- Kokeile jättää reseptiid kokonaan pois INSERT-lauseesta:
Poista reseptiid myös execute-kutsun parametreista. Miksi tämä versio toimii?INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID) VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji)
Tietokannan rakenteessa on määritelty, että reseptiid on tyypiltään autoincrement, jolloin tietokanta keksii sen tarvittaessa itse. Tämä ei ole standardia SQL-kieltä vaan sqlite3:n ominaisuus. Esim. Postgresql-tietokannassa sama onnistuisi käyttämällä tyyppiä SERIAL.
ReseptiID INTEGER PRIMARY KEY AUTOINCREMENT
Poistaminen
- Lisää uusi kysely. Poistetaan edellä lisätty resepti.
DELETE FROM resepti WHERE reseptiID = :id
- Luo id-muuttuja ja sille arvo, joka löytyy tietokannasta. Esim. numero 2. (kts. resepti.sql). Sido muuttuja kyselyyn. Kokeile onnistuuko poistaminen.
- Yritä poistaa ruokalajeja. Onnistuuko se ilman ongelmia?
Voitko vapaasti poistaa minkä tahansa ruokalajin?
IntegrityError: constraint failed: Ruokalajia ei voida poistaa, koska se on käytössä
Käytössä olevia ruokalajea ei voi poistaa viite-eheyden takia:
CONSTRAINT Resepti_RuokalajiID FOREIGN KEY (RuokalajiID) REFERENCES Ruokalaji (RuokalajiID)
- Kokeile poistaa kerralla useampia tietueita. Tämä onnistuu esim. kyselyllä:
DELETE FROM taulu WHERE tunniste IN (1, 2, 3)
- Pohdi miten tekisit poistamisen hakusanan perusteella (ei tarvitse tässä toteuttaa).
- Ole hyvin tarkkana tehdessäsi poistoja ja päivityksiä. Jos haluat poistaa tai päivittää juuri tietyn tietuun niin sinun pitää aina viitata siihen käyttäen perusavainta, joka yksilöi tietueen. Jos käytät muita ehtoja niin helposti poistat tai päivität vääriä tietueita.
Päivittäminen
- Päivittäminen tapahtuu tismalleen samaan tapaan kuin poistaminenkin, mutta nyt pitää antaa myös päivitettävien kenttien uusi sisältö.
- Tee uusi kysely
UPDATE resepti SET henkilomaara = :maara WHERE reseptiID = :reseptiID
- Muuta jonkun lisäämäsi tietueen henkilömäärä toiseksi luvuksi.
- Aja kysely napauttamalla selaimen Refresh-painiketta.
- Tarkista, että muutos tapahtui tietokannan komentorivikäyttöliittymästä antamalla SQL-kysely:
SELECT * FROM resepti WHERE reseptiid = ?;
Monimutkaisemmat tulostukset
Kyselyjen kohdistuessa useampaan tauluun voi tulla kiusaus kirjoittaa silmukka, joka tekee useita hyvin samankaltaisia kyselyjä tietokantaan. Tietokanta menee kuitenkin helposti jumiin, jos siihen kohdistuu kyselyjä hirvittävän nopealla tahdilla. Hyvänä perussääntönä voi pitää: minimoi tietokantaan kohdistuvien erillisten operaatioiden määrä. Yksittäisessä kyselyssä kannattaa kuitenkin tietokanta laittaa tekemään kaikki mahdolliset laskutoimitukset ja järjestämiset.
- Listataan kaikki ruokalajit otsikkoina ja otsikon alle ruokalajiin liittyvät reseptit välilyönneillä eroteltuna.
Haetaan ensin kaikki ruokalajit ja niihin liittyvät reseptit.
SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti FROM resepti, ruokalaji WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID ORDER BY ruokalaji.nimi, resepti.nimi
- Aja kysely ja käy for-silmukalla se läpi ja tulosta aluksi kultakin riviltä löytyvä ruokalaji h2-elementin sisälle.
- Nyt ruokalaji toistuu turhan moneen kertaan. Tutki onko ruokalaji sama kuin edellisellä silmukan kierroksella ja tee tulostus vain ensimmäisellä kerralla. Tässä kannattaa käyttää apuna Jinjan loop-muuttujia. Esim. loop.previtem.
- Nyt halutaan tulostaa vielä reseptit ruokalajin alle. Tulosta reseptien nimet aina niihin liittyvän ruokalajin nimen alle esim. p-elementin sisään.
- Tarkista, että
h2
jap
-elementit tulostuvat järkevästi niin, että koodi pystyy validina. - Mitäs jos haluaisit listata reseptit listana? (ul ja li-elementeillä). Kokeile muuttaa listaksi. Varmista, että rakenne pysyy validina.
- Entäs jos halutaankin listata kaikki ruokalajit? Nythän listattiin
vain sellaiset, joille on määritelty reseptejä. Kyselyä pitää muuttaa seuraavasti:
SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti FROM ruokalaji LEFT OUTER JOIN resepti ON ruokalaji.ruokalajiID = resepti.ruokalajiID ORDER BY ruokalaji.nimi, resepti.nimi
- Lisäksi on tarkistettava onko rivillä ruokalaji ja resepti vai pelkkä ruokalaji ja tehtävä tulostus sen mukaisesti.
- Kokeile miten uusittu tulostus toimii.
Transaktiot
Transaktioiden avulla pystytään hallitsemaan tietokantaoperaatiokokonaisuuksia. Esim. tietokantaan pitää syöttää useita tietueita peräkkäin ja jos yksikin lisäys epäonnistuu, niin kaikki lisäykset pitää pystyä peruuttamaan. Transaktio varmistaa, että keskeneräisen transaktion vaikutukset tietokantaan eivät heijastu muille tietokannan käyttäjille, kuin vasta transaktion hyväksymisen jälkeen.
- Harjoitellaan transaktioiden toimintaa lisäämällä samalla kerralla uusi ruokalaji ja siihen liittyviä reseptejä. Valmistele kaksi kyselyä, joista toinen lisää ruokalajin ja toinen reseptin.
- Tee lisäys kuten yllä eli luo muuttuja ja sido ne kyselyihin. Aseta reseptin ruokalajiID:ksi sama kuin mikä keksimälläsi ruokalajilla on. Laita reseptin reseptiID:ksi jokin sellainen numero mikä on jo olemassa tietokannassa eli reseptin lisääminen epäonnistuu.
- Kokeile suorittaa kysely. Muista tehdä tarkistukset kyselyiden onnistumiselle (try...except). Nyt pitäisi tulla virheilmoitus reseptin lisäyksen
epäonnistumisesta. Virheen tapahtuessa tee rollback eli peruuta jo tehdyt muutokset:
con.rollback()
Tarkista tietokannan komentorivikäyttöliittymästä onnistuiko ruokalajin lisäys.sqlite-kirjastossa on oletuksena transaktiot käytössä koko ajan.
- Lisää laskuri virheiden määrälle, joka on aluksi nolla.
- Jos SQL-lauseiden suorituksessa tulee virhe, niin lisää virhelaskurin määrää.
- Kaikkien SQL-lauseiden lopussa tee tarkistus onko tullut virheitä. Jos virheitä ei ole tullut, niin suorita con.commit() ja muussa tapauksessa con.rollback().
Automaattiset avainkentät
Usein käytetään avaimina kenttiä, joiden arvon keksiminen jätetään tietokannan harteille. Esim. reseptiID ja ruokalajiID ovat tällaisia kenttiä. Tähän saakka ne on keksitty itse, mutta entäs jos tietokanta keksii ne?
- Muutetaan edellistä lisäystä hieman. Poista kyselyistä reseptin INSERT-kyselystä reseptiID ja ruokalajin lisäyksestä ruokalajiID.
- Mistä nyt tiedämme mikä on reseptin ruokalajin id-numero?
Tämän saa selville pyytämällä cursorilta:
ruokalajiID = cur.lastrowid
saman voi myös kysyä kyselynä:
SELECT last_insert_rowid()
- Kokeile ohjelmaa. Saat luultavasti virheen, miksi? Korjaa ruokalajin tietoja niin, että lisäys onnistuu.
Lisätietoa
Kannattaa ehdottomasti tutustua Philip Greenspunin kirjaan: SQL for Web Nerds
Käyttäjien kommentit