Tietokannat

• Tietokannan luominen
• Tietokantayhteys
• Kyselyt
• Lisääminen
• Poistaminen
• Päivittäminen
• Monimutkaisemmat tulostukset
• Transaktiot
• Automaattiset avainkentät
• Lisätietoa

Harjoitellaan tietokantojen käyttämistä.

Mallivastaus: reseptit (Lähdekoodi, Template)

Katso ennen näiden tehtävien tekemistä luennot: Tietokannat ja Python ja Tietokannat ja python jatkoa.

Tietokantatehtävät voi tehdä Flaskin sijaan myös tavallisella CGI-ohjelmalla tai ajamalla sovellusta suoraan halavassa/jalavassa komentoriviltä.

Muista myös Pythonin sqlite3-kirjaston dokumentaatio

Tietokannan luominen

Tehtävissä käytetään SQLite3-tietokantaa, jota voidaan hallinnoida suoraan komentoriviltä käynnistyvällä työkalulla. Samaan tapaan onnistuu myös hienompien tietokannan hallintajärjestelmien hallinnointi (PostgreSQL, MySQL). SQLite-tietokannan kanssa mahdollisesti vastaantulevista ongelmista on oma FAQ.

1. Ota Puttylla SSH-yhteys halava.cc.jyu.fi:hin.
2. Siirry public_html-kansioosi eli symbolisen linkin kautta W:-asemaa vastaavaan paikkaan. Luo tänne alihakemisto hidden ellet luonut sitä jo aiemmin.
3. Kopioi itsellesi resepti.sql-tiedosto wget-komennolla:

   wget http://appro.mit.jyu.fi/tiea2080/ohjaus/ohjaus4/resepti.sql

   Tietokannan rakenne:

   
4. Avaa hidden-kansiossa sqlite3 komennolla:

   sqlite3 resepti

5. Luo tietokannan rakenne komennolla:

   .read resepti.sql

   SQLite lukee resepti.sql-tiedoston ja suorittaa sen sisältämät SQL-komennot. Jos SQLite kaatuu niin käynnistä se uudelleen.

   SQLite luo nyt uuden resepti-tiedoston ja tekee siitä tietokannan. SQLite saattaa kaatua mutta sen pitäisi silti luoda tietokanta. Kokeile käynnistämällä SQlite uudelleen ja kirjoittamalla .tables. Jos saat listauksen tietokannan tauluista niin kaikki on ok.

   Jos kannan luominen sql-lauseilla ei mitenkään onnistu voit yrittää kopioida valmiin kantatiedoston ja avata sen komennolla sqlite3 resepti.sqlite.

6. Voit tutustua sqlite3-työkalun osaamiin komentoihin kirjoittamalla .help.
7. Tutki tietokantasi rakennetta seuraavilla komennoilla: .tables, .schema resepti ja .schema ruokalaji.
8. Tutki mitä taulut sisältävät yksinkertaisilla SQL-kyselyillä:

   SELECT * FROM Resepti;

   SELECT * FROM Ruokalaji;

9. .quit-komennolla pääset takaisin unix-shelliin.
10. Anna tietokantaan ja kansioon (hidden), jossa tietokantatiedosto sijaitsee, kaikille kirjoitusoikeus (chmod a+rw resepti ja chmod a+rwx ./), niin tietokantaan kohdistuvat muutosoperaatiot toimivat jatkossa myös WWW:n kautta.

Tietokantayhteys

Sovelluksen alussa pitää luoda tietokantaan yhteys, jota käytetään koko suorituksen ajan. Yhteyden avaaminen on aina raskas prosessi, joten turhaan yhteyttä ei pidä aukoa ja sulkea. Suurissa sovelluksissa tietokantayhteys pidetään auki pitempään ja samaa yhteyttä käytetään uudelleen ja uudelleen.

Huom! Älä käytä globaaleja muuttujia

• Lisää Flask-ohjelmaasi uusi sivu /reseptit.
  Flask-koodi

  #!/polku/omaan/virtuaaliymparistoon/venv/bin/python
  # -*- coding: utf-8 -*-
  
  import sys
  from wsgiref.handlers import CGIHandler
  from werkzeug.debug import DebuggedApplication
  
   
  try:
    from oma import app as application
  
    if __name__ == '__main__':
           handler = CGIHandler()
           handler.run(DebuggedApplication(application))
  
  except:
    print "Content-Type: text/plain;charset=UTF-8\n"
    print "Syntaksivirhe:\n"
    for err in sys.exc_info():
          print str(err)

  Avaa ensimmäisenä tietokantayhteys:

  import sqlite3
  import logging
  import os
  logging.basicConfig(filename='../../../hidden/flask.log',level=logging.DEBUG)
  from contextlib import closing
  
  # voidaan napata kiinni palvelimen virheet
  @app.errorhandler(werkzeug.exceptions.InternalServerError)
  def handle_internal_server_error(e):
      return Response('Internal Server Error\n' + str(e), status=500, content_type="text/plain; charset=UTF-8")
  
  @app.route('/reseptit') 
  def reseptit():
      # voit itse napata virheet kiinni try..exceptilla. Testivaiheessa voidaan luottaa ylläolevaan
      # werkzeugin virhekäsittelyyn, joka heittää virheet näkyville selaimeen. 
      # tuotantokäytössä olevassa sovelluksessa virheitä ei pidä näyttää käyttäjille
      # Tietokantayhteyden avaaminen pitäisi laittaa try..exceptin sisään!
      #
      # Oletetaan että sovellus on kansiossa /~omatunnus/cgi-bin/tiea2080/ohjaus4/
      # ja tietokanta on kansiossa /~omatunnus/hidden/
      # os.path.abspath muuntaa suhteellisen polun absoluuttiseksi, joka taasen kelpaa sqlitelle
      con = sqlite3.connect(os.path.abspath('../../../hidden/resepti'))
      return Response("Toimii")

• Asetetaan tietokantayhteydessä viite-eheydet (foreign keys) käyttöön:

  con.execute("PRAGMA foreign_keys = ON")

• Aseta tietokantayhteyteen seuraavat asetukset jotta voidaan kursoreissa viitata kenttiin niiden nimillä:

  # voidaan käsitellä palautettuja tietueita niiden kenttien nimillä
          con.row_factory = sqlite3.Row

• Sinulla pitäisi olla nyt seuraavankaltainen koodi:

  #tietokantayhteyden avaaminen ja olennaiset asetukset
  con = sqlite3.connect(os.path.abspath('../../../hidden/resepti'))
  con.row_factory = sqlite3.Row
  con.execute("PRAGMA foreign_keys = ON")
  

• Kokeile selaimella toimiiko ohjelmasi ilman virheilmoituksia
• Kun tietokantayhteyttä ei enää tarvita niin sulje yhteys:

  con.close()

Kyselyt

Tietokantaan kohdistuvat kyselyt ovat jokaisen sovelluksen perusta. Jos SQL-kyselyiden kirjoittaminen tuottaa suuria hankaluuksia voit harjoitella niitä Henkilökohtaisen tiedonhallinnan perusteet -kurssin demotehtävillä.

1. Valmistele yksinkertainen kysely:

   sql = """
   SELECT nimi as Nimi, kuvaus as Kuvaus, henkilomaara as Henkilomaara
   FROM resepti
   """

2. Luo Cursor-objekti ja suorita (execute) kysely. Ota kiinni mahdolliset virhetilanteet ja kirjoita ne logiin.

   cur = con.cursor()
   try:
      cur.execute(sql)
   except: 
       logging.debug("kysely ei toimi")
       for err in sys.exc_info():
           logging.debug(err)
   

3. Luo tuloksena saaduista tietueista Jinja-templatelle sopiva tietorakenne. Seuraavassa on esimerkki

   sql = """
   SELECT nimi as Nimi, kuvaus as Kuvaus, henkilomaara as Henkilomaara
   FROM resepti
   """
   cur = con.cursor()
   
   cur.execute(sql) # suoritetaan kysely
   reseptit = cur.fetchall() #haetaan kaikki kyselyn tulokset
   con.close() # suljetaan yhteys tietokantaan
   return render_template('reseptit.html', reseptit=reseptit)
   

4. Vie reseptit templatelle. Voit ensimmäisessä versiossa suoraan tulostaa tietorakenteen templatessa näkyville.

   {{ reseptit }}

   Kokeile suorittaa ohjelmasi selaimessa. Tee tämän jälkeen siistimpi tulostusversio eli käy näkymässä silmukassa läpi reseptit-rakenne, joka toimii kuten dict, ja tulosta sen sisältö kauniisti taulukkona. Esim.

   <table>
   <caption>Reseptit</caption>
   {%for r in reseptit:%}
   <tr><th>{{r['nimi']}}</th>
   <td>{{r['kuvaus']}}</td>
   <td>{{r['henkilomaara']}}</td>
   {%endfor%}
   </table>

   Kenttien nimissä isoilla ja pienillä kirjaimilla ei ole merkitystä.

5. Yleensä kyselyjä pitää rajoittaa sopivilla ehdoilla, jotka muuttuvat ohjelman suorituksen mukana. Tällöin kyselystä tulee dynaaminen. Muuta edellistä kyselyä seuraavanlaiseksi:

   # valmistellaan kysely ja sijoitetaan dynaamisen arvon tilalle :lkm-muuttuja
   sql = '''SELECT Nimi, Kuvaus, Henkilomaara, ReseptiID, RuokaLajiID
       FROM Resepti 
       WHERE henkilomaara = :lukumaara
       '''
       lkm = 4
       cur.execute( sql, {"lukumaara":lkm})
   

   Kokeile sivun toimintaa Kokeile muuttaa lkm-muuttujan arvoa.

   lukumaara-placeholderin nimessä on merkitystä isoilla ja pienillä kirjaimilla. :lukumaara on eri asia kuin :Lukumaara.
6. Yritä käydä sama kursori läpi silmukalla kahteen kertaan. Jälkimmäisellä kerralla ei pitäisi löytyä mitään. Kursori antaa kertaalleen tietokantakyselyn tulokset ja jos haluaa ne uudelleen on suoritettava execute uudelleen. Samaa kyselyä ei kannata suorittaa useaan kertaan vaan kannattaa ottaa heti talteen mitä tarvitsee.
7. Hae tietokannasta kaikki reseptit ja vie ne templatelle. Hae myös kaikki ruokalajit. Tulosta nämä kaikki siististi näkyville www-sivullesi niin voit helpommin testata seuraavia tehtäviä, kun sivua uudelleen ladattaessa näet heti mitä muutoksia sisältöön on tullut.

Muuttujia saa sijoittaa kyselyihin vain edellämainitulla tavalla tai käyttäen ?-merkki placeholdereita! Missään tapauksessa sijoittamista ei saa tehdä normaaleilla merkkijono-operaatioilla. Oikein toimiessa tietokanta pitää itse huolen siitä, että sijoitettavat arvot ovat tarpeen mukaan heittomerkkien sisällä tai ilman. Tietokanta pitää myös huolen, että kenttiin ei tule vääräntyyppistä tietoa. Kyselyjen valmistelu parantaa tietoturvaa SQL Injection -tyyppisiä hyökkäyksiä vastaan.

Lisääminen

Tietojen lisääminen tapahtuu valmisteltujen kyselyjen avulla aivan samaan tapaan kuin kyselyjenkin tekeminen:

1. Lisätään tietokantaan uusi resepti. Luo suusi valmisteltava kysely muotoon:

   INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID, ReseptiID)
   VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji, :reseptiid)

2. Kehittele jokin reseptin nimi ja lyhyt kuvaus (esim. makaronilaatikko) ja luo muuttujat kaikille parametreille. resepti.sql:stä voit katsoa millaisilla ID-arvoilla ruokalajeja on olemassa. Anna ReseptiID:ksi joku sellainen numero mitä ei vielä ole tietokannassa (esim. 10).
3. Sido muuttujat kyselyyn ja suorita sovelluksesi lataamalla sivu uudelleen.
4. Kokeile suorittaa saman reseptin lisääminen uudelleen. Onnistuuko vai saatko virheilmoituksen? Ota try..exceptillä kiinni mahdolliset virheet ja tulosta ne lokitiedostoon. Muistathan, että lisäys ei jää voimaan jollet hyväksy transaktiota:

   con.commit()

   Muistathan myös, että kahta reseptiä ei voi lisätä samalla reseptiID:llä (perusavaimen eheys!). Kokeile millaisen virheilmoituksen saat. Entäs jos yrität käyttää ruokalajin id:nä väärää arvoa? Kokeile millainen virheilmoitus nyt tulee.
   • IntegrityError: PRIMARY KEY must be unique
   • IntegrityError: Constraint failed: Ruokalajia ei löydy
5. Kokeile jättää reseptiid kokonaan pois INSERT-lauseesta:

   INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID)
   VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji)

   Poista reseptiid myös execute-kutsun parametreista. Miksi tämä versio toimii?

   Tietokannan rakenteessa on määritelty, että reseptiid on tyypiltään autoincrement, jolloin tietokanta keksii sen tarvittaessa itse. Tämä ei ole standardia SQL-kieltä vaan sqlite3:n ominaisuus. Esim. Postgresql-tietokannassa sama onnistuisi käyttämällä tyyppiä SERIAL.

   ReseptiID INTEGER PRIMARY KEY AUTOINCREMENT

Poistaminen

1. Lisää uusi kysely. Poistetaan edellä lisätty resepti.

   DELETE FROM resepti WHERE reseptiID = :id

2. Luo id-muuttuja ja sille arvo, joka löytyy tietokannasta. Esim. numero 2. (kts. resepti.sql). Sido muuttuja kyselyyn. Kokeile onnistuuko poistaminen.
3. Yritä poistaa ruokalajeja. Onnistuuko se ilman ongelmia? Voitko vapaasti poistaa minkä tahansa ruokalajin?

   IntegrityError: constraint failed: Ruokalajia ei voida poistaa, koska se on käytössä

   Käytössä olevia ruokalajea ei voi poistaa viite-eheyden takia:

   CONSTRAINT Resepti_RuokalajiID
           FOREIGN KEY (RuokalajiID)
           REFERENCES Ruokalaji (RuokalajiID)
   

4. Kokeile poistaa kerralla useampia tietueita. Tämä onnistuu esim. kyselyllä:

   DELETE FROM taulu WHERE tunniste IN (1, 2, 3)

5. Pohdi miten tekisit poistamisen hakusanan perusteella (ei tarvitse tässä toteuttaa).
6. Ole hyvin tarkkana tehdessäsi poistoja ja päivityksiä. Jos haluat poistaa tai päivittää juuri tietyn tietuun niin sinun pitää aina viitata siihen käyttäen perusavainta, joka yksilöi tietueen. Jos käytät muita ehtoja niin helposti poistat tai päivität vääriä tietueita.

Päivittäminen

1. Päivittäminen tapahtuu tismalleen samaan tapaan kuin poistaminenkin, mutta nyt pitää antaa myös päivitettävien kenttien uusi sisältö.
2. Tee uusi kysely

   UPDATE resepti SET henkilomaara = :maara WHERE reseptiID = :reseptiID

3. Muuta jonkun lisäämäsi tietueen henkilömäärä toiseksi luvuksi.
4. Aja kysely napauttamalla selaimen Refresh-painiketta.
5. Tarkista, että muutos tapahtui tietokannan komentorivikäyttöliittymästä antamalla SQL-kysely:

   SELECT * FROM resepti WHERE reseptiid = ?;

Monimutkaisemmat tulostukset

Kyselyjen kohdistuessa useampaan tauluun voi tulla kiusaus kirjoittaa silmukka, joka tekee useita hyvin samankaltaisia kyselyjä tietokantaan. Tietokanta menee kuitenkin helposti jumiin, jos siihen kohdistuu kyselyjä hirvittävän nopealla tahdilla. Hyvänä perussääntönä voi pitää: minimoi tietokantaan kohdistuvien erillisten operaatioiden määrä. Yksittäisessä kyselyssä kannattaa kuitenkin tietokanta laittaa tekemään kaikki mahdolliset laskutoimitukset ja järjestämiset.

1. Listataan kaikki ruokalajit otsikkoina ja otsikon alle ruokalajiin liittyvät reseptit välilyönneillä eroteltuna. Haetaan ensin kaikki ruokalajit ja niihin liittyvät reseptit.

   SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti 
   FROM resepti, ruokalaji
   WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID
   ORDER BY ruokalaji.nimi, resepti.nimi

2. Aja kysely ja käy for-silmukalla se läpi ja tulosta aluksi kultakin riviltä löytyvä ruokalaji h2-elementin sisälle.
3. Nyt ruokalaji toistuu turhan moneen kertaan. Tutki onko ruokalaji sama kuin edellisellä silmukan kierroksella ja tee tulostus vain ensimmäisellä kerralla. Tässä kannattaa käyttää apuna Jinjan loop-muuttujia. Esim. loop.previtem.
4. Nyt halutaan tulostaa vielä reseptit ruokalajin alle. Tulosta reseptien nimet aina niihin liittyvän ruokalajin nimen alle esim. p-elementin sisään.
5. Tarkista, että h2 ja p-elementit tulostuvat järkevästi niin, että koodi pystyy validina.
6. Mitäs jos haluaisit listata reseptit listana? (ul ja li-elementeillä). Kokeile muuttaa listaksi. Varmista, että rakenne pysyy validina.
7. Entäs jos halutaankin listata kaikki ruokalajit? Nythän listattiin vain sellaiset, joille on määritelty reseptejä. Kyselyä pitää muuttaa seuraavasti:

   SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti
   FROM ruokalaji LEFT OUTER JOIN resepti
   ON ruokalaji.ruokalajiID = resepti.ruokalajiID
   ORDER BY ruokalaji.nimi, resepti.nimi

8. Lisäksi on tarkistettava onko rivillä ruokalaji ja resepti vai pelkkä ruokalaji ja tehtävä tulostus sen mukaisesti.
9. Kokeile miten uusittu tulostus toimii.

Transaktiot

Transaktioiden avulla pystytään hallitsemaan tietokantaoperaatiokokonaisuuksia. Esim. tietokantaan pitää syöttää useita tietueita peräkkäin ja jos yksikin lisäys epäonnistuu, niin kaikki lisäykset pitää pystyä peruuttamaan. Transaktio varmistaa, että keskeneräisen transaktion vaikutukset tietokantaan eivät heijastu muille tietokannan käyttäjille, kuin vasta transaktion hyväksymisen jälkeen.

1. Harjoitellaan transaktioiden toimintaa lisäämällä samalla kerralla uusi ruokalaji ja siihen liittyviä reseptejä. Valmistele kaksi kyselyä, joista toinen lisää ruokalajin ja toinen reseptin.
2. Tee lisäys kuten yllä eli luo muuttuja ja sido ne kyselyihin. Aseta reseptin ruokalajiID:ksi sama kuin mikä keksimälläsi ruokalajilla on. Laita reseptin reseptiID:ksi jokin sellainen numero mikä on jo olemassa tietokannassa eli reseptin lisääminen epäonnistuu.
3. Kokeile suorittaa kysely. Muista tehdä tarkistukset kyselyiden onnistumiselle (try...except). Nyt pitäisi tulla virheilmoitus reseptin lisäyksen epäonnistumisesta. Virheen tapahtuessa tee rollback eli peruuta jo tehdyt muutokset:

   con.rollback()

   Tarkista tietokannan komentorivikäyttöliittymästä onnistuiko ruokalajin lisäys.

   sqlite-kirjastossa on oletuksena transaktiot käytössä koko ajan.

4. Lisää laskuri virheiden määrälle, joka on aluksi nolla.
5. Jos SQL-lauseiden suorituksessa tulee virhe, niin lisää virhelaskurin määrää.
6. Kaikkien SQL-lauseiden lopussa tee tarkistus onko tullut virheitä. Jos virheitä ei ole tullut, niin suorita con.commit() ja muussa tapauksessa con.rollback().

Automaattiset avainkentät

Usein käytetään avaimina kenttiä, joiden arvon keksiminen jätetään tietokannan harteille. Esim. reseptiID ja ruokalajiID ovat tällaisia kenttiä. Tähän saakka ne on keksitty itse, mutta entäs jos tietokanta keksii ne?

1. Muutetaan edellistä lisäystä hieman. Poista kyselyistä reseptin INSERT-kyselystä reseptiID ja ruokalajin lisäyksestä ruokalajiID.
2. Mistä nyt tiedämme mikä on reseptin ruokalajin id-numero? Tämän saa selville pyytämällä cursorilta:

   ruokalajiID = cur.lastrowid

   saman voi myös kysyä kyselynä:

   SELECT last_insert_rowid()

3. Kokeile ohjelmaa. Saat luultavasti virheen, miksi? Korjaa ruokalajin tietoja niin, että lisäys onnistuu.

Lisätietoa

Kannattaa ehdottomasti tutustua Philip Greenspunin kirjaan: SQL for Web Nerds