Tietokannat - Demo 5

• Tietokannan luominen
• Tietokantayhteys
• Kyselyt
• Lisääminen
• Poistaminen
• Päivittäminen
• Monimutkaisemmat tulostukset
• Lisätehtäviä
  • Transaktiot
  • Automaattiset avainkentät
• Lisätietoa

Demojen aiheena on tietokantojen käsittely Python-kielellä.

Tietokannan luominen

Demoissa käytetään SQLite3-tietokantaa, jota voidaan hallinnoida suoraan komentoriviltä käynnistyvällä työkalulla. Samaan tapaan onnistuu myös hienompien tietokannan hallintajärjestelmien hallinnointi (PostgreSQL, MySQL). SQLite-tietokannan kanssa mahdollisesti vastaantulevista ongelmista on kerätty oma dokumenttinsa, kts. http//appro.mit.jyu.fi/doc/sqlite/.

1. Avaa editori ja luo W-asemalle sovellukset-hakemistoon alihakemisto demo5.
2. Ota SSH-yhteys jalava.cc.jyu.fi:hin.
3. Siirry html-linkin kautta users.jyu.fi:hin. Luo tänne alihakemisto hidden. Luo sen alle hakemisto kanta ja siirry sen sisälle.
4. Kopioi itsellesi resepti_demo5.sql-tiedosto wget-komennolla:

   wget http//appro.mit.jyu.fi/sovellukset/demot/demo5/resepti_demo5.sql

5. Luo uusi kanta-hakemistoon SQLite3-tietokanta komennolla:

   sqlite3 resepti

   SQLite luo nyt uuden resepti-tiedoston ja tekee siitä tietokannan.

6. Voit tutustua työkalun osaamiin komentoihin kirjoittamalla .help.
7. Luo varsinaisen tietokannan taulut komennolla:

   .read resepti_demo5.sql

   SQLite lukee resepti_demo5.sql-tiedoston ja suorittaa sen sisältämät SQL-komennot. Älä huolestu DROP TABLE -lauseiden virheilmoituksista.

8. Tutki tietokantasi rakennetta seuraavilla komennoilla: .tables, .schema resepti ja .schema ruokalaji.
9. Tutki mitä taulut sisältävät yksinkertaisilla SQL-kyselyillä:

   SELECT * FROM Resepti;

   SELECT * FROM Ruokalaji;

10. .quit-komennolla pääset takaisin unix-shelliin.

Tietokantayhteys

Sovelluksen alussa pitää luoda tietokantaan yhteys, jota käytetään koko suorituksen ajan. Yhteyden avaaminen on aina raskas prosessi, joten turhaan yhteyttä ei pidä aukoa ja sulkea. Suurissa sovelluksissa tietokantayhteys pidetään auki pitempään ja samaa yhteyttä käytetään uudelleen ja uudelleen.

• users.jyu.fi:ssä oleva python on sen verran vanha, että sqlite-kirjastoa ei ole valmiiksi asennettuna.
  1. Kopioi itsellesi pysqlite2.zip-tiedosto wget-komennolla:

     wget http//appro.mit.jyu.fi/sovellukset/demot/demo5/pysqlite2.zip

  2. Pura paketti html-kansiosi juureen:

     unzip -d ~/html/ pysqlite2.zip

  3. Tarkista mikä on hakemistopolku aiemmin luomaasi kanta-hakemistoon komennolle echo $HOME. Lisää polkua vastaava PythonPath-rivi .htaccess-tiedostoosi demo5-kansiossa:

     PythonPath "sys.path+['/home3/368/tjlahton/html/lib']"
     
     AddHandler mod_python .py
     
     PythonHandler mod_python.publisher
     
     PythonDebug On

     PythonPath-komento määrää mistä python-tulkki yrittää etsiä kirjastoja. Edellä purkamasi paketti on nyt html-kansiosi alle luodussa lib-kansiossa.

     Jos echo $HOME-komento antoi hakemistopoluksi esim: /ithome3/368/tjlahton/html/hidden/kanta/ niin PythonPath-komennolle annettava polku on muotoa: /home3/368/tjlahton/html/lib.

• Aloita uuden Python-ohjelman index.py kirjoittaminen editorilla demo5-hakemistoon. Avaa tietokantayhteys:

  from pysqlite2 import dbapi2 as sqlite
  
  con = sqlite.connect( '/homeX/XYZ/tunnus/html/hidden/kanta/resepti'))
  

  Jos echo $HOME-komento antoi hakemistopoluksi esim: /ithome3/368/tjlahton/html/hidden/kanta/ niin tietokannan avaamiseen vaadittava polku on muotoa: /home3/368/tjlahton/html/hidden/kanta/resepti.

• Aseta tietokantayhteyteen seuraavat asetukset jotta selvitään ilman merkistöongelmia ja voidaan kursoreissa viitata kenttiin niiden nimillä:

          con.text_factory = str
          con.row_factory = sqlite.Row

• Anna tietokantaan ja kansioon, jossa tietokantatiedosto sijaitsee, kaikille kirjoitusoikeus (chmod a+w resepti ja chmod a+w ./), niin tietokantaan kohdistuvat muutosoperaatiot toimivat jatkossa myös WWW:n kautta.
• Kokeile selaimella toimiiko ohjelmasi ilman virheilmoituksia

Kyselyt

Tietokantaan kohdistuvat kyselyt ovat jokaisen sovelluksen perusta. Jos SQL-kyselyiden kirjoittaminen tuottaa suuria hankaluuksia voit harjoitella niitä Henkilökohtaisen tiedonhallinnan perusteet -kurssin demotehtävillä.

1. Valmistele yksinkertainen kysely:

   
           sql = """
           SELECT *
           FROM resepti
           """
   

2. Luo Cursor-objekti ja suorita (execute) kysely. Ota kiinni mahdolliset virhetilanteet:

   	cur = con.cursor()
   	try:
   		cur.execute(sql)
           except: 
                   req.write("nyt tuli virhe: %s" % sys.exc_info()[0])
   

3. Käy silmukassa läpi kyselyn palauttamat tietueet. Tulosta kustakin tietueesta kentän nimi ja sen arvo.

           for rivi in cur:  #saadaan yksi tietue dict-muodossa
                   for i in rivi.keys(): #käydään tietue läpi
                       req.write ('%s:\t%s\n' % (i, rivi[i]) )
   

4. Kokeile suorittaa ohjelmasi selaimessa.
5. Yleensä kyselyjä pitää rajoittaa sopivilla ehdoilla, jotka muuttuvat ohjelman suorituksen mukana. Tällöin kyselystä tulee dynaaminen. Muuta edellistä kyselyä seuraavanlaiseksi:

   # valmistellaan kysely ja sijoitetaan dynaamisen arvon tilalle :lkm-muuttuja
   	sql = '''SELECT Nimi 
   	FROM Resepti 
   	WHERE henkilomaara = :lkm
   	'''
   	lkm = 4
   	cur.execute( sql, {"lkm":lkm})
   

   Korjaa myös tulostussilmukka sopivaksi ja kokeile sivun toimintaa Kokeile muuttaa lkm-muuttujan arvoa.

6. Normaalisti SQL-kyselyn palauttaman tuloksen kenttien nimet ovat tiedossa, joten haluttu arvo saadaan suoraan rivin sisältämästä dictistä rivi["kentännimi"]. Kokeile tulostaa kaikkien kenttien sijaan kustakin tietueesta esimerkiksi Nimi-kentän arvo. Muuta edellinen silmukka seuraavanlaiseksi ja kokeile suorittaa:

           for rivi in cur:
               req.write ('nimi:\t%s\n' % (rivi["Nimi"]) )
               req.write ('kuvaus:\t%s\n' % (rivi["Kuvaus"]) )
               req.write ('hlomaara:\t%s\n' % (rivi["Henkilomaara"]) )
               req.write ('id:\t%s\n' % (rivi["ReseptiID"]) )
               req.write ('tyyppi:\t%s\n\n' % (rivi["RuokalajiID"]) )
   

Muuttujia saa sijoittaa kyselyihin vain edellämainitulla tavalla! Missään tapauksessa sijoittamista ei saa tehdä normaaleilla merkkijono-operaatioilla. Oikein toimiessa tietokanta pitää itse huolen siitä, että sijoitettavat arvot ovat tarpeen mukaan heittomerkkien sisällä tai ilman. Tietokanta pitää myös huolen, että kenttiin ei tule vääräntyyppistä tietoa. Kyselyjen valmistelu parantaa tietoturvaa SQL Injection -tyyppisiä hyökkäyksiä vastaan.

Lisääminen

Tietojen lisääminen tapahtuu valmisteltujen kyselyjen avulla aivan samaan tapaan kuin kyselyjenkin tekeminen:

1. Tee edellisen kohdan koodeista kopio kommentteihin.
2. Lisätään tietokantaan uusi resepti. Muuta valmisteltava kysely muotoon:

   INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID, ReseptiID)
   VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji, :reseptiid)

3. Kehittele jokin reseptin nimi ja lyhyt kuvaus (esim. makaronilaatikko) ja luo muuttujat kaikille parametreille. resepti_demo5.sql:stä voit katsoa millaisilla ID-arvoilla ruokalajeja on olemassa. Anna ReseptiID:ksi joku sellainen numero mitä ei vielä ole tietokannassa (esim. 10).
4. Sido muuttujat kyselyyn ja suorita se.
5. Kokeile suorittaa saman reseptin lisääminen uudelleen. Onnistuuko vai saatko virheilmoituksen? Muistathan, että lisäys ei jää voimaan jollet hyväksy transaktiota:

   con.commit()

   Muistathan myös, että kahta reseptiä ei voi lisätä samalla reseptiID:llä (perusavaimen eheys!).

Poistaminen

1. Tee edellisen kohdan koodeista kopio kommentteihin.
2. Poistetaan edellä lisätty resepti. Muuta kysely muotoon

   DELETE FROM resepti WHERE reseptiID = :id

3. Luo id-muuttuja ja sille arvo, joka löytyy tietokannasta (kts. resepti_demo5.sql). Sido muuttuja kyselyyn. Kokeile onnistuuko poistaminen.
4. Yritä poistaa ruokalajeja. Onnistuuko se ilman ongelmia? Voitko vapaasti poistaa minkä tahansa ruokalajin?
5. Kokeile poistaa kerralla useampia tietueita. Tämä onnistuu kyselyllä:

   DELETE FROM taulu WHERE tunniste IN (1, 2, 3)

6. Pohdi miten tekisit poistamisen hakusanan perusteella (ei tarvitse tässä toteuttaa).

Päivittäminen

1. Kopioi edellinen osuus kommentteihin.
2. Muuta kysely muotoon

   UPDATE resepti SET henkilomaara = :maara WHERE reseptiID = :reseptiID

3. Muuta lisäämäsi tietueen henkilömäärä toiseksi luvuksi.
4. Aja kysely napauttamalla selaimen Refresh-painiketta.
5. Tarkista, että muutos tapahtui tietokannan komentorivikäyttöliittymästä antamalla SQL-kysely:

   SELECT * FROM resepti WHERE reseptiid = 10;

Monimutkaisemmat tulostukset

Kyselyjen kohdistuessa useampaan tauluun voi tulla kiusaus kirjoittaa silmukka, joka tekee useita hyvin samankaltaisia kyselyjä tietokantaan. Tietokanta menee kuitenkin helposti jumiin, jos siihen kohdistuu kyselyjä hirvittävän nopealla tahdilla. Hyvänä perussääntönä voi pitää: minimoi tietokantaan kohdistuvien erillisten operaatioiden määrä. Yksittäisessä kyselyssä kannattaa kuitenkin tietokanta laittaa tekemään kaikki mahdolliset laskutoimitukset ja järjestämiset.

1. Listataan kaikki ruokalajit otsikkoina ja otsikon alle ruokalajiin liittyvät reseptit välilyönneillä eroteltuna. Haetaan ensin kaikki ruokalajit ja niihin liittyvät reseptit.

   SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti 
   FROM resepti, ruokalaji
   WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID
   ORDER BY ruokalaji.nimi, resepti.nimi

2. Aja kysely ja käy for-silmukalla se läpi ja tulosta aluksi kultakin riviltä löytyvä ruokalaji h2-elementin sisälle.
3. Nyt ruokalaji toistuu turhaan moneen kertaan. Tutki onko ruokalaji sama kuin edellisellä silmukan kierroksella ja tee tulostus vain ensimmäisellä kerralla.
   • Huom! Jos meitä kiinnostaisi ylipäätään tietää mille ruokalajeille on olemassa reseptejä, niin tähän sopisi kysely SELECT DISTINCT ruokalaji.nimi as ruokalaji FROM ruokalaji, resepti WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID
4. Nyt halutaan tulostaa vielä reseptit ruokalajin alle. Tulosta reseptin nimi siinä tapauksessa, jos edellisellä kierroksella oli sama ruokalaji.
5. Testaa. Huomaa, että myös sillä rivillä, jossa ruokalaji muuttuu on yksi resepti. Tulosta siis myös se.
6. Tarkista, että h2 ja p-elementit tulostuvat järkevästi niin, että koodi pystyy validina.
   • Tämä voi vaatia hieman erityisjärjestelyjä silmukan ensimmäisen tai viimeisen alkion tapauksessa.
   • Tulostus voidaan tehdä myös sisäkkäisillä for-silmukoilla, jolloin erityisjärjestelyjä ei tarvita. Ulommassa tulostetaan ruokalajeja ja sisemmässä reseptejä niin kauan kuin ruokalaji pysyy samana.
7. Entäs jos halutaankin listata kaikki ruokalajit? Nythän listattiin vain sellaiset, joille on määritelty reseptejä. Kyselyä pitää muuttaa seuraavasti:

   SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti
   FROM ruokalaji LEFT OUTER JOIN resepti
   ON ruokalaji.ruokalajiID = resepti.ruokalajiID
   ORDER BY ruokalaji.nimi, resepti.nimi

8. Lisäksi on tarkistettava onko rivillä ruokalaji ja resepti vai pelkkä ruokalaji ja tehtävä tulostus sen mukaisesti.
9. Kokeile miten uusittu tulostus toimii.

Lisätehtäviä

Seuraavia taitoja tarvitaan vaativammissa tietokantatehtävissä.

Transaktiot

Transaktioiden avulla pystytään hallitsemaan tietokantaoperaatiokokonaisuuksia. Esim. tietokantaan pitää syöttää useita tietueita peräkkäin ja jos yksikin lisäys epäonnistuu, niin kaikki lisäykset pitää pystyä peruuttamaan. Transaktio varmistaa, että keskeneräisen transaktion vaikutukset tietokantaan eivät heijastu muille tietokannan käyttäjille kuin vasta transaktion hyväksymisen jälkeen.

1. Harjoitellaan transaktioiden toimintaa lisäämällä samalla kerralla uusi ruokalaji ja siihen liittyviä reseptejä. Valmistele kaksi kyselyä, joista toinen lisää ruokalajin ja toinen reseptin.
2. Tee lisäys kuten yllä eli luo muuttuja ja sido ne kyselyihin. Aseta reseptin ruokalajiID:ksi sama kuin mikä keksimälläsi ruokalajilla on. Laita reseptin reseptiID:ksi jokin sellainen numero mikä on jo olemassa tietokannassa.
3. Kokeile suorittaa kysely. Muista tehdä tarkistukset kyselyiden onnistumiselle (try...except). Nyt pitäisi tulla virheilmoitus reseptin lisäyksen epäonnistumisesta. virheen tapahtuessa tee rollback eli peruuta jo tehdyt muutokset:

   con.rollback()

   Tarkista tietokannan komentorivikäyttöliittymästä onnistuiko ruokalajin lisäys.

   sqlite-kirjastossa on oletuksena transaktiot käytössä koko ajan. Esim. PHP:lla toimittaessa transaktio pitäisi käynnistää erikseen koska oletuksena PHP:n PDO-rajapinnassa jokainen SQL-lause commitoidaan heti.

4. Lisää laskuri virheiden määrälle, joka on aluksi nolla.
5. Jos SQL-lauseiden suorituksessa tulee virhe, niin lisää virhelaskurin määrä.
6. Kaikkien SQL-lauseiden lopussa tee tarkistus onko tullut virheitä. Jos virheitä ei ole tullut, niin suorita con.commit() ja muussa tapauksessa con.rollback().
7. Poista viime testissä lisätty ruokalaji komentoriviltä SQL-lauseella

   DELETE FROM Ruokalaji WHERE ruokalajiid = 123; # keksimäsi ruokalaji-id numeroksi

8. Kokeile nyt ohjelmaa. Tuliko ruokalaji takaisin vai peruuntuiko koko operaatio?

Automaattiset avainkentät

Usein käytetään avaimina kenttiä, joiden arvon keksiminen jätetään tietokannan harteille. Esim. reseptiID ja ruokalajiID ovat tällaisia kenttiä. Tähän saakka ne on keksitty itse, mutta entäs jos tietokanta keksii ne?

1. Muutetaan edellistä lisäystä hieman. Poista kyselyistä reseptin INSERT-kyselystä reseptiID ja ruokalajin lisäyksestä ruokalajiID.
2. Mistä nyt tiedämme mikä on reseptin ruokalajin id-numero? Tämän saa selville pyytämällä cursorilta:

   ruokalajiID = cur.lastrowid

   saman voi myös kysyä kyselynä:

   SELECT last_insert_rowid()

3. Kokeile ohjelmaa. Saat luultavasti virheen, miksi? Korjaa ruokalajin tietoja niin, että lisäys onnistuu.

Lisätietoa

Kannattaa ehdottomasti tutustua Philip Greenspunin kirjaan: SQL for Web Nerds