Tietokannat

Harjoitellaan tietokantojen käyttämistä.

Mallivastaus: reseptit

Katso ennen näiden tehtävien tekemistä luennot: Tietokannat ja Python ja Tietokannat ja python jatkoa.

Mallia voi katsoa myös valmiista esimerkistä, joka on tehty ilman html:ää. (lähdekoodi).

Tietokantatehtävät voi tehdä Flaskin sijaan myös tavallisella CGI-ohjelmalla tai ajamalla sovellusta suoraan halavassa/jalavassa komentoriviltä.

Muista myös Pythonin sqlite3-kirjaston dokumentaatio

Tietokannan luominen

Tehtävissä käytetään SQLite3-tietokantaa, jota voidaan hallinnoida suoraan komentoriviltä käynnistyvällä työkalulla. Samaan tapaan onnistuu myös hienompien tietokannan hallintajärjestelmien hallinnointi (PostgreSQL, MySQL). SQLite-tietokannan kanssa mahdollisesti vastaantulevista ongelmista on oma FAQ.

  1. Ota Puttylla SSH-yhteys halava.cc.jyu.fi:hin.
  2. Siirry public_html-kansioosi eli symbolisen linkin kautta W:-asemaa vastaavaan paikkaan. Luo tänne alihakemisto hidden ellet luonut sitä jo aiemmin.
  3. Kopioi itsellesi resepti.sql-tiedosto wget-komennolla:
    wget http://appro.mit.jyu.fi/tiea2080/ohjaus/ohjaus4/resepti.sql

    Tietokannan rakenne:

    Reseptitietokannan rakenne
  4. Avaa hidden-kansiossa sqlite3 komennolla:
    sqlite3 resepti
  5. Luo tietokannan rakenne komennolla:
    .read resepti.sql

    SQLite lukee resepti.sql-tiedoston ja suorittaa sen sisältämät SQL-komennot. Jos SQLite kaatuu niin käynnistä se uudelleen.

    SQLite luo nyt uuden resepti-tiedoston ja tekee siitä tietokannan. SQLite saattaa kaatua mutta sen pitäisi silti luoda tietokanta. Kokeile käynnistämällä SQlite uudelleen ja kirjoittamalla .tables. Jos saat listauksen tietokannan tauluista niin kaikki on ok.

    Jos kannan luominen sql-lauseilla ei mitenkään onnistu voit yrittää kopioida valmiin kantatiedoston ja avata sen komennolla sqlite3 resepti.sqlite.

  6. Voit tutustua sqlite3-työkalun osaamiin komentoihin kirjoittamalla .help.
  7. Tutki tietokantasi rakennetta seuraavilla komennoilla: .tables, .schema resepti ja .schema ruokalaji.
  8. Tutki mitä taulut sisältävät yksinkertaisilla SQL-kyselyillä:
    SELECT * FROM Resepti;

    SELECT * FROM Ruokalaji;
  9. .quit-komennolla pääset takaisin unix-shelliin.
  10. Varmista, että hidden-kansioon sekä tietokantatiedostoosi on kaikilla käyttäjillä kirjoitusoikeus

Tietokantayhteys

Sovelluksen alussa pitää luoda tietokantaan yhteys, jota käytetään koko suorituksen ajan. Yhteyden avaaminen on aina raskas prosessi, joten turhaan yhteyttä ei pidä aukoa ja sulkea. Suurissa sovelluksissa tietokantayhteys pidetään auki pitempään ja samaa yhteyttä käytetään uudelleen ja uudelleen.

Huom! Älä käytä globaaleja muuttujia

Kyselyt

Tietokantaan kohdistuvat kyselyt ovat jokaisen sovelluksen perusta. Jos SQL-kyselyiden kirjoittaminen tuottaa suuria hankaluuksia voit harjoitella niitä Henkilökohtaisen tiedonhallinnan perusteet -kurssin demotehtävillä.

  1. Valmistele yksinkertainen kysely:
    sql = """
    SELECT *
    FROM resepti
    """
    
  2. Luo Cursor-objekti ja suorita (execute) kysely. Ota kiinni mahdolliset virhetilanteet ja kirjoita ne logiin.
    cur = con.cursor()
    try:
       cur.execute(sql)
    except: 
        logging.debug("kysely ei toimi")
        for err in sys.exc_info():
            logging.debug(err)
    
  3. Luo tuloksena saaduista tietueista templatelle sopiva tietorakenne. Seuraavassa on muutamana eri versiona esimerkki:
            sql = """
            SELECT nimi as Nimi, kuvaus as Kuvaus, henkilomaara as Henkilomaara
            FROM resepti
            """
            cur = con.cursor()
            try:
               cur.execute(sql)
            except: 
                # vaatii koodin alkuun rivin: import sys
                for err in sys.exc_info():
                    logging.debug(err)           
            reseptit = []
            for row in cur.fetchall():
                # luo lennosta aina uuden dictin, joka sisältää yhden tietueen tiedot
                reseptit.append( dict(nimi=row[0], kuvaus=row[1], maara=row[2]) )
    
    
            # sama kuin edellä mutta käytetään kenttien nimiä eikä indeksejä
            # voit käyttää kumpaa versiota tahansa
            # for row in cur.fetchall():
            #    reseptit.append( dict(nimi=row['Nimi'], kuvaus=row['Kuvaus'], maara=row['Henkilomaara']) )
    
            # sama kuin edellä mutta toisenlaisena versiona
            # Vastaava kuin cur.execute(sql) mutta kysely on suoraan executen sisällä ja suoritettuna yhteyden (con) kautta
            # cur = con.execute('select nimi, kuvaus, henkilomaara from resepti')
            # tyhjätään lista
            # reseptit = []
            # lyhin versio 
            # reseptit = [dict(nimi=row[0], kuvaus=row[1], maara=row[2]) for row in cur.fetchall()]
    
  4. Vie reseptit templatelle. Voit ensimmäisessä versiossa suoraan tulostaa tietorakenteen templatessa näkyville.
    {{ reseptit }}
    Kokeile suorittaa ohjelmasi selaimessa. Tee tämän jälkeen siistimpi tulostusversio eli käy näkymässä silmukassa läpi reseptit-dict ja tulosta sen sisältö kauniisti. Esim.
      {% for p in reseptit %}
            <p>{{ p['nimi'] }} {{ p['maara'] }} {{ p['kuvaus'] }}</p>
      {% endfor %}
    

    Avainten pitää olla samat (isot ja pienet kirjaimet ovat merkitseviä), kuin mitä olet käyttänyt reseptit-listaa kasaillessa (nimi=row...)

  5. Yleensä kyselyjä pitää rajoittaa sopivilla ehdoilla, jotka muuttuvat ohjelman suorituksen mukana. Tällöin kyselystä tulee dynaaminen. Muuta edellistä kyselyä seuraavanlaiseksi:
    # valmistellaan kysely ja sijoitetaan dynaamisen arvon tilalle :lkm-muuttuja
    sql = '''SELECT Nimi, Kuvaus, Henkilomaara, ReseptiID, RuokaLajiID
        FROM Resepti 
        WHERE henkilomaara = :lukumaara
        '''
        lkm = 4
        cur.execute( sql, {"lukumaara":lkm})
    

    Kokeile sivun toimintaa Kokeile muuttaa lkm-muuttujan arvoa.

    lukumaara-placeholderin nimessä on merkitystä isoilla ja pienillä kirjaimilla. :lukumaara on eri asia kuin :Lukumaara.
  6. Yritä käydä sama kursori läpi silmukalla kahteen kertaan. Jälkimmäisellä kerralla ei pitäisi löytyä mitään. Kursori antaa kertaalleen tietokantakyselyn tulokset ja jos haluaa ne uudelleen on suoritettava execute uudelleen. Samaa kyselyä ei kannata suorittaa useaan kertaan vaan kannattaa ottaa heti talteen mitä tarvitsee.
  7. Hae tietokannasta kaikki reseptit ja vie ne templatelle. Hae myös kaikki ruokalajit. Tulosta nämä kaikki siististi näkyville www-sivullesi niin voit helpommin testata seuraavia tehtäviä, kun sivua uudelleen ladattaessa näet heti mitä muutoksia sisältöön on tullut.

Muuttujia saa sijoittaa kyselyihin vain edellämainitulla tavalla tai käyttäen ?-merkki placeholdereita! Missään tapauksessa sijoittamista ei saa tehdä normaaleilla merkkijono-operaatioilla. Oikein toimiessa tietokanta pitää itse huolen siitä, että sijoitettavat arvot ovat tarpeen mukaan heittomerkkien sisällä tai ilman. Tietokanta pitää myös huolen, että kenttiin ei tule vääräntyyppistä tietoa. Kyselyjen valmistelu parantaa tietoturvaa SQL Injection -tyyppisiä hyökkäyksiä vastaan.

Lisääminen

Tietojen lisääminen tapahtuu valmisteltujen kyselyjen avulla aivan samaan tapaan kuin kyselyjenkin tekeminen:

  1. Tee edellisen kohdan koodeista kopio kommentteihin.
  2. Lisätään tietokantaan uusi resepti. Muuta valmisteltava kysely muotoon:
    INSERT INTO resepti (Nimi, Kuvaus, Henkilomaara, RuokalajiID, ReseptiID)
    VALUES (:nimi, :kuvaus, :henkilomaara, :ruokalaji, :reseptiid)
  3. Kehittele jokin reseptin nimi ja lyhyt kuvaus (esim. makaronilaatikko) ja luo muuttujat kaikille parametreille. resepti.sql:stä voit katsoa millaisilla ID-arvoilla ruokalajeja on olemassa. Anna ReseptiID:ksi joku sellainen numero mitä ei vielä ole tietokannassa (esim. 10).
  4. Sido muuttujat kyselyyn ja suorita sovelluksesi lataamalla sivu uudelleen.
  5. Kokeile suorittaa saman reseptin lisääminen uudelleen. Onnistuuko vai saatko virheilmoituksen? Ota try..exceptillä kiinni mahdolliset virheet ja tulosta ne lokitiedostoon. Muistathan, että lisäys ei jää voimaan jollet hyväksy transaktiota:
    con.commit()
    Muistathan myös, että kahta reseptiä ei voi lisätä samalla reseptiID:llä (perusavaimen eheys!). Kokeile millaisen virheilmoituksen saat. Entäs jos yrität käyttää ruokalajin id:nä väärää arvoa? Kokeile millainen virheilmoitus nyt tulee.

Poistaminen

  1. Tee edellisen kohdan koodeista kopio kommentteihin.
  2. Poistetaan edellä lisätty resepti. Muuta kysely muotoon
    DELETE FROM resepti WHERE reseptiID = :id
  3. Luo id-muuttuja ja sille arvo, joka löytyy tietokannasta (kts. resepti.sql). Sido muuttuja kyselyyn. Kokeile onnistuuko poistaminen.
  4. Yritä poistaa ruokalajeja. Onnistuuko se ilman ongelmia? Voitko vapaasti poistaa minkä tahansa ruokalajin?
  5. Kokeile poistaa kerralla useampia tietueita. Tämä onnistuu kyselyllä:
    DELETE FROM taulu WHERE tunniste IN (1, 2, 3)
  6. Pohdi miten tekisit poistamisen hakusanan perusteella (ei tarvitse tässä toteuttaa).

Päivittäminen

  1. Kopioi edellinen osuus kommentteihin.
  2. Muuta kysely muotoon
    UPDATE resepti SET henkilomaara = :maara WHERE reseptiID = :reseptiID
  3. Muuta lisäämäsi tietueen henkilömäärä toiseksi luvuksi.
  4. Aja kysely napauttamalla selaimen Refresh-painiketta.
  5. Tarkista, että muutos tapahtui tietokannan komentorivikäyttöliittymästä antamalla SQL-kysely:
    SELECT * FROM resepti WHERE reseptiid = 10;

Monimutkaisemmat tulostukset

Kyselyjen kohdistuessa useampaan tauluun voi tulla kiusaus kirjoittaa silmukka, joka tekee useita hyvin samankaltaisia kyselyjä tietokantaan. Tietokanta menee kuitenkin helposti jumiin, jos siihen kohdistuu kyselyjä hirvittävän nopealla tahdilla. Hyvänä perussääntönä voi pitää: minimoi tietokantaan kohdistuvien erillisten operaatioiden määrä. Yksittäisessä kyselyssä kannattaa kuitenkin tietokanta laittaa tekemään kaikki mahdolliset laskutoimitukset ja järjestämiset.

  1. Listataan kaikki ruokalajit otsikkoina ja otsikon alle ruokalajiin liittyvät reseptit välilyönneillä eroteltuna. Haetaan ensin kaikki ruokalajit ja niihin liittyvät reseptit.
    SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti 
    FROM resepti, ruokalaji
    WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID
    ORDER BY ruokalaji.nimi, resepti.nimi
  2. Aja kysely ja käy for-silmukalla se läpi ja tulosta aluksi kultakin riviltä löytyvä ruokalaji h2-elementin sisälle.
  3. Nyt ruokalaji toistuu turhan moneen kertaan. Tutki onko ruokalaji sama kuin edellisellä silmukan kierroksella ja tee tulostus vain ensimmäisellä kerralla.
    • Huom! Jos meitä kiinnostaisi ylipäätään tietää mille ruokalajeille on olemassa reseptejä, niin tähän sopisi kysely SELECT DISTINCT ruokalaji.nimi as ruokalaji FROM ruokalaji, resepti WHERE ruokalaji.ruokalajiID = resepti.ruokalajiID
  4. Nyt halutaan tulostaa vielä reseptit ruokalajin alle. Tulosta reseptin nimi siinä tapauksessa, jos edellisellä kierroksella oli sama ruokalaji.
  5. Testaa. Huomaa, että myös sillä rivillä, jossa ruokalaji muuttuu on yksi resepti. Tulosta siis myös se.
  6. Tarkista, että h2 ja p-elementit tulostuvat järkevästi niin, että koodi pystyy validina.
    • Tämä voi vaatia hieman erityisjärjestelyjä silmukan ensimmäisen tai viimeisen alkion tapauksessa.
    • Tulostus voidaan tehdä myös sisäkkäisillä for-silmukoilla, jolloin erityisjärjestelyjä ei tarvita. Ulommassa tulostetaan ruokalajeja ja sisemmässä reseptejä niin kauan kuin ruokalaji pysyy samana.
  7. Entäs jos halutaankin listata kaikki ruokalajit? Nythän listattiin vain sellaiset, joille on määritelty reseptejä. Kyselyä pitää muuttaa seuraavasti:
    SELECT ruokalaji.nimi AS ruokalaji, resepti.nimi AS resepti
    FROM ruokalaji LEFT OUTER JOIN resepti
    ON ruokalaji.ruokalajiID = resepti.ruokalajiID
    ORDER BY ruokalaji.nimi, resepti.nimi
  8. Lisäksi on tarkistettava onko rivillä ruokalaji ja resepti vai pelkkä ruokalaji ja tehtävä tulostus sen mukaisesti.
  9. Kokeile miten uusittu tulostus toimii.

Transaktiot

Transaktioiden avulla pystytään hallitsemaan tietokantaoperaatiokokonaisuuksia. Esim. tietokantaan pitää syöttää useita tietueita peräkkäin ja jos yksikin lisäys epäonnistuu, niin kaikki lisäykset pitää pystyä peruuttamaan. Transaktio varmistaa, että keskeneräisen transaktion vaikutukset tietokantaan eivät heijastu muille tietokannan käyttäjille kuin vasta transaktion hyväksymisen jälkeen.

  1. Harjoitellaan transaktioiden toimintaa lisäämällä samalla kerralla uusi ruokalaji ja siihen liittyviä reseptejä. Valmistele kaksi kyselyä, joista toinen lisää ruokalajin ja toinen reseptin.
  2. Tee lisäys kuten yllä eli luo muuttuja ja sido ne kyselyihin. Aseta reseptin ruokalajiID:ksi sama kuin mikä keksimälläsi ruokalajilla on. Laita reseptin reseptiID:ksi jokin sellainen numero mikä on jo olemassa tietokannassa.
  3. Kokeile suorittaa kysely. Muista tehdä tarkistukset kyselyiden onnistumiselle (try...except). Nyt pitäisi tulla virheilmoitus reseptin lisäyksen epäonnistumisesta. virheen tapahtuessa tee rollback eli peruuta jo tehdyt muutokset:
    con.rollback()
    Tarkista tietokannan komentorivikäyttöliittymästä onnistuiko ruokalajin lisäys.

    sqlite-kirjastossa on oletuksena transaktiot käytössä koko ajan. Esim. PHP:lla toimittaessa transaktio pitäisi käynnistää erikseen koska oletuksena PHP:n PDO-rajapinnassa jokainen SQL-lause commitoidaan heti.

  4. Lisää laskuri virheiden määrälle, joka on aluksi nolla.
  5. Jos SQL-lauseiden suorituksessa tulee virhe, niin lisää virhelaskurin määrää.
  6. Kaikkien SQL-lauseiden lopussa tee tarkistus onko tullut virheitä. Jos virheitä ei ole tullut, niin suorita con.commit() ja muussa tapauksessa con.rollback().
  7. Poista viime testissä lisätty ruokalaji komentoriviltä SQL-lauseella
    DELETE FROM Ruokalaji WHERE ruokalajiid = 123; # keksimäsi ruokalaji-id numeroksi
  8. Kokeile nyt ohjelmaa. Tuliko ruokalaji takaisin vai peruuntuiko koko operaatio?

Automaattiset avainkentät

Usein käytetään avaimina kenttiä, joiden arvon keksiminen jätetään tietokannan harteille. Esim. reseptiID ja ruokalajiID ovat tällaisia kenttiä. Tähän saakka ne on keksitty itse, mutta entäs jos tietokanta keksii ne?

  1. Muutetaan edellistä lisäystä hieman. Poista kyselyistä reseptin INSERT-kyselystä reseptiID ja ruokalajin lisäyksestä ruokalajiID.
  2. Mistä nyt tiedämme mikä on reseptin ruokalajin id-numero? Tämän saa selville pyytämällä cursorilta:
    ruokalajiID = cur.lastrowid

    saman voi myös kysyä kyselynä:

    SELECT last_insert_rowid()
  3. Kokeile ohjelmaa. Saat luultavasti virheen, miksi? Korjaa ruokalajin tietoja niin, että lisäys onnistuu.

Lisätietoa

Kannattaa ehdottomasti tutustua Philip Greenspunin kirjaan: SQL for Web Nerds

Käyttäjien kommentit

Kommentoi Lisää kommentti
Kurssimateriaalien käyttäminen kaupallisiin tarkoituksiin tai opetusmateriaalina ilman lupaa on ehdottomasti kielletty!
http://appro.mit.jyu.fi/tiea2080/ohjaus/ohjaus4/
© Tommi Lahtonen (tommi.j.lahtonen@jyu.fi) <http://hazor.iki.fi/>
2018-02-21 12:45:43
Informaatioteknologia - Jyväskylän yliopiston informaatioteknologian tiedekunta