Google Cloud Run ja Firestore

• Google cloud run - hello world
• Kirjautuminen Googlen tunnuksella
• Firestore
• Flask-Caching
• Firestoren hierarkiat ja transaktiot
• Cloud runin instanssit ja kustannukset
• Appengine - vanha
• Google Datastore - vanha
  • Lisätietoa
  • Kyselyt (Datastore Queries) - vanha
• Lisätietoa

Siirretään sovelluksemme Googlen Cloud run -ympäristöön.

Huom. tehtävää ollaan päivittämässä cloudruniin eli jatkossa emme käytä enää appenginea. Sivun lopusta löytyy vielä vanhat appengine-ohjeet.

Ota ensimmäisenä käyttöön Googlen tarjoama tarjouskuponki, jolla voit kokeilla Googlen maksullisia pilvipalveluja antamatta oman luottokortin tietoja. Cloud runin peruskäyttö on ihan ilmaista, mutta esim. SQL-tietokannan käyttäminen maksaa.

Google cloud run - hello world

Kokeile yksinkertaisen flask-sovelluksen julkaisemista cloud runissa Googlen Quickstart: Build and deploy a Python (Flask) web app to Cloud Run -ohjeen avulla. Seuraavassa on selvennetty muutamaa kohtaa Googlen ohjeesta:

• Asenna ensimmäisenä gcloud cli. Asenna kansioon, jonka polussa ei ole välilyöntejä tai erikoismerkkejä eli älä asenna siihen polkuun, jota asennusohjelma windowsissa oletuksena ehdottaa. Asenna esim. c:\cloudsdk.
• Kannattaa käyttää Local shell eli tehdä määritykset oman koneen komentorivi-ikkunassa ( powershell tai WSL:n terminaali tms. )
• projektin id:na voit tässä käyttää esim. ties4080-ohjaus4
• Projektin sijainniksi kannattaa valita jokin lähellä oleva paikka kuten europe-north
• Ohjeessa mainitun cloud buildin vaaditut roolit saa määriteltyä Cloud buildin permissions -sivulla. Rooleja määritellessä pistä muistiin mille service accountille niitä määrittelet. Todnäk kyseisen service accountin osoite on muotoa 10101010-compute@developer.gserviceaccount.com. Tarvitset tätä osoitetta, kun myöhemmin suoritat googlen ohjeessa mainitun add-iam-policy-binding-komentorivikomennon.

Lisäksi on syytä asentaa Cloud Code -laajennos Visual Studio Codeen, jolloin pääset kehittämään ja testamaan sovellustasi myös lokaalisti omalla koneella Googlen pilviympäristöä vastaavassa docker-kontissa. Tämä ei onnistu yliopiston mikroluokkien koneilla, koska niille ei saa asennettua dockeria. Sovellusta voi kehittää myös flaskin omalla palvelimella, mutta lopullinen toimivuus on aina syytä varmistaa oikeassa ympäristössä.

• Install the Cloud Code for VS Code extension
• Kokeile ensimmäisenä saada yksinkertaisin hello world -sovellus toimimaan: Quickstart: Build and deploy a Python (Flask) web app to Cloud Run Lisää sovelluskansioosi .cloudignore-tiedosto ja lisää siihen seuraavat rivit:

  .gcloudignore
  .git
  .gitignore

• Lisätietoja sovelluksen julkaisemisesta Cloud runissa löytyy ohjeista Deploy to Cloud Run from source tai Deploy a Cloud Run service with Cloud Code for VS Code

Kirjautuminen Googlen tunnuksella

Google-tunnuksella kirjautuminen vaatii hieman esivalmisteluja, jotta saadan OAuth 2.0 toimimaan.

• Täytä ensimmäisenä OAuth consent screenin edellyttämät tiedot. Vain pakolliset tiedot tarvitsee täyttää.
• Seuraavaksi luo tarvittavat tunnisteet create credentials
  • Valitse tyypiksi External. Internal toimisi vain yliopiston tunnuksilla
  • Anna nimeksi esim. TIES4080 ohjaus4
  • Google pyytää valitsemaan scopet. Valitse ainakin ..auth/userinfo.email. Jos Google ei näitä erikseen kysy, niin ne löytyvät myöhemmin Data Access -kohdasta.
  • Siirry Credentials-sivulle ja valitse sieltä Create credentials ja vaihtoehdoista valitse OAuth client ID
  • Valitse Application typeksi Web application
  • Lisää Authorized JavaScript origins kohtaan palvelimesi osoite eli esim. http://localhost:8080/
  • Lisää Authorized redirect URIs kohtaan ainakin:

    http://localhost:8080/auth
    http://127.0.0.1:8080/auth
    

    Tämä on osoite jonne google ohjaa autentikoinnin jälkeen. Varmista, että portti (8080) on sama missä lokaali flask-palvelimesi toimii.

    Siirrettyäsi sovelluksen Googlen Cloud Run -palveluun, muista lisätä myös siellä oleva vastaava https-alkuinen osoite listaan.

    Cloud runissa pitää lisäksi hieman kikkailla, koska Flaskin edessä pyörii Gunicorn, joka hieman hämää asioita Flaskilta ja estää autentikoinnin toimimisen suoraan salatun https-yhteyden kautta. Kts. mallikoodi google-login-cloud-run.zip, niin saat suojatun yhteyden toimimaan. Ilman tätä joudut käyttämään salaamatonta http-yhteyttä eikä se ole hyvä idea varsinkaan autentikoinnissa. Yleensä riittää seuraava lisäys Flask-soveluksen koodiin:

    from werkzeug.middleware.proxy_fix import ProxyFix
    app.wsgi_app = ProxyFix(app.wsgi_app, x_for=1, x_proto=1, x_host=1, x_port=1)

  • Saat lopuksi Client ID ja Client secret -tunnisteet. Kopioi ne talteen.
• Valmis demosovellus löytyy osoitteesta https://github.com/authlib/demo-oauth-client/tree/master/flask-google-login. Kopioi tai kloonaa valmis demosovellus omalle koneellesi.
  • Asenna tarvittavat lisäkirjastot
  • Kirjoita Googlelta saadut Client ID ja Client secret config.py-tiedostoon. Huom. ilman os.getenv-funktiokutsuja, jos et aseta kyseisiä tietoja ympäristömuuttujiin.
  • Kokeile sovellusta ja kirjautumista
  • Jos mallisovellus ei tunnu toimivan, kokeile käyttää autentikoinnin testaamiseen 'access_token' valmiissa sovelluksessa käytetyn 'userinfo' sijaan.
  • Autentikoinnissa saamasi "user_info"-objekti on dict, joka sisältää tarkempia tietoja kirjautuneestä käyttäjästä. Esim. käyttäjän sähköpostin saa "email"-avaimella.

    session['user'] = token['userinfo']
    email = session['user']['email']

• signout (uloskirjautuminen eli käytännössä session tyhjentäminen) omasta sovelluksesta saattaa toimia hieman hämmentävästi, koska googlen autentikointijärjestelmä helposti kirjaa käyttäjän heti takaisin sisään. Oman sovelluksen signout ei siis kirjaa käyttäjää ulos googlen järjestelmistä eikä pidäkkään. Jos uloskirjautumisen toiminta epäilyttää, niin kannattaa katsoa selaimen network-välilehdeltä mitä kaikkea uloskirjautumisen kohdalla tapahtuu. Jos haluat googlen tekevän uudelleen kirjautumiskyselyn, niin lisää "prompt:'consent'"-parametri:

  
  oauth.register(
      name='google',
      server_metadata_url=CONF_URL,
      client_kwargs={
          'scope': 'openid email profile',
          'prompt': 'consent'
      }
  )
  

  Kts. Prompting re-consent

Using OAuth 2.0 to Access Google APIs

Firestore

Varmista, että tietokoneellasi on uusin python. Mielellään Python 3.12.

Aloita ohjeen Get started with Cloud Firestore mukaan ja luo uusi firebase-projekti: Luo uusi firebase-projekti. Huom. Valitse ensimmäisenä linkki "Add Firebase to Google Cloud project" ja linkitä firebase-projektisi edellä luomaasi Google Cloud -projektiin.

• Firestore tarjoaa nykyään kaksi eri hinnoittelumallia: Blaze ja Spark. Koska sinulla on edellistehtävien jäljiltä käytössä billing account, niin google tyrkyttää väkisten Blaze-hinnoittelumallia. Hyväksy tämä. Voit myöhemmin projektin luomisen jälkeen vaihtaa malliksi Sparkin, joka ei turhaan kuluta billing accountin krediittejä.
• Luo uusi spark-hinnoittelumallin (ilmainen) projekti.
• Siirry Cloud Firestore-sivulle.
  • Luo uusi Cloud Firestore -tietokanta. Tietokannan nimen on oltava default, jotta pystyt hyödyntämään Googlen tarjoamaa ilmaista quotaa. Firestore ilmaisen quotan käyttäminen ei vaadi billing accountin luomista / käyttämistä, kuten datastoren yhteydessä.
  • Valitse Start in production mode.
  • Valitse tietokannan sijainniksi Suomi tai jokin euroopassa sijaitseva palvelin
• Asenna virtuaaliympäristöösi firebase-admin ja google-auth

  pip install --upgrade firebase-admin
  pip install --upgrade google-auth

• Firestore täytyy vielä alustaa.
  • Mene Service accounts-sivulle.
  • Valitse edellä luomasi projekti.
  • Valitse CREATE SERVICE ACCOUNT.
  • Anna nimeksi esim. omakone.
  • Valitse kohdassa Grant this service account access to project rooliksi Editor.
  • Valitse edellä luomasi service accountin Actions-sarakkeesta Manage Keys
  • Valitse ADD KEY ja Create new key
  • Valitse avaimen tyypiksi JSON
  • Tallenna avain projektisi kansioon omalle koneelle
• Luo uusi python-tiedosto alusta.py
  • Tutustu dokumenttiin Firestore Data model. Liitä tiedostoon seuraava koodi:

    import firebase_admin
    from firebase_admin import credentials
    from firebase_admin import firestore
    
    # Use a service account
    cred = credentials.Certificate('polku/tallentamaasi/json-tiedostoon/serviceAccount.json')
    firebase_admin.initialize_app(cred)
    
    db = firestore.client()
    
    #kokeile seuraavia
    doc_ref = db.collection('users').document('alovelace')
    doc_ref.set({
        'first': 'Ada',
        'last': 'Lovelace',
        'born': 1815
    })
    
    doc_ref = db.collection('users').document('aturing')
    doc_ref.set({
        'first': 'Alan',
        'middle': 'Mathison',
        'last': 'Turing',
        'born': 1912
    })
    
    users_ref = db.collection('users')
    docs = users_ref.stream()
    
    for doc in docs:
        print(f'{doc.id} => {doc.to_dict()}')

  • Suorita alusta.py

    python alusta.py

    Tarvittaessa asenna lisää kirjastoja kuten. google.auth.transport

• Nyt voit käyttää Firestorea esim. Flask-sovelluksessasi
• Firestore-sivulta pääset tutkimaan luomaasi Firestore-tietokantaa

  Jos tietokantasi on jostain syystä mennyt datastore-moodiin, voit vaihtaa sen firestoren moodiin komennolla:

  gcloud firestore databases update --type=firestore-native --database='(default)'

• Tutustu Firebasen käyttämiseen Googlen firebase-tutoriaalin avulla:
  • Add data to Cloud Firestore
  • get data with Cloud Firestore
  • Perform simple and compound queries in Cloud Firestore
  • Order and limit data with Cloud Firestore
  Firestore on dokumenttitietokanta, jonne voi tallentaa hierarkista dataa. Älä kuitenkaan luo turhaan hierarkiaa, jollet sitä erityisesti tarvitse esim. transaktioiden takia. Lue Cloud Firestore Data model ja voit harjoitella tämän sivun lopussa olevalla esimerkillä: Firestoren hierarkiat ja transaktiot.

Flask-Caching

Onko sovelluksesi hidas? Kestääkö jokin laskenta kauan? Tehdäänkö samoja hitaita asioita usein uudelleen? Käytä välimuistia ja sovelluksesi nopeutuu. Käytätkö kallista pilvipalvelua, jossa prosessointiaika tai tietokantaoperaatiot maksavat? Käytä välimuistiä ja säästät kustannuksissa.

Flask-Caching-kirjastolla saa flask-sovellukseen helposti välimuistin.

• Asenna Flask-Caching

  pip install Flask-Caching

• Kirjoita testaamista varten jokin todella hidas funktio. Esim.

  @app.route('/prime15000')
  def prime15000():
      return prime(15000)
  
  @app.route('/prime/<int:n>')
  def prime(n):
      if n <= 1:
        return "[]"
      # hidas alkulukulaskenta-algoritmi
      # https://medium.com/@GalarnykMichael/prime-numbers-using-python-824ff4b3ea19
      primes = []
      for possiblePrime in range(2, n):
      
          isPrime = True
          for num in range(2, possiblePrime):
              if possiblePrime % num == 0:
                  isPrime = False
          if isPrime:
              primes.append(possiblePrime)
      return str(primes)

• Otetaan käyttöön välimuisti

  from flask_caching import Cache
  
  config = {
      "DEBUG": True,          
      "CACHE_TYPE": "SimpleCache",  # välimuistin tyyppi
      "CACHE_DEFAULT_TIMEOUT": 60 #oletusaika välimuistille
  }
  app = Flask(__name__)
  app.config.from_mapping(config)
  cache = Cache(app)

• Lisää edellä luomaasi prime15000-funktioon cache-dekoraattori seuraavalla tavalla:

  @app.route('/prime15000')
  @cache.cached(timeout=50)
  def prime15000():
      return prime(15000)

  Kokeile nyt latautuuko sivu nopeammin. Ensimmäisellä kerralla lataaminen kestää vielä kauan, mutta toisella kerralla sivun pitäisi latautua samantien. cache-dekoraattori pitää olla route-dekoraattorin jälkeen.
• Voit cachettaa muitakin kuin flask-funktioita. Silloin täytyy antaa dekoraattorille key_prefix-parametri, jota käytetään välimuistin avaimena. Oletusavaimena toimii request.path eli välimuisti toimii sivukohtaisesti.

  @cache.cached(timeout=50, key_prefix='oma_tunniste')

• Haluttaessa huomioida myös funktion eri parametrit välimuistissa käytetään memoize-versiota:

  @app.route('/prime/<int:n>')
  @cache.memoize(timeout=50)
  def prime(n):
  ...
  

  Kokeile nyt erilaisilla luvuilla kutsua prime-funktiota. esim /prime/11000 ja /prime/15000.

  Joskus on tarpeen hävittää välimuistista jokin tietty funktio. Kts. Deleting memoize cache.

• SimpleCache on yksinkertaisin versio välimuistista. Käytännössä se on vain palvelimen muistissa säilyvä dict. Esim. AppEnginessa tämä olisi instanssikohtainen välimuisti. Instanssin muistin määrä voi rajoittaa välimuistin kokoa. Käytettävissä on useita erilaisia välimuistityyppejä. Tiedostojärjestelmäversiota ei voi käyttää AppEnginella. Myöskään memcached-versio ei toimi AppEnginessa. Google tarjoaa Memorystore for Redis -välimuistin, mutta sen käyttäminen on maksullista. Kannattaa ensin kokeilla SimpleCachea, ja jos sillä ei pärjää, ostaa käyttöön RedisCachen. Googlen Redis on käytännöllinen vasta, jos sovelluksella on jatkuvasti (24/7) paljon käyttöä, koska Redis-instanssi on käynnissä koko ajan ja siitä joutuu maksamaan 24/7.
• Välimuistin käytössä täytyy miettiä tarkkaan mitä tietoja voi säilyttää välimuistissa ja missä tarvitaan aina tuoreita tietoja. Esim. reseptitietokantatyyppisessä sovelluksessa voisi välimuistia käyttää paljon ja pitkiä aikoja, koska reseptit muuttuvat hyvin harvoin eikä uusiakaan lisätä usein. Viikkotehtävissä käytetyssä tulospalvelutietokannassa tietojen täytyy päivittyä tiuhempaan, mutta esim. 30 sekunnin välimuistiviive tuloslistauksessa ei olisi vielä mikään ongelma. Tulospalvelutietokannassa esim. kilpailut ja sarjat muuttuvat harvoin eli näiden tietoja voisi hyvin säilyttää välimuistissa, mutta joukkueisiin liittyvät tiedot muuttuvat usein eikä niitä kannata välimuistittaa.

Firestore clients: To cache, or not to cache? (or both?)

Firestoren hierarkiat ja transaktiot

• Firestoressa voi luoda hierarkisia dokumenttikokoelmia. Hierarkisuus on tarpeen vain jos on tarpeen käyttää transaktioita. Lue Transactions and batches writes. Esim. jos sinulla on joukkue ja joukkueella on jäseniä, niin yleensä halutaan muuttaa / päivittää samalla kerralla joukkueen ja sen jäsenten tiedot. Tässä tapauksessa transaktiolle olisi tarvetta, JOS jäsenet ovat omana dokumenttinaan.

  Vrt. aiemmin tehtyyn relaatiotietokantaan, jossa jäsenet oli tallennettu json-muodossa eikä silloin tarvittu jäsenille erillistä taulua. Jos jäsenet olisi laitettu erilliseen tauluun, tarvittaisiin relaatiotietokannassakin transaktiota joukkueen tietoja päivitettäessä. Jäsenten ollessa samassa tietueessa joukkueen muiden tietojen kanssa ei transaktiota tarvita.

  Oletuksena voit käyttää firestorea kuten käytit aiemmin relaatiotietokantaa eli voit tehdä rakenteen relaatiotietokannan tapaan ja käyttää yhdistäviä avainkenttiä.

  Luodaan malliksi hierarkinen reseptitietokanta, joka ei ehkä ole paras esimerkki, koska tämä toimisi paremmin ilman hierarkiaa.

  
  ruokalajit = [
              {"id": 1, "nimi": "Alkuruoka", "reseptit": []}, 
              {"id": 2, "nimi": "Pääruoka", "reseptit": [            
                  {"nimi": "Ananas Con Carne", "kuvaus": "Tulinen", "henkilomaara": 4},
                  {"nimi": "Banaanicurry", "kuvaus": "Mainio kasvisruoka", "henkilomaara": 2}
              ]}, 
              {"id": 3, "nimi": "Lisäkeruoka", "reseptit": []}, 
              {"id": 4, "nimi": "Väli- tai iltapala", "reseptit": []}, 
              {"id": 5, "nimi": "Jälkiruoka", "reseptit": []}, 
              {"id": 6, "nimi": "Suolainen leivonnainen", "reseptit": []}, 
              {"id": 7, "nimi": "Makea leivonnainen", "reseptit": [            
                  {"nimi": "Tiramisu", "kuvaus": "Hieno herkku", "henkilomaara": 6},
                  {"nimi": "Porkkanapiirakka", "kuvaus": "Suuri herkku", "henkilomaara": 8},
                  {"nimi": "Rommikakku", "kuvaus": "Hyytelökakku, ei tarvi paistaa", "henkilomaara": 6},
                  {"nimi": "Kauralastut", "kuvaus": "Helppo ja nopea", "henkilomaara": 4}
              ]}
              ]
              
  for ruokalaji in ruokalajit:
      #luodaan ruokalajit käyttäen omia tunnisteita (id)
     rlaji = db.collection('ruokalaji').document(str( ruokalaji["id"] ))
     rlaji.set({
         "nimi": ruokalaji["nimi"]
     })
     
     reseptit = ruokalaji["reseptit"]
     #luodaan reseptit automaattisilla tunnisteilla
  #   for resepti in reseptit:
  #       db.collection("ruokalaji", rlaji.id, "reseptit").document().set({
  #          "nimi": resepti["nimi"],
  #          "kuvaus": resepti["kuvaus"],
  #          "henkilomaara": resepti["henkilomaara"]          
  #       })
  
     #annetaan resepteillekin oma id, että on helpompi testailla
     #huom eri ruokalajien alla olevilla resepteillä voi olla sama id!
     count = 1
     for resepti in reseptit:
         db.collection("ruokalaji", rlaji.id, "reseptit").document(str(count)).set({
            "nimi": resepti["nimi"],
            "kuvaus": resepti["kuvaus"],
            "henkilomaara": resepti["henkilomaara"]          
         })
         count = count + 1
  

  Kokeile valmiissa koodissa olevia eri tapoja luoda reseptit. Tutki miten ne ilmestyvät näkyviin Firestoren ylläpitonäkymään. Poista tuplaversiot samoista resepteistä ylläpitonäkymän kautta

• Aina ei ole käytettävissä valmista yksilöivää tietoa. Firestore osaa itse automaattisesti luoda dokumentille uniikin id:n

  >#luo uuden dokumentin, joka on vielä tyhjä
  doc_ref = db.collection('tyyppi').document()
  #tunnisteen (id) saa suoraan id-ominaisuudesta
  id = doc_ref.id
  #dokumentin sisällön voi tallentaa set-metodilla
  doc_ref.set( omadata )
  

• Listaa kaikki ylätason kokoelmat:

  collections_ref = db.collections()
  
  for col in collections_ref:
    documents = col.stream()
  
    for doc in documents:
      print(f'{doc.id} => {doc.to_dict()}')
  
  

• Mitäs jos halutaan listata kaikki reseptit? Tämä on hankalampaa, koska jokainen resepti asuu yksittäisen ruokalajin reseptit-kokoelmassa. Yksittäiseen ruokalajiin kuuluvat reseptit voi hakea seuraavalla tavalla:

  #haetaan kaikki jälkiruokareseptit. Jälkiruokalajin id on 7      
  reseptit = db.collection('ruokalaji/7/reseptit').stream()
         
  for resepti in reseptit:
      print(f'{resepti.id} => {resepti.to_dict()}')
  

  Kaikkien reseptien hakemiseen tarvitaan collection group -kysely:

  reseptit = db.collection_group('reseptit')
  docs = reseptit.stream()
  for doc in docs:
      print(f'{doc.id} => {doc.to_dict()}')
  

  Tämä ei kuitenkaan heti onnistu vaan ohjelma kaatuu virheeseen, jossa ilmoitetaan, että kysely tarvitsee tietynlaisen indeksin. Virheilmoituksessa saa suoraan kopioitua linkin, jonka avaamalla saa luotua tarvittavan indeksin.

  "The query requires a COLLECTION_GROUP_ASC index for collection reseptit and field type. You can create it here: https://console.firebase.google.com/...

  Indeksin luominen kestää tovin. Jos yrität kyselyä uudelleen eikä indeksointi ole vielä valmista, saat uuden virheilmoituksen:

  400 The query requires a COLLECTION_GROUP_ASC index for collection reseptit and field type. That index is not ready yet. See its status here: https://console.firebase.google.com...

• Yritä listata reseptit ruokalajeittain seuraavalla tavalla:

  Alkuruoka
  Pääruoka
          Ananas Con Carne
          Banaanicurry
  Lisäkeruoka
  Väli- tai iltapala
  Jälkiruoka
  Suolainen leivonnainen
  Makea leivonnainen
          Tiramisu
          Porkkanapiirakka
          Rommikakku
          Kauralastut

  Malli

  ruokalajit = db.collection('ruokalaji').stream()
  
  for ruokalaji in ruokalajit:
      print(f'{ruokalaji.to_dict()["nimi"]}')
      reseptit = db.collection('ruokalaji', ruokalaji.id, 'reseptit').stream()
      for resepti in reseptit:
          print(f'\t{resepti.to_dict()["nimi"]}')
  

• Lisätietoa löytyy seuraavista : Admin SDK Reference ja google-cloud-firestore

Cloud runin instanssit ja kustannukset

Tämä käsittelee appenginea, mutta samat periaatteet pätevät cloud runiin. Cloud run -versio tulossa.

Cloud run luo tarpeen mukaan yhden tai useampia instansseja sovelluksestasi. Mitä enemmän sovelluksella on käyttäjiä/verkkoliikennettä tai mitä hitaammin sovellus vastaa pyyntöihin, sitä herkemmin Cloud run ottaa käyttöön useampia instansseja. Mitä enemmän instansseja on käytössä sitä nopeammin sovellus vastaa, mutta sitä enemmän sovellus myös kuluttaa palvelinresursseja ja google laskuttaa enemmän.

Cloud runin asetuksien säätämistä käsitellään dokumentissa Configure Cloud Run services

Asetuksia ei voi säätää jälkikäteen vaan asetusten muuttaminen tapahtuu aina luomalla sovelluksesta uusi revisio "Edit & deploy new revision". Oletuksena uusi revisio ottaa haltuunsa sovelluksen liikenteen. Vanha revisio kannattaa säilyttää jonkin aikaa, jos uudessa onkin bugeja, ja haluaa siirtää sovelluksen toiminnan vanhalle versiolle.

Tärkeimmät asetukset:

• Web-sovelluksesta tulee yleensä julkinen (Allow public access)
• Hinnoittelumalleja on kaksi: request-based ja instance-based. Tyypillisesti pieni web-sovellus on halvinta request-based-hinnoittelulla eli laskua kertyy vain ja ainoastaan silloin, kun sovellus käsittelee webistä saapuvaa pyyntöä. instance-based-versiossa taas on suuremmat kiinteät kulut, mutta tämä voi käydä halvemmaksi, jos sovelluksella on paljon jatkuvaa käyttöä ja liikennettä.
• Palvelun skaalauksessa voi määritellä montako instanssia sovelluksesta on vähintään tai enintään käytössä. Minimiksi on hyvä laittaa 0 eli sovellus sammutetaan kokonaan, jos käyttöä ei ole. Sivupyynnön tullessa sovellusinstanssi käynnistetään ja se voi kestää ensimmäisellä pyynnöllä tovin. Tyypillisesti instanssia ei sammuteta heti vaan se pysyy jonkin aikaa päällä ja palvelee seuraavat pyynnöt nopeasti.

  Jos kuormitusta on paljon, cloud run käynnistää automaattisesti lisää instansseja palvelemaan liikennettä. Näille voi määrittää maksimin ja kannattaakin määritellä, koska tämä estää kustannuksia hyppäämästä pilviin, jos käyttäjiä tuleekin yhtäkkiä hirvittävän paljon.

• Resursseissa voi asettaa instanssin maksimimuistin ja prosessorien lukumäärän. Nämä kannattaa oletuksena pitää minimeissä (128 MiB ja 1). Vasta jos huomaa, että tarvii oikeasti lisää muistia tai prosessointitehoa, kannattaa näitä kasvattaa. Mitä enemmän muistia ja prosessoreita instanssi tarvitsee, sitä enemmän Google laskuttaa käytöstä.
• Requests-kohdassa voi määritellä palvelimen aikakatkaisurajan. Oletuksena oleva 300 sekuntia on aivan hyvä. Samoin oletuksena oleva samanaikaisten pyyntöjen (concurrent requests) määrä on ihan hyvä, mutta voi mahdollisesti olla paljon suurempikin. Jos Flaskin sijaan toteuttaa sovelluksensa esim. asynkronisella Quartilla, voi tätä arvoa pystyä paljonkin suurentamaan. Mitä suurempi arvo, sitä helpommin Google antaa yhden instanssin palvella ennen uuden instanssin käynnistämistä.
• Suoritusympäristöksi (execution environment) kannattaa oletuksena valita "First generation", joka sallii asettaa käytetyn muistin määräksi jopa vain 128 Mib. Tämä voi hyvinkin riittää pienissä sovelluksessa ja alentaa käyttökuluja.
• Jos instanssin kylmäkäynnistys tuntuu liian hitaalta voi "Startup CPU boost" auttaa

General development tips

Cloud run -sovelluksen kustannuksiin vaikuttaa myös firestore: mitä enemmän dataa tallennat sitä enemmän google laskuttaa. Käytännössä eniten vaikuttaa kuitenkin dataliikenne eikä tallennetun datan määrä. Ts. jokaisen yksittäisen tietueen (entity) lukeminen firestoresta maksaa ja samoin myös tietueen kirjoittaminen firestoreen maksaa. Google tarjoaa kuitenkin hyvän ilmaisen (free tier) quotan, jonka puitteissa pystyy jo tekemään isohkojakin sovelluksia maksamatta senttiäkään. Ilmainen quota on laskutustilikohtainen. Kts. Firestore pricing Kustannuksien säästämiseksi google tarjoaa maksullisia välimuistipalveluja kuten Memorystore. Emme kuitenkaan käytä näitä nyt tällä kurssilla. Flask tarjoaa oman yksinkertaisen välimuistin, joka voi jo auttaa paljon.

runtime: python312  #python-tulkin versio

default_expiration: "24h"  #määrää staattisten tiedostojen säilymisiän välimuistissa
instance_class: F1 #käytetyn instanssin teholuokka. F1 on heppoisin ja halvin
                   #älä käytä tällä kurssilla tehokkaampia

automatic_scaling:
  target_cpu_utilization: 0.65  #raja-arvo, jonka jälkeen käynnistetään uusia instansseja
  min_instances: 2 #instanssien minimimäärä. 0 tarkoittaa, että instanssit voidaan kaikki sammuttaa, jos sovelluksella ei ole käyttöä
                   #sovelluksen käynnistyminen on hitaampaa, jos kaikki instanssit ovat pois päältä
                   #Käytä tällä kurssilla arvoa 2 eli koko ajan on käytössä kaksi instanssia
                   #tällä määrällä saa hyvin testattua toimiiko sovellus kunnolla useamman instanssin tapauksessa
                   #huom. kaksi koko ajan käynnissä olevaa instanssia vie paljon rahaa. Aseta instanssien nimimimääräksi
                   #0 silloin kun et sovellusta tarvi 
                   #varo globaaleja muuttuja, koska ne ovat instanssikohtaisia
  max_instances: 1   #instanssien maksimimäärä. Mitä suurempi lukumäärä sitä suuremmat mahdolliset kustannukset
  min_idle_instances: 0 #jouten olevien instanssien minimimäärä
  max_idle_instances: 1 #jouten olevien instanssien maksimimäärä
  min_pending_latency: 30ms #kauanko odotetaan jonossa ennen kuin luodaan uusi instanssi
  max_pending_latency: 100ms #jos odotusaika on minimin ja maksimin välissä yritetään käyttää olemassa olevaa instanssia
  max_concurrent_requests: 50 #montako yhtäaikaista pyyntöä yksi instanssi kelpuuttaa ennen kuin luodaan uusia instansseja

Lisätietoa

• Starter Kit for Flask on Google App Engine
• Building a Python 3 App on App Engine