LabonaMiksi sillä on väliä
Sitemap nopeuttaa uusien ja päivitettyjen sivujen löytymistä, erityisesti kun sisäinen linkitys on vielä ohut. Robots.txt taas on sivuston tehokkain tapa ampua itseään jalkaan. Yksi rivi, Disallow: /, estää koko sivuston hakemisen. Se jää usein paikalleen, kun uusi sivusto siirretään testiympäristöstä tuotantoon.
Sama tiedosto ratkaisee nykyään myös sen, pääsevätkö ChatGPT:n ja muiden tekoälyjen hakurobotit sivuillesi.
Näin se tehdään
1. Tee sitemap, jossa on vain oikeat sivut. Sitemapiin kuuluvat kanoniset osoitteet, jotka vastaavat koodilla 200. Uudelleenohjaukset, noindex-sivut ja virhesivut eivät kuulu sinne. WordPressissä sitemap syntyy automaattisesti, mutta sen sisältö kannattaa silti katsoa.
2. Pidä lastmod rehellisenä. Google käyttää sitemapin lastmod-päivämäärää, jos se on luotettava eli muuttuu vain, kun sisältö oikeasti muuttuu. priority- ja changefreq-arvot Google jättää huomiotta, joten niitä ei kannata säätää.
3. Lähetä sitemap Search Consoleen. Sitemapit-raportti kertoo, onko tiedosto luettavissa ja montako osoitetta siitä löytyi. Lisää sitemapin osoite myös robots.txt:hen Sitemap:-rivillä.
4. Pidä robots.txt lyhyenä. Estä vain polut, joita roboteilla ei ole syytä hakea, kuten hallintapaneeli tai sisäinen haku. Älä estä CSS- ja JavaScript-tiedostoja: Google tarvitsee ne nähdäkseen sivun niin kuin käyttäjä.
5. Päätä tekoälyroboteista erikseen. Hakurobotit (esimerkiksi OAI-SearchBot) tuovat sinut tekoälyvastauksiin, koulutusrobotit (esimerkiksi GPTBot) keräävät aineistoa mallien opetukseen. Ne voi sallia tai estää erikseen. Tarkemmin: Tekoälyrobotit ja llms.txt.
Musta hattu
Temppu: Sivu, jonka ei haluta näkyvän, piilotetaan robots.txt:llä, ja oletetaan sen katoavan hakutuloksista.
Miten kävi: Tämä ei ole huijausta vaan yleinen väärinkäsitys, mutta seuraukset ovat samat. Robots.txt:llä estetty sivu voi päätyä indeksiin, jos muut sivut linkittävät siihen. Hakutuloksessa näkyy silloin pelkkä osoite ilman kuvausta. Robots.txt on lisäksi julkinen tiedosto, joten "salaisen" polun listaaminen sinne kertoo kaikille, mistä etsiä.
Tarkistuslista
Käy kohdat läpi omalla sivustollasi. Valinnat tallentuvat vain tähän selaimeen.
Lähteet
- Google Search Central: Build and submit a sitemap
- Google Search Central: Introduction to robots.txt
- Google Search Central Blog: Sitemaps ping endpoint is going away (lastmod, priority ja changefreq)
Tarkistettu 28.9.2026. Hakukoneiden ja tekoälypalveluiden käytännöt muuttuvat, joten päivitämme oppaan säännöllisesti.
