LabonaMiksi sillä on väliä
Moni sivusto estää tekoälyrobotit vahingossa. Julkaisualustan tai palomuurin oletusasetus, tietoturvalisäosa tai vuonna 2023 tehty "estetään kaikki tekoälyt" -päätös voi pitää sivuston poissa ChatGPT:n ja Clauden hakuvastauksista. Esto ei välttämättä näy tavallisessa Google-näkyvyydessä. Mahdollisia estoja voi selvittää robottien asetuksista ja lokeista.
Mikä robotti tekee mitä
| Robotti | Tehtävä | Jos estät sen |
|---|---|---|
| GPTBot (OpenAI) | Koulutus | Estää tämän robotin koulutusaineiston keruun. Ei estä ChatGPT:n hakua |
| OAI-SearchBot (OpenAI) | ChatGPT:n haku | Sivusi ei näy hakuvastausten lähteenä, mutta navigointilinkki voi yhä näkyä |
| ChatGPT-User (OpenAI) | Käyttäjän pyyntö | OpenAI:n mukaan robots.txt ei välttämättä koske sitä |
| ClaudeBot (Anthropic) | Koulutus | Estää tämän robotin koulutusaineiston keruun |
| Claude-SearchBot (Anthropic) | Clauden haku | Näkyvyys Clauden hakuvastauksissa voi heiketä |
| Claude-User (Anthropic) | Käyttäjän pyyntö | Claude ei voi hakea sivua käyttäjän pyynnöstä |
| Google-Extended | Geminin koulutus ja vastaukset | Ei vaikuta Google-hakuun eikä AI-yhteenvetoihin |
| Applebot-Extended | Applen mallien koulutus | Ei estä Siriä ja Spotlightia |
| CCBot | Common Crawl -aineisto | Sisältö ei päädy tuleviin Common Crawl -aineistoihin |
Kaksi yleistä väärinkäsitystä: GPTBotin estäminen ei poista sivua ChatGPT:stä, koska lähteet hakee OAI-SearchBot. Google-Extendedin estäminen ei poista sivua AI-yhteenvedoista, koska ne käyttävät tavallista Googlebotia.
Entä llms.txt?
llms.txt on Jeremy Howardin vuonna 2024 ehdottama Markdown-tiedosto, joka tiivistää sivuston tärkeimmän sisällön kielimalleille. Tiedoston käyttötarkoitus ja näyttö näkyvyyshyödystä kannattaa erottaa:
- Google Search ei käytä llms.txt-tiedostoa näkyvyyden tai sijoitusten parantamiseen.
- Ahrefs tutki noin 137 000 analytiikkapalvelujaan käyttänyttä domainia toukokuussa 2026. Noin 38 000 sivustolla oli kelvollinen llms.txt, ja näistä tiedostoista 97 % ei saanut yhtään pyyntöä kyseisen kuukauden aikana. Otos ei edusta koko verkkoa, eikä tutkimus mittaa vaikutusta hakunäkyvyyteen.
Muiden tekoälypalvelujen näkyvyyshyödystä ei näiden lähteiden perusteella ole riittävää näyttöä. Sisällön, indeksoinnin ja hakurobottien pääsyn korjaaminen on siksi tärkeämpää. Tiedostosta voi olla hyötyä esimerkiksi kehittäjädokumentaatiota käyttäville työkaluille. Labonan llms.txt:n ylläpito on automatisoitu; sen olemassaolo ei ole näyttö näkyvyyshyödystä.
Näin se tehdään
- Avaa oma robots.txt. Se löytyy osoitteesta omasivusto.fi/robots.txt. Etsi rivit, joissa mainitaan yllä olevia robotteja.
- Salli hakurobotit. OAI-SearchBot, Claude-SearchBot, Googlebot ja Bingbot eivät saa olla Disallow-rivin takana.
- Päätä koulutusroboteista erikseen. Päätä, sallitko julkisen sisältösi keräämisen mallien koulutukseen. Salliminen ei takaa keruuta, malliin sisältymistä, tiedon oikeellisuutta tai yrityksen mainitsemista. Tarkista kunkin robotin tehtävä: Google-Extended ohjaa myös osaa Geminin hakupohjaisesta käytöstä.
- Tarkista palomuuri. Cloudflaren ja muiden palveluiden bottiesto voi pysäyttää robotin ennen kuin robots.txt:tä edes luetaan. Tarkista sekä palvelimen että mahdollisen välityspalvelun lokit: esto voi näkyä esimerkiksi 403- tai 429-vastauksena ennen kuin pyyntö saavuttaa oman palvelimesi.
- Katso lokeista, käyvätkö robotit. Jos robottia ei näy lokeissa, tarkista ensin lokien kattavuus ja aikaväli. Selvitä sen jälkeen robots.txt-säännöt, palomuurin estot ja mahdolliset 403- tai 429-vastaukset. Pelkkä lokimerkinnän puuttuminen ei todista estoa.
Musta hattu
Temppu: Robotti tekeytyy toiseksi väärennetyllä tunnisteella tai kiertää estot vaihtamalla IP-osoitetta. Toiseen suuntaan: sivusto näyttää tekoälyroboteille eri sisällön kuin ihmisille.
Miten kävi: Cloudflare syytti elokuussa 2025 Perplexityä estojen kiertämisestä, minkä Perplexity kiisti. Sivuston puolella eri sisällön näyttäminen roboteille on cloakingia, joka on ollut Googlen spam-käytäntöjen vastaista aina. Aitojen robottien IP-osoitteet löytyvät yhtiöiden julkaisemista listoista, joten tunnisteeseen ei tarvitse luottaa sokeasti.
Tarkistuslista
Käy kohdat läpi omalla sivustollasi. Valinnat tallentuvat vain tähän selaimeen.
Lähteet
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Google Search Central: Google's common crawlers (Google-Extended)
- Apple: About Applebot
- llmstxt.org: The /llms.txt file
- Google Search Central: Optimizing for generative AI features on Google Search
- Ahrefs: We analyzed 137K sites: 97% of llms.txt files never get read (15.6.2026; aineisto toukokuulta 2026)
- Cloudflare: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives (8/2025)
Tarkistettu 28.9.2026. Hakukoneiden ja tekoälypalveluiden käytännöt muuttuvat, joten päivitämme oppaan säännöllisesti.
