Robots.txt, svetainės žemėlapis (sitemap) ir llms.txt - tai trys maži tekstiniai failai, kurie padeda Jūsų svetainę rasti. Robots.txt pasako paieškos robotams, kur eiti nereikia, svetainės žemėlapis išvardija visus puslapius, o llms.txt trumpai pristato svetainę dirbtinio intelekto (DI) įrankiams.
Šiame straipsnyje paaiškiname, kaip veikia kiekvienas iš jų, ar jų reikia Jūsų svetainei ir kaip per kelias minutes pasitikrinti, ar jie tvarkingi. Jums nereikia jokių techninių žinių.
Įsivaizduokite, kad Jūsų svetainė yra pastatas, o Google robotas - svečias, kuris nori jį apžiūrėti. Robots.txt yra lentelė ant durų, svetainės žemėlapis - pastato planas, o llms.txt - trumpas lankstinukas apie tai, kas čia dirba.
Kas yra robots.txt?
Robots.txt - tai failas, kuris paieškos robotams (programoms, kurios naršo internetą) pasako, kuriuos svetainės puslapius jie gali aplankyti. Jis visada yra pagrindiniame svetainės aplanke, todėl jį rasite adresu, pavyzdžiui, jusuverslas.lt/robots.txt.
Dažniausiai jis naudojamas tam, kad robotai neapkrautų svetainės ir negaištų laiko nesvarbiems puslapiams, pavyzdžiui, vidinei paieškai ar administravimo skydeliui.
Svarbu žinoti: robots.txt neslepia puslapio nuo Google. Jei į uždraustą puslapį veda nuoroda iš kitos svetainės, Google jį vis tiek gali parodyti paieškoje, tik be aprašymo. Norint puslapį tikrai paslėpti, naudojama noindex žymė arba slaptažodis.
Kaip atrodo robots.txt failas?
Robots.txt yra paprastas tekstas, kurį gali perskaityti ir žmogus. Štai visas mūsų failas:
Faile dažniausiai būna keturių rūšių eilutės:
- User-agent: kuriam robotui skirta taisyklė. Žvaigždutė (*) reiškia „visiems“.
- Disallow: kur eiti negalima, pavyzdžiui,
Disallow: /admin/. - Allow: kur eiti galima, net jei aukščiau kas nors uždrausta.
- Sitemap: kur rasti svetainės žemėlapį.
Viena klaidinga eilutė gali kainuoti brangiai. Įrašas Disallow: / (tik su pasviruoju brūkšniu) uždraudžia robotams visą svetainę. Tokia eilutė kartais lieka po svetainės kūrimo, kai svetainė dar buvo slepiama nuo paieškos.
Kas yra svetainės žemėlapis (sitemap)?
Svetainės žemėlapis (angl. sitemap) - tai visų puslapių, kuriuos norite parodyti Google, sąrašas. Jis rašomas XML formatu, kurį lengvai skaito programos, ir dažniausiai pasiekiamas adresu /sitemap.xml.
Prie kiekvieno puslapio galima nurodyti, kada jis paskutinį kartą keitėsi. Taip Google greičiau pastebi naujus ir atnaujintus puslapius. Google naudoja šią datą tik tada, kai ji tiksli, o kai kuriuos kitus laukus, pavyzdžiui, puslapio svarbą (priority), ignoruoja.
Viename žemėlapyje gali būti iki 50 000 puslapių, todėl didelės svetainės jį skaido į kelis. Mūsų svetainėje žemėlapiai du: vienas pagrindiniams puslapiams, kitas naujienoms. Abu surašyti viename rodyklės faile:
Ar Jūsų svetainei reikia sitemap?
Dažniausiai taip. Pasak Google, daugumai svetainių žemėlapis naudingas, o labiausiai jis padeda:
- naujoms svetainėms, į kurias dar beveik niekas nenurodo;
- didelėms svetainėms, kuriose daug puslapių;
- svetainėms, kuriose daug nuotraukų, vaizdo įrašų ar naujienų.
Mažai svetainei, kurioje iki maždaug 500 puslapių ir visi jie susieti nuorodomis, žemėlapis nebūtinas. Vis dėlto jis nieko nekainuoja, o naujai svetainei padeda greičiau būti pastebėtai. Atminkite: žemėlapis negarantuoja, kad Google parodys visus puslapius, jis tik padeda juos rasti.
Žemėlapį verta nusiųsti Google per nemokamą įrankį Google Search Console. Ten matysite, kiek puslapių Google rado ir ar nėra klaidų.
Kas yra llms.txt?
Llms.txt - tai naujas failas, skirtas dirbtinio intelekto (DI) įrankiams, tokiems kaip ChatGPT. Jame paprastu tekstu aprašoma, kas Jūsų verslas, ką siūlote ir kuriuose puslapiuose rasti svarbiausią informaciją.
Pavadinimas kilęs iš angliško LLM (angl. large language model, didysis kalbos modelis) - taip vadinamos DI programos, kurios supranta ir rašo tekstą. Failą 2024 m. pasiūlė Jeremy Howard, ir jis dar nėra oficialus standartas.
Svarbu žinoti: Google paieškai llms.txt nereikia. Savo vadove Google rašo, kad tokių failų kurti nebūtina, bet laikyti juos visiškai gerai, jei jais naudojasi kitos programos. Todėl llms.txt Jūsų vietos Google nepakels, o jo nauda priklausys nuo to, kiek DI įrankių pradės jį skaityti.
Kuo jie skiriasi?
| Ką daro | Ar būtinas | |
|---|---|---|
| Robots.txt | Pasako paieškos robotams, kur eiti nereikia | Ne, bet patartinas |
| Svetainės žemėlapis | Išvardija visus svarbius puslapius | Patartinas, ypač naujai svetainei |
| Llms.txt | Trumpai pristato verslą DI įrankiams | Ne, Google paieška jo nenaudoja |
Kaip pasitikrinti savo svetainę?
Šiuos tris žingsnius galite atlikti patys per kelias minutes:
- Atsidarykite robots.txt. Prie savo svetainės adreso pridėkite /robots.txt, pavyzdžiui, jusuverslas.lt/robots.txt. Jei po
User-agent: *matote eilutęDisallow: /, parašykite savo svetainės kūrėjui. - Raskite svetainės žemėlapį. Jo adresas dažniausiai nurodytas paskutinėje robots.txt eilutėje. Jei ten jo nėra, pabandykite /sitemap.xml.
- Patikrinkite Google Search Console. Skiltyje apie svetainės žemėlapius (Sitemaps) matysite, ar Google žemėlapį rado ir kiek puslapių jame perskaitė.
Mūsų failus galite pamatyti čia: robots.txt, svetainės žemėlapis ir llms.txt. Kaip Google randa svetaines ir ką dar galite padaryti patys, rašėme straipsnyje Kas yra SEO?
Jei šių failų neradote arba kas nors neveikia, juos sutvarkyti nesudėtinga. Kiekvienoje mūsų sukurtoje svetainėje robots.txt, svetainės žemėlapis ir llms.txt paruošiami iš karto, o žemėlapis atsinaujina pats, kai atsiranda naujas puslapis. Plačiau apie tai skaitykite puslapyje Svetainių kūrimas.
Dažniausi klausimai
Kaip paslėpti puslapį nuo Google?
Naudokite noindex žymę arba apsaugokite puslapį slaptažodžiu. Robots.txt tam netinka: uždraustas puslapis vis tiek gali atsirasti paieškoje.
Ar sitemap reikia mažai svetainei?
Taip! Nors mažai svetainei Google jo nereikalauja, žemėlapis padeda greičiau rasti naujus puslapius ir nieko nekainuoja.
Ar verta turėti llms.txt?
Taip! Google paieškoje jis vietos nepakels, bet sukurti jį paprasta ir jis niekam nekenkia. Kai DI įrankiai jį skaitys plačiau, Jūsų svetainė jau bus pasiruošusi.
Kiek kainuoja robots.txt ir svetainės žemėlapis?
Nieko. Tai paprasti tekstiniai failai, o daugelis svetainių kūrimo įrankių juos sukuria patys.
