Sajt se ne pojavljuje na Google-u: 7 razloga zašto nije indeksiran i kako to popraviti

Napravili ste sajt, objavili prve stranice i uneli naziv firme u Google pretragu, ali vašeg sajta nema među rezultatima. Čak ni kada unesete pun naziv domena, ne pronalazite ono što ste objavili.

Prva pomisao je da nešto nije u redu sa SEO optimizacijom. Međutim, ako Google još nije indeksirao vaš sajt, promena naslova, dodavanje ključnih reči i pisanje novih tekstova neće nužno rešiti problem.

Indeksiranje znači da je Google obradio stranicu i uključio je u svoju bazu iz koje bira rezultate pretrage. Stranica koja nije indeksirana ne učestvuje u redovnim rezultatima pretrage. Ako je indeksirana, ali se nalazi na lošoj poziciji, problem je druge prirode.

Postoji sedam razloga koje prvo treba proveriti, od slučajno uključene zabrane indeksiranja do sadržaja koji Google ne smatra dovoljno korisnim da bi ga zadržao u indeksu.

Kako proveriti da li je sajt indeksiran na Google-u?

Najbrža početna provera jeste unos sledeće komande u Google pretragu:

site:vasdomen.rs

Umesto vasdomen.rs unesite adresu svog sajta. Google će prikazati rezultate koje povezuje sa navedenim domenom.

Ako se pojave naslovna stranica i nekoliko članaka, Google već poznaje deo sajta. Ako nema rezultata, postoji mogućnost da stranice nisu indeksirane, ali sama komanda nije konačan dokaz.

Google u dokumentaciji o komandi site: objašnjava da ona ne prikazuje nužno sve indeksirane stranice. Za preciznu proveru koristi se Google Search Console.

U okviru Google Search Console potrebno je potvrditi vlasništvo nad sajtom, a zatim otvoriti izveštaj Page indexing. U njemu se nalaze stranice koje su indeksirane, ali i one koje Google nije uključio u indeks, sa odgovarajućim objašnjenjima.

Za proveru pojedinačne stranice koristi se URL Inspection. U polje na vrhu Search Console interfejsa unosi se puna adresa, na primer:

https://vasdomen.rs/usluge/

Ako alat prikaže poruku „URL is on Google“, stranica je indeksirana. Poruka „URL is not on Google“ znači da nije u indeksu, a dodatni podaci pomažu da se utvrdi razlog.

Posebno je važno da proverite i naslovnu stranicu i nekoliko važnih unutrašnjih stranica. Dešava se da Google indeksira početnu stranicu, ali ne i proizvode, usluge ili objavljene članke.

1. Sajt je nov i Google još nije pronašao njegove stranice

Ako je domen registrovan pre nekoliko dana, a sajt tek objavljen, nedostatak rezultata ne mora da ukazuje na tehničku grešku.

Google otkriva nove stranice putem linkova sa drugih sajtova, internih linkova i XML mape sajta. Kada pronađe adresu, tek treba da je poseti, obradi sadržaj i odluči o indeksiranju.

Čitav postupak ne završava se nužno istog dana.

U Google uputstvu o ponovnom indeksiranju navedeno je da preuzimanje stranica može trajati od nekoliko dana do nekoliko nedelja. Zahtev za indeksiranje ne predstavlja garanciju da će se stranica pojaviti u rezultatima.

Kako pomoći Google-u da pronađe novi sajt?

Prvo treba povezati sajt sa Search Console nalogom. Zatim se dostavlja XML sitemap, datoteka koja sadrži adrese stranica namenjenih pretrazi.

Na WordPress sajtovima adresa mape često izgleda ovako:

https://vasdomen.rs/wp-sitemap.xml

SEO dodaci koriste i druge adrese, uključujući sitemap_index.xml. Tačna putanja zavisi od podešavanja sajta.

U Search Console interfejsu postoji odeljak Sitemaps u kojem se mapa prijavljuje Google-u.

Za važnu stranicu moguće je dodatno otvoriti URL Inspection i izabrati Request indexing. Nema koristi od ponavljanja istog zahteva svakih nekoliko sati. Google navodi da višestruko slanje istog URL-a ne ubrzava obradu.

2. WordPress ima uključenu zabranu indeksiranja

Jedna od prvih stvari koje treba proveriti na WordPress sajtu jeste podešavanje koje govori pretraživačima da ne indeksiraju sadržaj.

Tokom izrade sajta, programeri ponekad uključuju opciju koja obeshrabruje indeksiranje kako nedovršene stranice ne bi završile u rezultatima pretrage.

Problem nastaje kada sajt bude objavljen, a podešavanje ostane uključeno.

U WordPress administraciji nalazi se u odeljku Settings → Reading, pod nazivom „Discourage search engines from indexing this site“.

Za javni sajt koji treba da se pojavljuje u pretrazi ova opcija ne treba da bude označena.

Međutim, WordPress podešavanje nije jedino mesto na kojem postoji zabrana. Pojedinačne stranice mogu imati oznaku noindex, koju postavlja SEO dodatak, tema ili podešavanje servera.

Kada Google pronađe noindex direktivu, neće zadržati stranicu u indeksu nakon što je obradi. Detalji su objašnjeni u Google dokumentaciji o noindex direktivi.

U Search Console izveštaju takve stranice mogu biti označene statusom „Excluded by noindex tag“.

Uklanjanje zabrane rešava tehničku prepreku, ali Google i dalje samostalno odlučuje da li će stranicu indeksirati.

3. Robots.txt blokira pristup važnim stranicama

Datoteka robots.txt nalazi se na domenu i sadrži pravila koja pretraživačima govore kojim delovima sajta smeju da pristupaju.

Njena adresa izgleda ovako:

https://vasdomen.rs/robots.txt

Ako se u njoj nalazi sledeća kombinacija, Googlebot dobija zabranu pristupa celom sajtu:

User-agent: *
Disallow: /

Ovakvo podešavanje korisno je u određenim okolnostima, na primer za razvojno okruženje, ali predstavlja ozbiljan problem na javnom poslovnom sajtu.

Robots.txt ne služi za pouzdano uklanjanje stranica iz Google indeksa. Blokirana URL adresa i dalje se može pojaviti u rezultatima ako Google za nju sazna putem drugih linkova, ali neće moći da preuzme njen sadržaj.

Google u uputstvu za probleme sa preuzimanjem stranica savetuje vlasnicima da provere robots.txt pravila i pristup serveru kada Googlebot ne uspeva da pristupi važnom sadržaju.

Za proveru konkretne adrese dostupan je URL Inspection, koji prikazuje podatke o pristupu stranici.

Izmene robots.txt datoteke treba obavljati pažljivo. Pogrešno pravilo može blokirati celu kategoriju, prodavnicu ili sajt umesto samo stranica koje nisu namenjene pretrazi.

4. Google pronalazi više verzija iste stranice

Stranica može biti dostupna preko više adresa, na primer:

https://vasdomen.rs/usluge/
https://www.vasdomen.rs/usluge/
https://vasdomen.rs/usluge/?source=promo

Ako sve tri adrese prikazuju isti sadržaj, Google pokušava da odabere jednu kao glavnu, odnosno kanonsku verziju.

Zbog toga neki URL-ovi neće biti pojedinačno indeksirani. U Search Console izveštaju moguće je pronaći statuse kao što su „Duplicate, Google chose different canonical than user“ ili „Alternate page with proper canonical tag“.

Nijedan od tih statusa sam po sebi ne znači da je sajt pokvaren.

Problem nastaje kada Google odabere pogrešnu verziju ili kada canonical oznaka na važnoj stranici upućuje na sasvim drugu adresu.

U Google dokumentaciji o kanonskim adresama objašnjeno je da pretraživač analizira preusmerenja, interne linkove, sitemap i canonical oznake pri izboru glavne verzije.

Vlasnik sajta treba da uskladi ova podešavanja. Ako je zvanična adresa proizvoda /proizvod-a/, interni linkovi i sitemap treba da vode ka toj verziji, a canonical oznaka ne treba da upućuje na neki drugi proizvod.

Google ipak zadržava pravo da odabere kanonsku adresu na osnovu sopstvene procene.

5. Stranice postoje, ali do njih ne vode interni linkovi

Objavljivanje stranice u WordPress administraciji ne znači da će je posetioci ili Google lako pronaći.

Zamislimo firmu koja ima 40 stranica sa opisima usluga. Na početnoj stranici nalaze se samo osnovne informacije i kontakt, a do pojedinačnih usluga ne vodi nijedan interni link.

Stranice tehnički postoje i otvaraju se kada neko unese njihovu adresu. Međutim, Google teže otkriva URL-ove koji nisu povezani sa ostatkom sajta.

U Search Console izveštaju takve stranice mogu imati status „Discovered – currently not indexed“, naročito kada Google zna da adresa postoji, ali je još nije preuzeo.

Rešenje nije dodavanje nasumičnih linkova u podnožje svake stranice.

Za poslovni sajt sa više usluga smislenije je napraviti preglednu stranicu sa svim uslugama i povezati je sa odgovarajućim podstranicama. Tekst o knjigovodstvenim uslugama, na primer, treba da vodi ka zasebnim stranicama o obračunu zarada, poreskim prijavama i drugim poslovima koji se na sajtu zaista nude.

Google u smernicama za linkove koje pretraživač može da prati objašnjava kako HTML veze pomažu pri pronalaženju stranica.

Važan je i kvalitet linkova. Tekst na koji posetilac klikne treba jasno da opisuje stranicu koju će otvoriti.

Ako tek pripremate poslovni sajt, korisno je da uz registraciju preduzeća razmotrite i zaštitu njegovog identiteta. Na Bizinfo.rs smo već objasnili kako se štiti naziv firme i brenda, što je posebno relevantno kada firma koristi isti naziv u registru, na domenu i u javnoj komunikaciji.

6. Google je pregledao sadržaj, ali nije odlučio da ga indeksira

Jedan od najneprijatnijih statusa u Search Console interfejsu jeste „Crawled – currently not indexed“.

On znači da je Google već preuzeo stranicu, ali je nije uključio u indeks. Prema tome, problem ne mora biti u robots.txt datoteci niti u tome što Google ne zna za adresu.

Razlog može biti sadržaj koji previše liči na druge stranice, ima malo korisnih informacija ili ne pruža dovoljno razloga da bude zasebno prikazan u rezultatima.

Na primer, internet prodavnica ima 60 stranica na kojima je promenjen samo naziv proizvoda, dok su opisi gotovo identični. Google ne mora svaku od njih smatrati dovoljno korisnom za zasebno indeksiranje.

Slično se događa kod poslovnih blogova na kojima se objavljuje više tekstova o istoj temi, a svaki ponavlja slična objašnjenja bez novih primera, podataka ili jasnijeg odgovora.

Prema Google smernicama za koristan sadržaj, prioritet treba da bude sadržaj namenjen ljudima, sa informacijama koje odgovaraju na njihova stvarna pitanja.

Vlasnik sajta treba da uporedi neindeksiranu stranicu sa ostalim sadržajem na sopstvenom domenu. Ako tri članka obrađuju gotovo isto pitanje, ponekad je smislenije objediniti informacije u jedan detaljniji tekst i urediti postojeće adrese.

Dodavanje još 500 reči bez novih informacija ne garantuje indeksiranje. Potrebno je da stranica ima jasnu svrhu i sadržaj koji posetiocu zaista koristi.

7. Server vraća greške ili ne dozvoljava Googlebotu da preuzme sadržaj

Sajt može normalno da se otvara na vašem računaru, a da Googlebot istovremeno nailazi na probleme sa serverom.

Na primer, zaštitni sistem hostinga greškom blokira zahteve Googlebota. U drugom slučaju server povremeno vraća grešku 503 jer je preopterećen. Pojedine stranice vraćaju 404 ili 500, iako vlasnik očekuje da budu dostupne.

Za indeksiranje obične HTML stranice potrebno je da Google uspešno pristupi URL-u i dobije sadržaj koji može da obradi.

Prema osnovnim tehničkim uslovima Google pretrage, stranica koja treba da bude indeksirana mora biti dostupna Googlebotu, vraćati uspešan HTTP odgovor i sadržati materijal pogodan za indeksiranje.

Za proveru se koristi URL Inspection sa opcijom „Test live URL“. Ona prikazuje trenutni rezultat testa, koji ne mora biti isti kao status iz poslednjeg prethodnog Google pregleda.

Ako test pokaže problem sa serverom, administrator treba da proveri hosting, bezbednosne dodatke, firewall pravila i evidenciju serverskih grešaka.

Posebnu pažnju zaslužuje slučaj kada stranica vraća HTTP 200, ali zapravo prikazuje tekst da sadržaj nije pronađen. Google takve stranice može klasifikovati kao „Soft 404“.

Za trajno uklonjene stranice bez zamene odgovarajući odgovor je 404 ili 410, dok za premešten sadržaj treba urediti odgovarajuće preusmerenje.

Kako pronaći konkretan problem u Google Search Console?

Umesto da menjate deset podešavanja odjednom, korisnije je krenuti od izveštaja za konkretnu stranicu.

U Search Console otvorite Page indexing i pregledajte razloge zbog kojih određene adrese nisu indeksirane. Za pojedinačan URL koristite URL Inspection.

Nisu svi neindeksirani URL-ovi razlog za zabrinutost. Stranice sa rezultatima interne pretrage, neke administrativne adrese i duplikati često nemaju razlog da budu zasebno indeksirani.

Prioritet su početna stranica, glavne usluge, kategorije proizvoda i sadržaji od kojih firma očekuje posete iz pretrage.

Kako ponovo zatražiti indeksiranje nakon ispravke?

Kada je uzrok pronađen i otklonjen, URL Inspection nudi mogućnost ponovne provere i slanja zahteva za indeksiranje.

Na primer, ako je stranica prethodno imala noindex oznaku, najpre je potrebno ukloniti zabranu. Zatim se pokreće „Test live URL“ kako bi se proverilo šta Google vidi na trenutno dostupnoj stranici.

Nakon uspešnog testa podnosi se zahtev „Request indexing“.

Za veći broj novih ili ažuriranih stranica koristi se XML sitemap. Google ipak sam određuje kada će ponovo posetiti URL i da li će ga uključiti u indeks.

Za poslove kao što su uklanjanje slučajne zabrane indeksiranja, ispravljanje canonical oznaka ili otklanjanje serverskih grešaka korisno je zabeležiti datum izmene. Kasnije se u Search Console izveštaju može uporediti stanje pre i posle intervencije.

Nemojte očekivati da će se svaka ispravka videti odmah. Search Console izveštaji nisu uvek ažurirani u realnom vremenu, pa status iz poslednjeg Google pregleda može kasniti za promenama na sajtu.

Indeksiran sajt i dobra pozicija na Google-u nisu isto

Ako Search Console potvrđuje da je stranica indeksirana, a vaš sajt se i dalje ne pojavljuje među prvim rezultatima za željenu ključnu reč, nema potrebe da ponavljate zahteve za indeksiranje.

Tada treba analizirati koliko je sadržaj relevantan za pretragu, kakve informacije nude konkurentske stranice i koliko je sajt jasno organizovan.

Na primer, firma koja pruža knjigovodstvene usluge u Beogradu može imati potpuno indeksiran sajt, ali slabu vidljivost za izraz „knjigovodstvena agencija Beograd“. Uzrok tada nije odsustvo iz Google indeksa, već konkurencija i način na koji Google rangira rezultate.

U Search Console izveštaju Performance dostupni su podaci o prikazima, klikovima, prosečnoj poziciji i upitima za koje se stranica prikazivala. Ako stranica ostvaruje prikaze u pretrazi, problem nije jednostavno odsustvo iz indeksa.

Ako sajt nije indeksiran, prvo uklonite prepreku zbog koje Google ne može ili neće da uključi stranice u indeks. Tek nakon toga optimizacija sadržaja, strukture i relevantnosti ima punu svrhu za vidljivost u rezultatima pretrage.