Definicija Web Spideringa i web pretraživača

Pauci su programi (ili automatizirana skripta) koji 'pretražuju' web tražeći podatke. Pauci putuju kroz URL-ove web-mjesta i mogu povlačiti podatke s web-stranica kao što su adrese e-pošte. Pauci se također koriste za ulaganje informacija koje se nalaze na web-lokacijama na tražilicama.

Pauci, koji se također nazivaju web pretraživačima i koji nisu svi u svojoj namjeri.

Spameri Spider Web stranice za prikupljanje informacija

Google, Yahoo! i druge tražilice nisu jedini zainteresirani za indeksiranje web-mjesta - tako su i prevaranti i spameri.

Spameri koriste paukove i druge automatizirane alate kako bi pronašli adrese e-pošte (na internetu se ova praksa često naziva 'žetva') na web-mjestima, a zatim ih koristi za izradu popisa neželjenih poruka.

Pauci su također alat koji pretraživači pronalaze kako bi saznali više informacija o vašoj web-lokaciji, ali nisu označeni, a web-lokacija bez uputa (ili "dopuštenja") o tome kako indeksirati vašu web-lokaciju mogu predstavljati velike sigurnosne rizike. Pauci putuju slijedeći linkove, i vrlo su vješti u pronalaženju veza do baza podataka, programskih datoteka i drugih informacija na koje možda ne želite da imaju pristup.

Webmasteri mogu pregledavati dnevnike kako bi vidjeli što su pauci i drugi roboti posjetili na njihovim web-lokacijama. Ove informacije pomažu webmasterima da znaju tko indeksira njihovu web-lokaciju i koliko često.

Ove su informacije korisne jer webmasterima omogućuju fino podešavanje SEO-a i ažuriranje robot.txt datoteka kako bi zabranili određenim robotima da ubuduće indeksiraju njihovu web-lokaciju.

Savjeti o zaštiti vaše web stranice od neželjenih robota roboti

Postoji jednostavan način da se neželjeni alati za indeksiranje zadrže izvan vaše web-lokacije. Čak i ako niste zabrinuti zbog zlonamjernih pauka koji indeksiraju vašu web-lokaciju (zamagljivanje adrese e-pošte neće vas zaštititi od većine alata za indeksiranje), i dalje trebate pružiti važne upute tražilicama.

Sve web-lokacije trebale bi imati datoteku koja se nalazi u korijenskom direktoriju pod nazivom datoteka robots.txt. Ova datoteka omogućuje upućivanje web-pretraživača gdje želite da indeksiraju stranice (osim ako nije drugačije navedeno u meta-podacima određene stranice da se ne indeksiraju) ako su tražilice.

Baš kao što možete reći željenim pretraživačima gdje ih želite pregledavati, također im možete reći gdje možda neće ići pa čak i blokirati određene alate za indeksiranje na cijeloj web-lokaciji.

Važno je imati na umu da će dobro složena robots.txt datoteka imati ogromnu vrijednost za tražilice i može biti ključni element u poboljšanju performansi vaše web-lokacije, ali neki roboti roboti za indeksiranje i dalje će ignorirati vaše upute. Zbog toga je važno stalno i ažurno ažurirati sav softver, dodatke i aplikacije.

Povezani članci i informacije

Zbog rasprostranjenosti sakupljanja informacija koje su se koristile za zle namjere (spam), 2003. godine donesen je zakon kojim se određene prakse čine nezakonitim. Ovi zakoni o zaštiti potrošača potpadaju pod CAN-SPAM Zakon iz 2003. godine.

Važno je da odvojite vrijeme za čitanje CAN-SPAM akta ako se vaša tvrtka bavi masovnim slanjem pošte ili prikupljanjem informacija.

Možete saznati više o zakonima protiv neželjene pošte i kako se nositi s pošiljateljima neželjene pošte, a što vi kao vlasnik tvrtke ne možete učiniti, pročitajte sljedeće članke:

• Zakon CAN-SPAM 2003
• CAN-SPAM Zakon Pravila za neprofitne organizacije
• 5 CAN-SPAM pravila Mali poduzetnici trebaju razumjeti