Sok weboldal üzemeltetője nyugtalan. Nyilvánvalóan feltétlenül rendelkeznie kell egy robots.txt nevű fájllal. Mi az?
Windows + Linux / angol / nyílt forráskódú. Ha van honlapja, általában szeretné, ha megtalálnák. Nagy a csalódottság, ha saját oldala nem jelenik meg a Google -on. Ennek oka lehet a robots.txt fájl. De csak akkor, ha ott van. Ez a fájl csak egy dolgot tud tenni: tiltani.
A robots.txt fájlban letilthatja, hogy az interneten éjjel -nappal böngésző automatikus programok hozzáférjenek az oldalaihoz. A tilalmat az összes ilyen robottal vagy bizonyos robotokkal kapcsolatban ki lehet mondani. Teljesen vagy csak bizonyos területeken blokkolhatja oldalait.
Ha a fájl nem létezik, ennek megfelelően nincsenek tilalmak. Oldalai minden keresőmotor számára nyitottak. Ha továbbra sem jelenik meg a Google -on, egy teljesen más kérdés merül fel: Már regisztrálta az oldalakat? A legjobb, ha ezt azonnal megteszi. Egyszerűen írja be ide a címet:
https://www.google.com/webmasters/tools/submit-url
Ehhez be kell jelentkeznie Google -fiókjába.
Annak érdekében, hogy a hiányzó robots.txt fájl problémát okozzon, a szervert is helytelenül kell konfigurálni. Ezután egy robot megpróbálhatja elérni a fájlt, és szokatlan hibaüzenetekkel találkozhat, ami megszakíthatja a folyamatot. De ez az eset nagyon valószínűtlen.
Ha robots.txt fájlt szeretne létrehozni, mentse el a webszerver fő mappájába. Ha azt akarja, hogy mindenki mindent megtehessen, írja be a következőket:
Felhasználói ügynök: *
Letiltás:
A "User-Agent" sor jelzi, hogy kikre vonatkozik a tilalom. * jelentése: mindenkinek. A tiltás sor a tiltást fejezi ki. Ha nincs több, az azt jelenti, hogy minden hozzáférés engedélyezett.
Bővebben a témáról:Függöny, itt jön a webhelye: Hogyan hozzunk létre webhelyet kis erőfeszítéssel
