Σε τι χρειαζεται το robot σε μια σελίδα?

[MASTER12]

και τι ρολο παιζουν;

τι διαφορα εχουν τα

index, index folow, full, all,

και πιθανοί συνδιασμοί αυτον;

Όποιος γνωρίζει οτιδήποτε ας με βοηθήσει.

[Dikemou]

robotstxt.org

[merianos]

Σου δίνουν τη δυνατότητα να αποκρύψεις κάποιες σελίδες από τις μηχανές αναζήτησης. Για παράδειγμα σκέψου ότι έχει μια σελίδα στον ιστό-χώρο σου που περιέχει τεχνικές πληροφορίες για ένα πολύ ειδικό θέμα, αλλά δεν θέλεις με μια απλή αναζήτηση κάποιος να έρθει στη σελίδα σου αυτή αμέσως. Τότε κόβεις την σελίδα αυτή με ένα Robot meta tag και έτσι όταν η μηχανή αναζήτησης θα περάσει για πρώτη φορά από τη σελίδα σου για να την χαρτογραφήσει τότε στην συγκεκριμένη δεν θα χαρτογραφήσει τίποτα, με αποτέλεσμα όταν κάνουν αναζήτηση στη μηχανή αναζήτησης να μην επιστρέφετε αυτή η σελίδα ποτέ.