Αίτημα δημιουργίας ευρετηρίου στο Google, μεμονωμένων URLs

Τελικά υπάρχει τρόπος να κάνουμε submit μεμονωμένων url στο Google, πχ μέσω PHP (cURL κτλ) ως αίτημα για δημιουργία ευρετηρίου;

ή ακόμα μπορούμε να υποβάλουμε μόνο sitemaps;

Το έψαξα λίγο και στο Google αλλά δεν βρήκα κάτι, έλεγα μήπως άλλαξε κάτι από το 2016 που είδα ένα παλιό μήνυμα στο stackoverflow.

Κάποτε γινόταν από εδώ αν θυμάμαι καλά: https://www.google.com/webmasters/tools/submit-url

Τώρα μόνο ενημερώνοντας το sitemap σου ή από Search Console για μεμονωμένα URLs (URL inspection tool).

Το καλό είναι ότι η 1η επιλογή φαίνεται να γίνεται με απλό GET request: https://developers.google.com/search/docs/guides/submit-URLs, οπότε ίσως να σε βολέψει έτσι.

Στις 11/1/2021 στις 12:02 ΜΜ, philos είπε

Τελικά υπάρχει τρόπος να κάνουμε submit μεμονωμένων url στο Google, πχ μέσω PHP (cURL κτλ) ως αίτημα για δημιουργία ευρετηρίου;

ή ακόμα μπορούμε να υποβάλουμε μόνο sitemaps;

Το έψαξα λίγο και στο Google αλλά δεν βρήκα κάτι, έλεγα μήπως άλλαξε κάτι από το 2016 που είδα ένα παλιό μήνυμα στο stackoverflow.

Το θέμα σου είναι πως θα ευρετηριάσεις συγκεκριμένες σελίδες που προς το παρόν δεν είναι indexed ή πως θα αποκρύψεις κάποιες σελίδες από τη Google;

4 λεπτά πριν, thanosbrt είπε

Το θέμα σου είναι πως θα ευρετηριάσεις συγκεκριμένες σελίδες που προς το παρόν δεν είναι indexed ή πως θα αποκρύψεις κάποιες σελίδες από τη Google;

Πως θα ευρετηριάσω κάποιες που δεν είναι indexed είναι το θέμα.

Σκεφτόμουν να έφτιαχνα ένα κουμπί (html / PHP) διαθέσιμο σε μένα ως διαχειριστή, δίπλα από κάθε thread στο forum (γιατί περί forum πρόκειται), και χειροκίνητα να το πατάω και το url του να γίνεται submit στη Google. Ξέρω ότι μπορώ να το κάνω με αυτόματα δημιουργημένο sitemap (με πολλά urls) ή μεμονωμένο url μέσω του Search Console αλλά σκεφτόμουν μια λύση σαν αυτή με το κουμπί που σας είπα.

20 λεπτά πριν, philos είπε

Πως θα ευρετηριάσω κάποιες που δεν είναι indexed είναι το θέμα.

Σκεφτόμουν να έφτιαχνα ένα κουμπί (html / PHP) διαθέσιμο σε μένα ως διαχειριστή, δίπλα από κάθε thread στο forum (γιατί περί forum πρόκειται), και χειροκίνητα να το πατάω και το url του να γίνεται submit στη Google. Ξέρω ότι μπορώ να το κάνω με αυτόματα δημιουργημένο sitemap (με πολλά urls) ή μεμονωμένο url μέσω του Search Console αλλά σκεφτόμουν μια λύση σαν αυτή με το κουμπί που σας είπα.

Η χρήση του αυτοματοποιημένου sitemap δεν είναι πιο εύκολη; Νομίζω ότι είναι πιο χρονοβόρο για τον τελικό χρήστη (εσένα στην προκειμένη) το να έχεις κουμπί για κάθε thread.

Να ρωτήσω και κάτι άλλο.

Τα μεγάλα ειδησεογραφικά sites, πως καταφέρνουν και ειδοποιούν το Google τόσο γρήγορα ώστε να βγαίνει η είδηση πάνω πάνω με την ένδειξη "πριν 5 λεπτά";

Κάνουν submit το URL στο Google Search Console ή/ και υποβάλλουν sitemap;

Δε νομίζω ότι χρειάζεται να κάνουν κάτι ιδιαίτερο πέραν του sitemap. Λόγω της επισκεψιμότητας και του γεγονότος ότι ενημερώνουν με μεγάλη συχνότητα περιεχόμενο, το Googlebot τους δίνει προτεραιότητα ούτως ή άλλως.

Και κάτι τελευταίο παιδιά:

Μπορούμε να κάνουμε sitemap submit με τον ακόλουθο τρόπο:

https://www.google.com/webmasters/tools/ping?sitemap={$url}
https://www.bing.com/ping?sitemap={$url}

Όπου {url} το URL που έχουμε ανεβάσει το *gz αρχείο στο σύστημα αρχείων μας.

Ερώτηση 1: όταν κάνω generate και submit έναν sitemap (για παράδειγμα κάθε 24 ώρες), ουσιαστικά το xml αρχείο (αποτέλεσμα) που είναι μέσα στο gz, πρέπει:

Α) Να έχει τα URLs όλου του ιστοτόπου, με ενημερωμένο το πεδίο <lastmod> ή

Β) να περιέχει μόνο τα νέα URLs εκείνης της ώρας που έγινε submit ο sitemap (που δεν είχαν συμπεριληφθεί στο "χθεσινό" submit) ;

Ερώτηση 2: το sitemap είναι ένα αρχείο gz (συμπιεσμένο που περιέχει μέσα το xml), το οποίο πρέπει να έχει σταθερό όνομα και να ενημερώνεται τακτικά (κι άρα το Google θα το ελέγχει αυτόματα - περιοδικά), ή μιλάμε για διαφορετικό sitemap αρχείο σε κάθε generate και submit; Μπορώ/ πρέπει να διαγράφω παλαιότερα αρχεία sitemaps;

Ευχαριστώ πολύ τους ειδικούς που θα μου ξεδιαλύνουν τα συγκεκριμένα ερωτήματα!

1. Το ένα μοναδικό sitemap που κάνεις generate πρέπει πάντα να είναι πλήρες, δηλαδή να περιέχει αναφορές όλων των URLs του website σου. Δεν είναι incremental.

Όμως το πρωτόκολλο υποστηρίζει πολλαπλά sitemaps μέσα στο top-level sitemap. Οπότε, μπορείς θεωρητικά να μαζεύεις όλα τα σχετικά φρέσκα URLs (π.χ. μέχρι 7 ημερών) σε ένα ξεχωριστό sitemap στο οποίο, βάσει του lastmod attribute, πιθανόν ένας crawler να δώσει προτεραιότητα. Γράφω «πιθανόν» γιατί, μπορεί το πρωτόκολλο να είναι αυτό που είναι, αλλά το πώς ακριβώς Google, Bing, Yahoo κλπ προγραμματίζουν το crawling και indexing σύστημά τους δεν είναι δημόσια πληροφορία κι επομένως μόνο υποθέσεις μπορούμε να κάνουμε, βασισμένοι σε μακροσκοπική παρατήρηση της συμπεριφοράς τους.

2. Ένα και μοναδικό πλήρες sitemap, σε καμία περίπτωση δεν χρειάζεσαι versioning (εκτός αν για κάποιο λόγο το θες για το προσωπικό σου αρχείο, γιατί όμως; ). Δες όμως και τα nested sitemaps που ανέφερα παραπάνω.

Λοιπόν, τη βρήκα την άκρη με το sitemap, thanks

Πρόκειται για forum με την πλατφόρμα xenForo.

1. Η default λειτουργία του xenForo είναι να τοποθετεί στον sitemap μόνο την πρώτη σελίδα κάθε thread. Σκεφτείτε ότι κάθε thread έχει πάνω από μία σελίδες (με κείμενο - posts), όμως αυτά τα urls δεν μπαίνουν στο sitemap. Το θεωρείτε καλή πρακτική; Μήπως να το τροποποιήσω ώστε να βάζει και τις σελίδες των θεμάτων;

Ρώτησα κι έναν developer στο xenforo.com που το έχει κάνει και μου είπε ότι ναι μεν αυξήθηκε ο αριθμός των indexed σελίδων, όμως αν το Google δεν θεωρεί ποιοτικό το περιεχόμενό σου και δεν θέλει να σε ιντεξάρει, δεν θα το κάνει και ότι δεν είδε τρομερή διαφορά.

2. Κάτι άλλο που αφορά πρακτική: ας πάρουμε για παράδειγμα αυτό το thread. Αν δείτε, πάνω πάνω, κάτω από τον τίτλο έχει author και ημερομηνία του thread starter, η οποία χρησιμοποιείται από το Google για να εμφανίζει πότε έγινε το μήνυμα.

Σκεφτόμουν λοιπόν, να το κρατήσω ως έχει για την πρώτη σελίδα του thread (όπως είναι και το φυσιολογικό) και μετά για κάθε νέα σελίδα, να λέει ως author τον συγγραφέα του πρώτου post της εκάστοτε σελίδας και datetime την ημερομηνία του πρώτου post της σελίδας.

Λέτε να δω βελτίωση; Μην φάω και κανένα penalty φοβάμαι!

Όπως καταλαβαίνετε, το Google τα τελευταία χρόνια δεν θεωρεί ποιοτικό περιεχόμενο τα fora και ψάχνω να βουλώσω τρύπες!

Στις 15/2/2021 στις 8:51 ΜΜ, philos είπε

...Τα μεγάλα ειδησεογραφικά sites, πως καταφέρνουν και ειδοποιούν το Google τόσο γρήγορα ώστε να βγαίνει η είδηση πάνω πάνω με την ένδειξη "πριν 5 λεπτά";...

Κανένας δεν ειδοποιεί την Google. Έχουν ένα σωστό sitemap το οποίο έχει γίνει Approved στο GoogleNews και όχι απλά στο Google Search, και η Google είναι σχεδόν σε 1ο χρόνο μέσα στην ιστοσελίδα τους.

Ό,τι και να κάνεις τεχνικά, αν η Google δεν ευρετηριάσει την σελίδα σου την ώρα που θέλει, δεν μπορείς να την "αναγκάσεις". Εδώ δεν καθαρίζει τα παλιά νεκρά και μη ενεργά URL, και απαιτεί να έχεις redirects.