Συγκεκριμένες χώρες με .htaccess

[sinikos]

Έσβησες και αυτό από το .htaccess? 

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Αν το έσβησες για δοκίμασε να το ξαναβάλεις

 

Ετσι δουλεψε. thanks. Τώρα για διαφορα στο τραφικ θα δω.

Εγώ προτείνω μιάς και δεν το έκανε κάποιος αναφορά να βάλεις firewall στο wordpress....

To καλύτερο που κυκλοφορεί είναι το Wordfence

Το wordfence έχει σημαντικές πληροφορίες για τα Bots και μάλιστα κάνει και αυτόματα αποκλεισμό τα Bots που είναι κακοπροαίρετα (DDOS).

 

Άσε το robot.txt όπως έχει... Δεν νομίζω ούτε να θες να το φορτώσεις με πολλές γραμμές ούτε να θες να κόψεις το bot της google να περνάει από τα page σου

 

Θέλει όμως προσοχή αν χρησιμοποιήσεις τον δρόμο του να ασφαλίσεις το wordpress σου.

 

Φίλε μου σήμερα είδα το μηνυμα σου. Το δοκιμασα αλλα δεν εβγαλα ακρη 

 

Για να δω πως θα παει με το htaccess και αμα δεν γινει κάτι, θα το ξαναπροσπαθήσω

[sinikos]

Τιποτα... Ακομα χτυπαει κοκκινα. Πρεπει να μετριασω τις επισκεψεις του google κλπ. ΠΩΣ?

 

 

Πιστευω οτί ίσως αντί να απαγορεύω, καλύτερα να επιτρέπω. Κάτι σαν whitelist.

 

Νομίζω οτι αυτο που επείγει είναι:

 

α) Να μειώσω τις επισκέψεις του google

 

β) Να επιτρέπω μόνο στο google από bot, να κάνει indexing. Δηλαδή να απαγορευσω στα αλλα bot να μπαίνουν (ακόμα και bing,yahoo κλπ)

 

γ) να επιτρέψω μόνο σε συγκεκριμένες χώρες να μπαίνουν. π.χ. Ελλάδα, Αγγλία, Αμερική, Καναδάς, Αυστραλία, Γερμανία κλπ. Δηλαδή όπου συνήθως υπάρχουν Έλληνες.

 

Αν συμφωνείτε, πως μπορώ να κάνω το καθένα.

 

 

--------------------------------------------------------------

 

Επειδή δεν καταλαβαίνω την τύφλα μου απο οδηγούς που μου δίνει ο host. π.χ. http://searchenginewatch.com/article/2067357/Bye-bye-Crawler-Blocking-the-Parasites

 

Καταρχήν για να καταλάβω τον τρόπο λειτουργίας.

 

1. Τι ακριβώς κάνει το htaccess και τι το robots.txt. Που είναι καλύτερα να γίνει το μπλοκάρισμα?

 

2. Αν στο robot.txt φτιάξω σιγά σιγά το παρακάτω κώδικα (όπως το σκέφτομαι οτι είναι η φιλοσοφία του)

User-agent: *
Disallow:/

User-agent: google
allow:/
disallow:/admin
Crawl-delay: 2000

User-agent: alexa
allow:/
disallow:/admin
Crawl-delay: 2000

klp klp 

θα έχει αποτέλεσμα?

 

3. Στο χώρο μου έχω 4-5 sites. Γίνεται να γίνει το μπλοκάρισμα σε ανώτερο επίπεδο ωστε να πιάσει όλα τα sites με την μία?

Επεξ/σία 31 Αυγούστου 2014 από sinikos

[chrism4111]

Τιποτα... Ακομα χτυπαει κοκκινα. Πρεπει να μετριασω τις επισκεψεις του google κλπ. ΠΩΣ?

 

 

Πιστευω οτί ίσως αντί να απαγορεύω, καλύτερα να επιτρέπω. Κάτι σαν whitelist.

 

Νομίζω οτι αυτο που επείγει είναι:

 

α) Να μειώσω τις επισκέψεις του google

 

β) Να επιτρέπω μόνο στο google από bot, να κάνει indexing. Δηλαδή να απαγορευσω στα αλλα bot να μπαίνουν (ακόμα και bing,yahoo κλπ)

 

γ) να επιτρέψω μόνο σε συγκεκριμένες χώρες να μπαίνουν. π.χ. Ελλάδα, Αγγλία, Αμερική, Καναδάς, Αυστραλία, Γερμανία κλπ. Δηλαδή όπου συνήθως υπάρχουν Έλληνες.

 

Αν συμφωνείτε, πως μπορώ να κάνω το καθένα.

 

Δεν μπορώ να καταλάβω ένα πράγμα.. Γιατί επιμένεις οτι τα γοογλε, bing είναι αυτά που σου δημιουργούν το πρόβλημα?

Webmaster tools έχεις συνδεσει στο Site σου??... Μήπως να βάλεις ένα xml sitemap ? Βλέπε Yoast plugin δημιουργεί πολύ καλό sitemap και μπορείς να δηλώσεις και το "Update Rate" ( δεν θυμάμαι τον όρο μην κράξετε )...

 

Επίσης μήπως να δηλώσεις και στο bing το site σου? (Bing Webmaster)

Σίγουρα πριν κόψεις οποιαδήποτε Ip να σιγουρευτείς για την προέλευση και την φύση των επισκεπτών σου...

Αν το Site σου σέρνεται και πιστεύεις ότι όλα είναι σωστά τότε το πρόβλημα δεν εστιάζετε μόνο στο Site αλλά και στον Server..

Θα πρότεινα να πας σε Dedicated Server ( αν το Site σου έχει οικονομικές απολαβές ) και γιατί όχι να φύγεις από τον πολύ αργό Apache και να πλεύσεις προς εναλλακτικούς Web Servers όπως πχ NGINX, Litespeed.

 

Επίσης άλλες λύσεις αν θες να αποφύγεις τα παραπάνω είναι να ξεκινήσεις να ασχολείσαι με την Cache ....

Minify and GZIP τα CSS, JS, HTML, IMAGES. Χρησιμοποίησε Spritesheets σε όλα τα κουμπιά που έχεις...

Με το παραπάνω θα πετύχεις μια συμπίεση της εξόδου του Site σου.

 

Σημαντικό :: Database Cache, Object Cache....

 

Όλα τα παραπάνω σχετικά με την Cache θα τα βρεις σε ένα plugin το οποίο το προτείνει και το Wordpress στο official site του, το WP Total Cache. Εάν χρησιμοποιείς Ajax τότε θα δυσκολευτείς λίγο (το Wp Total Cache έχει ένα παράξενο API αλλά δουλεύει άψογα).

 

Επίσης προσπάθησε να δουλέψεις με το Wordfence έχει πολλές επιλογές πίστεψε με.... Δες Tutorials και ψάξε στο Internet θα βρείς πολλά άρθρα τα οποία μιλούν για το πως να το στήσεις..(Έχει και επιλογές για αποκλεισμό χωρών)......

[sinikos]

Θα τα ψαξω αυτα που λες.

 

Το site δεν σέρνεται αλλά κοίτα εδώ. 

 

και απο τον host το πιο πρόσφατο μηνυμά τους είναι

I have checked the access for the majority of your websites and I noticed that the most accessed website is indeed mysite.gr however there are two more that are close by access. I have reviewed the access and I noticed that bots have done quite a lot hits on your websites especially to mysite.gr:
 

Code:

UnknoUnknown robot (identified by 'bot*') 21,142+738 1.22 GB 26 Aug 2014 - 06:41
Googlebot 19,364+596 953.92 MB 26 Aug 2014 - 06:08
Unknown robot (identified by 'robot') 8,928+58 510.97 MB 26 Aug 2014 - 05:24wn robot (identified by 'bot*') 21,142+738 1.22 GB 26 Aug 2014 - 06:41
Googlebot 19,364+596 953.92 MB 26 Aug 2014 - 06:08
Unknown robot (identified by 'robot') 8,928+58 510.97 MB 26 Aug 2014 - 05:24

They have generated half of the hits for your application. More information how you can lower the crawl rate of robots ( crawlers ) on your website can be found on the links below:

> Use your robots.txt file to block the access for the robots to
some of the sub-directories in your account:

http://kb.siteground.com/how_to_use_the_robotstxt_file/

http://www.robotstxt.org/

> Block some malicious bots from accessing your account:

http://hotpot.se/robots_txt_bots_bad.htm


http://searchenginewatch.com/article/2067357/Bye-bye-Crawler-Blocking-the-Parasites

> Reduce the craw rate of Google bots:

http://kb.siteground.com/how_to_change_googlebots_crawl_rate/
 

These scripts need optimization and if you have hard times do it on your own it is best to contact an experienced PHP developer to have a look at your websites and help you on the optimization.

If you have questions or require further assistance, please feel free to contact us again.

Best Regards,

Rusi Malinov
Technical Support Team

[sinikos]

Πέρασα και το super cache. 

 

Πέρασα και το wordfence. Το μόνο που πείραξα μέχρι στιγμής είναι αυτό

 

 

Επίσης παρατηρώ οτι μεγάλη κίνηση εκτός από τα bot (δείτε φώτο. Δεν είναι πολλά τα gb?)

 

έχει και η σελίδες που δεν υπάρχουν (404)

 

 

 

Και κοιτάζοντας στο wordfence, βλέπω πολλά αιτήματα για πράγματα που δεν υπάρχουν σε όλα τα plugins, και ειδικά στο wptouch. Επίσης δεν ξέρω γιατί όλες τις εικόνες τις ζητάει με ένα @2x στο τέλος. Δηλαδή η κανονική εικόνα που υπάρχει είναι π.χ. /image/eikona.png και κάποιες ips παίρνουν 404 γιατί ζητάνε το path /image/[email protected].

 

 

 

 

 

 

Έκανα ολα αυτα και αντι να μειώνονται τα νουμερα ανεβαίνουν ακόμα πιο πολύ 

[chrism4111]

Όταν πάω σπίτι θα τα δω όλα .. Τώρα θα σου πω ένα πράγμα το @2x είναι ουσιαστικά η διπλάσια σε μέγεθος εικόνα..
Στο ζητάει για να είναι το site σου Retina Ready.

Καλό είναι να δώσεις ένα Link του Site σου... Είναι εντελώς παράξενο να σου τρώει 1.5Gb σε bandwidth το bot της Google και να έχει 20000 hits στο site σου (από πόσα links περιέχεται το sitemap σου? ).. 

Site με Video έχεις? Site με HD photos έχεις.. Πρέπει να ψάξεις τον λόγο που το Bot σου τρώει το bandwidth... 

Επίσης τα plugins που έχεις στο wp είναι official όλα? ... Είναι third parties, είναι nulled?

Για δες και εδώ : hhttps://support.google.com/webmasters/answer/48620 για το πως na σετάρεις το crawl rate 

[sinikos]

Λοιπον μεχρι στιγμης....

 

ΕΠΙΤΕΛΟΥΣ ΤΑ ΝΟΥΜΕΡΑ ΑΡΧΙΣΑΝ ΝΑ ΠΕΦΤΟΥΝ ΚΑΤΑΚΟΡΥΦΑ.....

 

εκανα καποια πραγματα σε htaccess και robots αλλα τελικα αυτο που με εσωσε ηταν το WORDFENCE. ΣΕ ΕΥΧΑΡΙΣΤΩ CRISM!!!!!.

Ποιο αναλυτικα (γιατι με ενδιαφερει και το seo....)

 

Καταρχην οπως εδειξα παραπανω ειχα μεγαλη κινητικοτητα απο bots. Οποτε στο wordfence εβαλα οτι crawler μπαινει και κανει αιτηματα πανω από 1 το λεπτο να μπλοκαρεται για 2 μερες. Ενω τα crawler της google να εχουν απεριοριστη προσβαση.

 

Αυτό που εγινε ηταν το εξης:

 

Στις block ips εβλεπα κατι ips που να κανουν block hits 40-60 το λεπτο. Δηλαδη να μπλοκαριστηκανε λογω τou firewall του wordfence και μεσα σε 5 λεπτα να εχουν προσπαθησει να κανουν 300 hits.

Παρολα αυτα πτωση τιποτα στα νουμερα...

 

Παω στο live traffic στα crawler και βλεπω μια νορμαλ κινητικοτητα απο τα crawlers (που δεν κανουν τοσα αιτηματα για να μπλοκαριστουνε. Παω στα google crawlers και βλεπω ενα mountain.view (φωτο)

απο αμερικη που συστηνεται σαν google bot, να κανει 2-3 αιτηματα ΤΟ ΔΕΥΤΕΡΟΛΕΠΤΟ.

 

Οποτε πηγα παλι στις ρυθμισεις και εβαλα στο firewall να συμπεριφερεται στα googlebots οπως και σε καθε αλλο crawler. Απλα για να μην κοπει κανα google καταλαθος , μειωσα το χρονο του μπλοκαρισματος κατα 6 ωρες. (Φωτο).

Πιστευετε ειναι καλες οι ρυθμισεις για να μην πεταξω και κανα ανθρωπο εξω?

 

Στο live traffic ομως τωρα, βλεπω google crawles απο Ελλαδα και το mountainview (αφου θα ξεμπλοκαριςτηκαι μεχρι να ξαναμπλοκαριςτει παλι).

 

Τωρα σκεφτομαι να το αφησω ετσι μεχρι να πεσουν τα νουμερα/24ωρο γιατι ειναι ακομα στο θεο, και μετα να δωσω παλι απεριοριστη προσβαση στο google αλλα να μπλοκαρω το NETWORK απο αυτο το bot mountain view

[sinikos]

Τα νουμερα πεσαν παρα πολυ!!!! 

 

Μόνο μου παραπονιούνται πολύ οτι τους μπλοκάρει. Σκέφτηκα μήπως είναι λίγο για τα human o περιορισμός 1/sec. Να το απενεργοποιήσω τελείως ή να το βάλω π.χ. 32/sec?

[dewn735]

O chrism έχει δίκιο, δεν είναι λογικό το bandwidth. Το να μπλοκάρεις τα bots είναι μια λύση, αλλά προσωρινή - άμα αρχίσεις να έχεις και κίνηση στη σελίδα τι θα κάνεις, θα μπλοκάρεις και τους επισκέπτες; Κόψε προσωρινά εντελώς τα bots και ψάξε να βρεις ποια είναι η πηγή του προβλήματος - Ειδικά αυτό το 1.5GB για το "document not found" βγάζει μάτι

[sinikos]

Τώρα ψιλοήρθε στα ίσα του. απλα με τις ρυθμίσεις στο wordfence για τους ανθρώπους δεν ξέρω πόσο να βάλω. Αυτό με το not found παίζει να ήταν που εψαχναν τα bot φωτογραφίες για retina. Ήταν ενεργοποιημένο από το θέμα, ενα plugin, wp retina. Τώρα το απενεργοποίησα.

 

Αυτά είναι τα στατιστικά για σήμερα. Σαφώς πιο λογικά επίπεδα.

 

 

[sinikos]

Τα νουμερα πεσαν παρα πολυ!!!! 

 

Μόνο μου παραπονιούνται πολύ οτι τους μπλοκάρει. Σκέφτηκα μήπως είναι λίγο για τα human o περιορισμός 1/sec. Να το απενεργοποιήσω τελείως ή να το βάλω π.χ. 32/sec?

 

Τελικά σκατα. μπλοκαρει και bot του fb, μπλοκάρει ανθρώπους, ακόμα περνάνε ασχετα bot. κλπ. Εντωμεταξι παρατηρω οτι οι ip που με εχουν ξεσκισει περισσότερο είναι αυτες που ξεκινάνε με  66.249.*.*, και από οτι διαβάζω αυτές είναι ip google αμερικης

 

 

ΘΑ ΤΡΕΛΑΘΩ

 

Στο cpanel μου έχω αυτό το εργαλείο

νομίζω οτι αυτό μπλοκάρεi την ip και δεν θα μπαίνει σε κανένα site του λογαριασμού μου. Το θέμα είναι μπορώ να βρω ποιο είναι το range των ip της Ελλάδας, του google που χρειάζομαι, yahoo, bing,alexa, fb κλπ?

Επεξ/σία 3 Σεπτεμβρίου 2014 από sinikos

[chrism4111]

Σε τι server είσαι ? Τι δυνατότητες έχει ο Server σου? Firewall διαθέτει το λειτουργικό που είναι εγγατεστημένο στον server?

Μείωσες το crawl rate με τα εργαλεία της google?, έβγαλες xml sitemap?, και αν ναι το έχεις δηλώσει στην google?
Ποιο είναι το Site σου? Τι περιεχόμενο έχει? Μήπως τελικά είσαι θύμα κάποιας DDOS επίθεσης? Η ουρά του mail server είναι άδεια η γεμάτη? H ip του server σου μήπως είναι σε blacklist για δες εδώ http://whatismyipaddress.com/blacklist-check?

Πρώτα πρέπει να ψάξεις για την πηγή του προβλήματος. Σύμφωνα με την IP είναι όντως ip της google. http://www.iplists.com/
Γιατί όμως κάνει crawl συνέχεια το site σου? Μήπως τελικά είναι λογικό να κάνει crawl με τόση συχνότητα? Μήπως το site σου είναι μεγάλο (έχει πολλά link και προς εσένα και προς άλλα site)? Τι PR(page rank) έχει το domain σου? Στην alexa σε ποια θέση είσαι? Πολλά ερωτήματα και λίγες πληροφορίες.
Και ξαναρωτάω webmaster έχεις για το domain? Google analytics? Bing webmaster?
Και ξαναρωτάω ξανά πόσα Plugins έχεις στο wordpress? Έχεις και Nulled plugins (συνήθως διανέμονται σε ρώσικα site και έχουν μέσα ιούς). Και όχι μόνο τα plugins αλλά και το theme, oficial ή nulled?

Πραγματικά τα νούμερα που παίζουν δεν είναι λογικά! Δεν τα έχω ξαναδεί ούτε σε site με τράφικ και ούτε σε απλά site με χαμηλό τραφικ. Και είναι πολλοί οι παράγοντες που μπορούν να δημιουργούν το πρόβλημα.

Επίσης είναι παράξενο που το Wordfence κανει block και humans δεν θα έπρεπε.
Μήπως έχεις πολλά broken links στο Site σου (δηλαδή links που οδηγούν σε 404 pages) ?

[sinikos]

Επειδή το 99% που μου έχεις γράψει μου είναι ακατανόητο. Και επειδή έχω αγανακτήσει. Σκέφτομαι να περάσω joomla, να πάω σε blogspot ή ακόμα και να το σβήσω. Επειδή εμένα αυτό που μου αρέσει είναι να φτιάχνω μέσα στο site πραγματάκια, πλέον το σιχαθηκα και αυτο. ΑΠΟΓΟΗΤΕΥΤΗΚΑ.

 

Δεν ήξερα οτι παίζει background τόση δουλειά που είναι απαραίτητη να γίνει. Π.χ. sitemap νόμιζα οτι θα έπεζε ρόλο μόνο στο Seo. Τέσπα θα προσπαθήσω να απαντήσω στα ερωτήματα σου. 

 

 

Σε τι server είσαι ? Τι δυνατότητες έχει ο Server σου?

 

Είμαι σε αυτο το πακέτο της siteground http://www.siteground.com/web-hosting.htm#growbig 

 

 Firewall διαθέτει το λειτουργικό που είναι εγγατεστημένο στον server?

 

Αυτό δεν το ξέρω. Ξέρω όμως οτι στο cpanel έχει ένα εργαλείο που μπορώ να μπλοκάρω ip's.

 

Μείωσες το crawl rate με τα εργαλεία της google?,

 

Δεν με αφήνει να το κάνω. Μου πετάει μήνυμα "Στον ιστότοπό σας αντιστοιχίστηκαν ειδικές ρυθμίσεις ρυθμού ανίχνευσης. Δεν θα είναι δυνατή η αλλαγή του ρυθμού ανίχνευσης.". Δεν έχω κάνει κάτι εγώ όμως.

 

έβγαλες xml sitemap?, και αν ναι το έχεις δηλώσει στην google?

 

Έφτιαξα ένα με το SEO yoast και το δήλωσα στην google αλλά μετά έβαλα ένα plugin που μου λέει τι πόρους τραβάει το κάθε plugin, είδα λίγο ψηλά το Seo yoast και το έβγαλα.

Ποιο είναι το Site σου? Τι περιεχόμενο έχει? 

 

Ένα site με τοπικές ειδήσεις είναι.

 

Μήπως τελικά είσαι θύμα κάποιας DDOS επίθεσης? Η ουρά του mail server είναι άδεια η γεμάτη?

 

Κινέζικα μου φάνηκαν αυτά. Δεν ξέρω

 

H ip του server σου μήπως είναι σε blacklist για δες εδώ http://whatismyipaddress.com/blacklist-check?

 

Μόνο σε αυτό l2.apews.org μου έβγαλε listed

Πρώτα πρέπει να ψάξεις για την πηγή του προβλήματος. Σύμφωνα με την IP είναι όντως ip της google. http://www.iplists.com/

 

Κοίταξα αυτό που λές. Εδώ είδα κάμια δεκαριά ip της google που αρχίζουν απο 66.249.*.* και σχεδόν όλες με επισκέπτονται. Τώρα για παράδειγμα είδα στις μπλοκαρισμένες ip και την : 66.249.65.4  που σύμφωνα με την λίστα είναι της google και μου έχει κάνει 78 χτυπήματα πριν μπλοκαριστεί και 1492 χτυπήματα ενώ είναι μπλοκαρισμένη. Και κάνει 1 χτύπημα κάθε 4-5 δευτερόλεπτα περίπου.

 

Γιατί όμως κάνει crawl συνέχεια το site σου? Μήπως τελικά είναι λογικό να κάνει crawl με τόση συχνότητα?

 

Έλα ντε? Δεν μπορώ να καταλάβω

 

Μήπως το site σου είναι μεγάλο (έχει πολλά link και προς εσένα και προς άλλα site)?

 

Όχι. Έχω γύρω στα 1200 άρθρα και πολύ λίγους συνδέσμους προς τα έξω.

 

Τι PR(page rank) έχει το domain σου?

 

To pagerank μου είναι 1. , Επίσης είδα οτι τα external backlinks είναι 4140, reffering domain 14

 

Στην alexa σε ποια θέση είσαι?

 

4,886,060 παγκόσμια. Αυτό που μου κάνει εντύπωση τώρα όμως είναι οτι α) δεν μου νγάζει στην Ελλάδα και β) Μέσα σε μια εβδομάδα χωρίς να έχω χάσει κόσμο έχω πάει πίσω κατά 2.426.213 θέσεις.

 

 

Πολλά ερωτήματα και λίγες πληροφορίες.
Και ξαναρωτάω webmaster έχεις για το domain? Ναι

Google analytics? Ναι

Bing webmaster? Όχι
Και ξαναρωτάω ξανά πόσα Plugins έχεις στο wordpress? 22-24 (Bunyad Page Builder, Bunyad Shortcodes, Bunyad Widgets, Crop From Top, Easy Captcha, Easy Contact Forms, Facebook Comments by Vivacity, Facebook Like Box, Google Analytics, Infinite Scroll, Jetpack by WordPress.com, Meta Slider, Ody Events, On The Fly YouTube Embeds, P3 (Plugin Performance Profiler), Recent Posts Widget Extended, Vixy YouTube Embed, WassUp Real Time Analytics, Wordfence Security, WP-Polls, WP Pro Ad System, Επιλογή WP Super Cache, WPtouch Mobile Plugin, YouTube Advanced by Embed Plus)

 

Έχεις και Nulled plugins (συνήθως διανέμονται σε ρώσικα site και έχουν μέσα ιούς).

 

Είναι όλα δωρεάν. Το WP Pro ad system το έχω αγοράσει.

 

Και όχι μόνο τα plugins αλλά και το theme, oficial ή nulled?

 

Γκουχου γκουχου. Το θέμα είναι είναι απο τον θείο που δουλεύει στο w....cker. Μπορεί να παίξει τόσο ρόλο?

Πραγματικά τα νούμερα που παίζουν δεν είναι λογικά! Δεν τα έχω ξαναδεί ούτε σε site με τράφικ και ούτε σε απλά site με χαμηλό τραφικ. Και είναι πολλοί οι παράγοντες που μπορούν να δημιουργούν το πρόβλημα.

 

Το ξέρω ρε γαμώτο.

Επίσης είναι παράξενο που το Wordfence κανει block και humans δεν θα έπρεπε.

 

Εδώ ίσως είχα κάνει εγώ βλακεία και δεν έχει τύχει να μου παραπονεθεί κανένας τώρα. Οπότε ίσως το διόρθωσα. Στις ρυθμίσεις είχα φτιάξει τα crawl να μπλοκάρονται αν ξεπεράσουν το ένα το λεπτό, τα human αν ξεπεράσουν τα 2 το δευτερόλεπτο, ΑΛΛΑ είχα κάνει και το everyone να μπλοκάρει αν ξεπεράσει το 1 κάθε 15 δευτερόλεπτα. Αν κατάλαβα καλά μήπως το everyone υπερκαλύπτει τα άλλα φίλτρα.

Μήπως έχεις πολλά broken links στο Site σου (δηλαδή links που οδηγούν σε 404 pages) ?

 

Όχι δεν νομίζω.

[sinikos]

Γιατί μου βγάζει αυτό συνέχεια στο robot.txt checker του google, οταν στο πραγματικό αρχείο δεν υπάρχει?