GWT Crawl Stats: conta anche Mediapartners-google?

Petro · #1 07-04-2009, 22.07.24

File robots.txt online dal 27 marzo su un sottodomino:

Codice:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Allow: /

(il robots "ha funzionato"

, nel senso che le uniche pagine prima presenti nell'indice ora presentano solo l'URL in Serp, me l'ha tolto pure dai sitelinks quel sottodominio)

Grafico delle pagine spiderizzate di Google WebmasterTools:

Mi aspettavo un crollo verticale alla fine di marzo, invece:

Citazione:

Number of pages crawled per day
Maximum 101,340
Average 68,830
Minimum 46,610

Mi sfugge qualcosa? Sono inclusi gli accessi del bot di Adsense nelle statistiche per caso, o c'è dell'altro?

luca · #2 08-04-2009, 08.46.27

Mi ricordo di una ricerca fatta tempo fa da LowLevel, di cui non ritrovo però l'URL, che sosteneva che di fatto i vari bot di Google fossero intercambiabili.

Cioè (in maniera semplicistica) ne passa uno (di bot) e mette i dati a disposizione degli altri, in modo da ottimizzare il carico globale del sistema. Perchè devono passare 3 bot diversi per raccogliere dati molto simili tra di loro?

Se questo è valido la risposta alla tua domanda è SI.

paocavo · #3 08-04-2009, 09.41.15

Avevo fatto un test in proposito...

Ciao!

Petro · #4 08-04-2009, 11.54.58

Luca, Paolo, quel che dite è verissimo, e lo so: i due bot sono in una certa misura intercambiabili/equivalenti, io stesso feci dei test anni fa, ne parlai proprio con Low, ricordo, e oggi ad esempio uso adsense per facilitare al bot la scoperta di nuovi documenti da indicizzare. Non posso che condividere in pieno il vostro punto di vista

Però se quei grafici, che recano semplicemente "googlebot" come etichetta, contengono anche gli accessi di altri bot (adsense, adwords, news, e chi più ne ha più ne metta), allora i dati sono sporchissimi e sono molto meno utili di quello che pensavo (e allora si torna ai cari, vecchi, infallibili log file).

Quasi quasi provo a mettere gli ad in un dominio che non li ha mai avuti, per vedere se il grafico s'impenna.

luca · #5 08-04-2009, 12.28.56

Citazione:

Originalmente inviato da Petro

Però se quei grafici, che recano semplicemente "googlebot" come etichetta, contengono anche gli accessi di altri bot (adsense, adwords, news, e chi più ne ha più ne metta), allora i dati sono sporchissimi e sono molto meno utili di quello che pensavo (e allora si torna ai cari, vecchi, infallibili log file).

Credo proprio di si,... considera poi che ti stai fidando comunque di dati di Google.
Per un controllo imparziale è bene mettere uno strumento terzo a Google.

Google ha tutto l'interesse a NON mostrare i dati reali ed a evitare, o almeno rallentare la Reverse Engineering dei suoi sistemi.

Oltrettutto, mettere a disposizione di tutti i webmaster un sistema troppo preciso richiederebbe un uso enorme di risorse.

Citazione:

Originalmente inviato da Petro

Quasi quasi provo a mettere gli ad in un dominio che non li ha mai avuti, per vedere se il grafico s'impenna.

Oppure no.
Magari otterrai lo stesso grafico di sopra, poichè i 2 (o n) bot si scambiano i dati.
Fai la prova e tienici informati !

paocavo · #6 08-04-2009, 14.46.15

Citazione:

Originalmente inviato da Petro

Però se quei grafici, che recano semplicemente "googlebot" come etichetta, contengono anche gli accessi di altri bot (adsense, adwords, news, e chi più ne ha più ne metta), allora i dati sono sporchissimi e sono molto meno utili di quello che pensavo (e allora si torna ai cari, vecchi, infallibili log file).

Ho verificato, tramite un mio tool di monitoraggio, che i grafici riportano (più o meno) i dati del solo GoogleBot (evidentemente gli url scansionati, se non li ha rilevati da altri sistemi, glieli passa Mediapartners-Google)

Citazione:

Quasi quasi provo a mettere gli ad in un dominio che non li ha mai avuti, per vedere se il grafico s'impenna.

ok, prova

...non dimenticare di controllare il nuovo sito solo ed esclusivamente da un PC che non abbia la toolbar installata.

Strumenti discussione
Visualizza versione stampabile Invia questa pagina via e-mail
Modalità visualizzazione
Modalità lineare Modalità ibrida Modalità elencata

Utenti attualmente attivi che stanno leggendo questa discussione: 1 (0 utenti e 1 visitatori)