Penalizzazione a causa dell'aumento improvviso di pagine troppo simili

Vi racconto cosa mi è successo e aggiungo alcune mie ipotesi.

Poco prima di natale noto un improvviso (anche se graduale) aumento di pagine indicizzate su un sottodominio di un mio sito.

In sostanza se il giorno prima le pagine erano 250, il giorno dopo erano circa 300, poi 400, poi quasi 500. Nel giro di 5 giorni il sottodominio perde posizioni per tutte le keywords (il dominio invece non subisce nessuna penalizzazione).

Dato che era natale, tutto ciò che ho pensato fosse opportuno fare è stato:

1) sbattersene
2) minacciare (col pensiero) google di gravissime vendette

In sostanza ho passato le feste pensando a divertirmi e dopo 5 o 6 giorni tutto era tornato alla normalità. Le pagine indicizzate erano di nuovo 250 e il sito aveva ripreso i posizionamenti precedenti al disastro.

Verso il 9 o 10 gennaio noto di nuovo un aumento di pagine indicizzate e dico a Raele: "tra 4 o 5 giorni sto sottodominio viene penalizzato". Come al solito non faccio niente, ma stavolta analizzo tutto quello che succede.

Ho notato che le nuove pagine indicizzate erano pagine generate dal form di ricerca di wordpress (il sottodominio usava wordpress come cms). Il fatto strano è che queste pagine non venivano linkate (almeno non internamente).

Ho ipotizzato che google le raggiungesse tramite la toolbar di chi eseguiva le ricerche. Ma non ne sono sicuro.

Ho provveduto a rimuovere le pagine del search che erano state indicizzate e ho messo un 404 e una regola del robots.txt in modo che non venissero indicizzate mai più.

Quello che ho dedotto (ipotizzato) è:

incremento esponenziale di pagine troppo simili tra di loro -> penalizzazione

Quello che mi domando è:

si potrebbe usare questo meccanismo per penalizzare siti avversari (anche se solo momentaneamente)?

__________________
Tao☯Web - agenzia pubblicitaria - Roma

Ciao, le pagine generate dal form avevano kw-in-url o comunque stringhe particolari?
Mi interessa molto. imho questo è un esempio perfetto di distribuzione dei pesi sulle pagine al variare dei fattori wide-site.

Hai 250 pag? tutto ok. il tuo *trust* e distribuito tra quelle pagine.
Aumentano di colpo? Tutti duplicati identici? Il tuo trust si abbassa drasticamente e anche la qualità media. Ripercussioni sui posizionamenti.
Il filtro antiduplicazione fa poi il suo lavoro, torni a 250 e tutto si risistema.
Poi lo spider impazzisce di nuovo e riprende le pagine da form e il ciclo ricomincia.... a meno che non si blocchi il tutto, esattamente come hai fatto tu.

E qui casca la tua domanda .... ed è una bella domanda.
Io dico che un qualche danno lo puoi fare.
Se hai tempo, risorse, malvagità d'animo, e se il flusso di nuove pagine in entrata nel motore è superiore a quello in uscita per filtro antiduplicazione il danno potrebbe anche essere importante.

In teoria... mi *piacerebbe* vedere in pratica.

Per quanto riguarda la prima domanda condivido in pieno quanto dice Pieropan.

Per quanto riguarda la seconda non c'e' bisogno di test, perche' addirittura gia' anni fa si penalizzavano i concorrenti che lasciavano aperte allo spider le loro pagine create dinamicamente con testo non originale, oppure a chi settava il proprio dominio con dei terzi livelli non prestabiliti.

Se un sito per esempio ha un suo search interno, e le url-pagine (prodotte dalle ricerche) non sono bloccate dal robots, basta lincarne a migliaia da un proprio sito (cambiando la key della ricerca nelle url) per spingere i vari motori a spaiderizzare migliaia di pagine assolutamente simili ed inutili, con conseguente penalizzazione di quel sito.

Alcuni wm lasciano "liberi" i terzi livelli, pertanto scrivere:

www.sitoconcorrente.xyz/a.html
casa.sitoconcorrente.xyz/a.html
pippo.sitoconcorrente.xyz/a.html
zzzzzzzzzzzzz.sitoconcorrente.xyz/a.html

restituisce sempre la stessa pagina e non dei 404, idem come sopra.

---------

Di fatto e' una porcata fatta e finita, ma non perche' si massacra (nelle serp) un avversario con un trucco storico.

Ma perche' a mio avviso potrebbe-dovrebbe essere considerato come un attacco indiretto alle prestazioni-risorse del server che ospita quel sito, pertanto oltre che poco morale (e su questo aspetto molti di noi potrebbero chiudere un occhio) e' al limite tra legale ed illegale, anzi e' illegale in pieno.

---------------

A proposito di attacchi illegali, ne riporto uno che credo nessuno ne sia a conoscenza, e fu usato in cina cinque o sei anni fa e proprio nei confronti di un mio sito.

Senza entrare nel merito della faccenda, per motivi assolutamente giustificabili, decisi di bloccare l'accesso ad un mio sito agli ip cinesi, per chi aveva il browser con language in cinese, etc etc.

Mi scrissero in molti (cinesi) ma io nulla continuai imperterrito.
Il server lo avevo ben blindato ed ero pronto a reggere qualche attacco.

Mi scrisse ancora uno dicendo di pensarci bene, ma nulla, cina bloccata.

---------

Bene fecero una cosa incredibile, impensabile.
Misero in rete, ovunque, un softwarino free per testare la velocita' della linea dell'utente, con altre piccole utilita' tipo mostrare l'ip dell'utente, etc etc.

Nel giro di un paio di mesi decine di migliaia di utenti di tutto il mondo l'avevano scaricato e lo usavano regolarmente.

Il programmino si autoaggiornava.

Indovinate come faceva quel software a calcolare la velocita' della linea degli utenti?
Ogni tot di minuti scaricava la mia homepage, ne contava il peso e dividendolo per il tempo di download stabiliva la velocita' della linea in quel momento.

Le mie linee intasate, server ingolfato, etc etc

Cosi' mi fecero capire che e' meglio non discutere con i cinesi.
Riaprii il sito a tutti, e loro tempo 0 misero nell' aggiornamento del software il download di un'altra pagina che non fosse la mia.

---------------

Per questo motivo da allora mi guardo bene dal penalizzare qualsiasi tipo di utente o qualsiasi sito avversario.... perche' potrebbe appartenere ad un cinese.

erano tipo: sito.est?s=key

Ma il title era identico a quello dell'home. I contenuti potevano essere duplicati in quanto alcune ricerche restituivano gli stessi risultati o risultati simili. Altre non ne restituivano proprio.

P.S. Volevo provare ad autoattaccare un mio sito. Ma mi fido di agoago se è roba vecchia non testo.

P.P.S. ho dubbi sull'illegalità: linkare un sito non è illegale lo era un tempo, ma adesso direi di no.

__________________
Tao☯Web - agenzia pubblicitaria - Roma

Bella storia quella del programmino cinese, istruttiva.
@kerouac3001
Illegale come un DoS. Cercare una risorsa non è illegale, cercarla in modo compulsivo allo scopo di danneggiarla si. In questo caso si pongono in essere attività (linkare pagine inesistenti) con scopo di nuocere, siamo sul bordo proprio ad essere indulgenti. Se dopo un avviso non desisti il bordo l'hai già oltrepassato.

Cmq quello che resta è che un CMS con URL intestate su un parametro e testo *libero* riscritto ha un bel tallone d'achille, se non gestisce superbene i 404.

@ Kerouac3001

Non è che potresti postare i comandi da inserire nel Robots.txt per bloccare l'indicizzazione delle serp di ricerche interne? Pure dal mio wordpress Google inizia a prendere le pagine "?s=..."...
Grazie mille!

E grazie per la discussione. Davvero interessante.

__________________
marco | MOCA

Questa è quella per chi usa Movable Type

Disallow: /mt-static/
Disallow: /cgi-bin/

__________________
YoYo - Formazione rotolante
Il 10 e 11 giugno, Corso Project Management Web, a Milano

Per Wordpress dovrebbe essere

Disallow: /index.php?s=

__________________
Imevolution.it Posizionamento e Promozione sui Motori - Blog Imevolution.it

Grazie

__________________
marco | MOCA

Se non usi variabili in GET ti consiglio questa:

Disallow: *?*

__________________
Tao☯Web - agenzia pubblicitaria - Roma