• De community van 'PiepComp Support - dat andere PC-Hulpforum' staat voor u klaar, om hulp bij computerproblemen te geven,
    zoals traagheid, malware, BlueScreensOfDeath, netwerkproblemen, crashes, updateproblemen en nog veel meer!

Vreemde zaak dat het forum voor een korte periode er uit lag

Abraham54

Administrator
Lid geworden
2 aug 2016
Berichten
12.761
Reaction score
1.727
Punten
113
Leeftijd
65
@Black Tiger - kijk eens hier:

Ik heb die lijst nu in .htaccess staan - weliswaar met een verandering, ik heb de Ahrefsbot erbij gezet en Baidu verwijdert.

Bijgevolg lijkt het nu net of er een enorme dip is gekomen in het bezoekers aantal.
Bad crawlers en bad bots worden ook tot de bezoekers berekent.
Door de lijst te gebruiken moet er nu een behoorlijk stukje bandbreedte weer vrijgegeven zijn, wat de laadtijd van deze site vooral ten goede moet komen.
 

Black Tiger

Enthousiast
Lid geworden
6 aug 2018
Berichten
2.252
Reaction score
337
Punten
83
Website
www.satellitefun.org
@Abraham54 Ja ik ken die lijst, die is erg groot en daarmee haal je het meeste wel weg. Maar er staan ook zaken in die geen bot zijn.
En daarom heb ik in het verleden die lijst er weer uit geknikkerd.
Het begon met dat ik opeens iets niet meer kon ophalen, bleek wget dus geblokkeerd.
Andere voorbeelden zijn lftp en libcrawl. Dat heeft net als wget niets met bots te maken.
Er zitten er nog wel heel wat meer in, dus als plots een site testprogramma geblokkeerd wordt zou ik eerst even de .htaccess controleren.

Ja bots en crawlers (of die nu goed of slecht zijn maakt niet uit) worden tot de bezoekers gerekend inderdaad. Echter of die lijst de laadtijd ten goede gaat komen is de vraag. Het checken van .htaccess neemt ook tijd in beslag, hoe groter die is, hoe meer tijd dat nodig heeft.
Het gaat allemaal weliswaar om milliseconden, maar het is dus niet dat het alleen voordeel oplevert.

Ik zou in elk geval die 3 genoemden er uit halen en ook de komende tijd goed even je zoekresultaten in de gaten houden, just to be sure.
 

Abraham54

Administrator
Lid geworden
2 aug 2016
Berichten
12.761
Reaction score
1.727
Punten
113
Leeftijd
65
@Black Tiger - al gaat het om milliseconden, alles telt in wezen.
Ik heb jouw aanbevelingen overgenomen, dank je.
 
Bovenaan Onderaan