Faceți căutări pe acest blog

Blochează roboţii ahrefs dacă ai conţinut afiliat

Situl ahrefs.com este unul din aşa-zişii provideri de conţinut util deţinătorilor de situri, prin oferirea informaţiilor legate de linkurile altor situri către un site, respectiv, prin oferirea de unelte similare celor de analiză a cuvintelor cheie din orice nişă.

Serviciile lor funcţionează şi se bazează în principiu pe conţinut englezesc, însă, din păcate, roboţii lor parcurg şi trec în revistă TOATE siturile pe care le pot accesa, ŞI DĂ CLICKURI PE TOATE LINKURILE GĂSITE PE TOATE SITURILE.

Pentru siturile cu conţinut "obişnuit", care nu fac parte din sisteme de afiliere, nu este o problemă majoră, însă, pentru afiliaţi, este o foarte mare problemă, atât pentru cei care fac parte din reţelele CPA (gen profitshare, 2performant/2parele, leadbit, etc.), cât şi pentru cei care foloses adsense pentru a-şi monetiza conţinutul.




Imagine despre robotul ahrefs şi de ce să scapi de elPentru cei cu afiliere CPA, le încurcă statisticile, produc afişări şi clickuri irelevante pe situri, produc COSTURI INUTILE de hosting, mănâncă lăţime de bandă, încarcă serverele cu procese inutile, încetinind siturile şi reducând astfel potenţialul siturilor prin afişarea mai lentă a conţinutului, pentru utilizatorii reali.

Celor cu adsense, le produce clickuri invalide, care la sfârşit de lună, se scad din câştigurile raportate temporar pînă la sfârşitul lunii.

Pentru că deţin şi operez un URL shortener pentru diverse reţele de afiliere, atât din România cât şi din alte ţări, analizând statisticile sistemului azi, am descoperit că începând din 13 martie 2016, şi până azi (10 aug.2016), aceşti roboţi au produs ÎN JUR DE 2.160.000 DE IMPRESII DE BANNERE (!!!) ŞI 34.000 de clickuri. Dacă eşti afiliat, indiferent de reţeaua de afiliere, vei înţelege imediat că asta e o pierdere imensă de lăţime de bandă, şi potenţial, şi îţi face statisticile harabură.

Pînă acum am detectat 2 blocuri de IP pe care roboţelul acesta le foloseşte, are destul de multe adrese de IP pe care le foloseşte prin rotaţie pentru accesarea siturilor.

Primul bloc IP este cuprins între : 164.132.161.2 … şi 164.132.161.97, iar celălalt, între 51.255.65.2 şi 51.255.65.97

Dacă vrei să blochezi roboţii ahrefs de la a-ţi accesa situl (sau siturile), trebuie să introduci următoarele linii în fişierul de directive .htaccess al serverului (presupunând că serverul rulează apache, şi nu nginx)

 RewriteEngine On
 RewriteCond %{REMOTE_ADDR} ^164\.132\.161\.([2-9]|[1-8][0-9]|9[0-7])$ [OR]
 RewriteCond %{REMOTE_ADDR} ^51\.255\.65\.([2-9]|[1-8][0-9]|9[0-7])$
 RewriteRule ^.*$ - [F]

Bineînţeles, dacă fişierul tău htaccess are deja alte reguli de blocaj, e posibil să fie nevoie să modifici uşor liniile, de ex. e posibil să fie nevoie de încă un [OR] după ce-a de-a doua linie de blocaj.

Şi ca să fie sigur, că indiferent de clasa de IP pe care o vor folosi aceşti roboţi, presupunând că se vor prezenta în continuare ca ahref-bots, introdu şi următoarele linii în fişierul .htaccess pentru a le bloca accesul definitiv:

SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
 <Limit GET POST HEAD>
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
 </Limit>

Bineînţeles, poţi folosi linia SetEnvIfNoCase User-Agent pentru a bloca şi alţi roboţi, modificând linia următoare în aşa fel, încât să conţină alt identificator de bot, cum ar fi semalt.semalt.com sau alt bot inutil pentru cei cu afilierea.
Adaugi încă o linie la condiţia de mai sus, şi s-a rezolvat, de exemplu:

SetEnvIfNoCase User-Agent .*semalt.* bad_bot

Distribuie articolul acesta prietenilor tăi care au situri cu conţinut afiliat, respectiv, şi clienţilor tăi dacă te ocupi de webdesign sau ai servicii de SEO sau marketing în afiliere. O să-ţi mulţumească mai târziu, că i-ai scăpat de aceşti roboţei.

Cauta pe blog

Parteneri