Gnuget

Gnuget http://gnuget.underlife.org/ Gnuget Creative Commons Atribución-Licenciamiento Recíproco 2.5 México Sat, 04 Oct 2008 00:11:00 -0700 http://www.textmotion.org Caso de estudio: Galaxia Linux y por que no basar un rank en impresiones. http://gnuget.underlife.org/blog/view/193/caso-de-estudio-galaxia-linux-y-por-que-no-basar-un-rank-en-impresiones http://gnuget.underlife.org/blog/view/193/caso-de-estudio-galaxia-linux-y-por-que-no-basar-un-rank-en-impresiones Si leyeron el post anterior vieron el conflicto que causo <a href="http://www.tecnologiaslibres.net/">Eduardo</a> por que <a href="http://log.damog.net/">damog</a> rompió la credibilidad del rank de Galaxia Linux. Después de esa gran tragedia yo tuve la oportunidad de tener una “lluvia de ideas” para mejorar galaxia linux, bien, en lugar de ser una lluvia de ideas vimos a un Programador defendiendo su trabajo convencido que la forma en que hace las cosas es fiable. El nos cuenta que por ahora están afinando el método y están en beta a lo que yo conteste que el script de damog demostró que tal cosa no va a ser viable y que tendría que replantear la forma en que rankea los sitios; Eduardo en ese momento me reto a que probara el script de damog para demostrar que tal script ya no funciona y que él en cuanto detecte nuevas formas de “meter gol” les iba a programar filtros para que no puedan quitarle fidelidad al rank. La conclusión al final de la conversación era que si me daba tiempo iba a extender el ejemplo de David Moreno a algo que no se pudiera filtrar y que mostraría que usar impresiones para armar el rank era algo inviable. Así que hoy deje de ver mi episodio Sara Connors Chronicles y prepare un pequeño caso de estudio. Primero, pensemos un poco acerca de como funciona su sistema de ranking de galaxialinux.com 1. Crear un script que genere una imagen que a la vez cuente como impresión la pagina del blog que ha sido visitado. (osea este: http://www.galaxialinux.com/rank/banners/banner.php) 2. Contar estas impresiones, pero para darle mas fidelidad tenemos que considerar algunas cosas: - La ip del visitante no puede ser repetida una cantidad excesiva de veces por que querría decir que el usuario esta apretando repetidamente el botón refresh con tal de subir rank - Tampoco podemos meter su IP a una black list permanente por que quizá este usuario gusta de visitar este blog mas de una vez al díá por que este se actualiza en mas de una ocasión diariamente Oks ahora describamos un poco de lo que vamos a escribir: Lo primero, La ip del visitante no puede ser repetida una cantidad excesiva de veces aquí es donde actualmente YA falla el script de Damog (antes no hacían esta revisión) vamos a ver, la forma mas viable de nunca ser la misma ip sería usando un proxy ¿no? oks, aquí hay un pequeño problema, muchas paginas de proxies tiene pequeños “hacks” para que alguien no pueda usar curl y parsear las ips, vi un caso donde generaban el puerto con javascript y otro donde te exigian javascript “encendido” para poder acceder a la lista, y mejor aun uno hasta tenia un pequeño captcha. Oks lo mas sano (para mi) fue buscar unos minutos en google y cualquier cosa que tuviera forma de una lista de proxies pegarla en un archivo de texto (aunque esta lista se pegara con pedazos de html o de la pagina no importa realmente, solo importa tener los proxies juntos en un solo texto), rápidamente tenia en un archivo de texto mucha basura junto con proxies revueltos así que parte del script iba a ser obtener esta lista de proxies. Una vez teniendo mi lista de proxies escribí el siguiente script: <div class="python"> #! /usr/bin/evn python # -*- coding: utf-8 -*- #Caso de Estudio  Galaxia Linux #Autor David Valdez import urllib import urllib2 import re class anti_rank:     """testing"""         def __init__(self):         pass     def main(self):         #request (aquí podemos meter diferentes combinaciones de headers e irlas intercambiando)         #además podemos poner la pagina que queremos que suba en el rank         headers = {'User-Agent':'Firefox','Referer':'http://www.tecnologiaslibres.net/'}                         #esta función devuelve una lista de proxies         ips = self.get_ips()                 #por cada proxy intentamos hacer una petición         for ip in ips:             try:                 proxy = urllib2.ProxyHandler({'http': ip})                             opener = urllib2.build_opener(proxy,urllib2.HTTPHandler)                 urllib2.install_opener(opener)                             response = urllib2.Request("http://www.galaxialinux.com/rank/banners/banner.php",None,headers)                 response = urllib2.urlopen(response)                                           response.close()                 #un poco de verbose                 print "Visitado con la siguiente ip: "+ ip + " al sitio:tecnologiaslibres.net"                             except:                 print "Error usando este proxy: "+ ip         print "numero de visitas realizadas: %d" % visitas             #lista de proxies         def get_ips(self):         #lo único que necesitamos esa esta expresión regular que extrae las puras ips         #de toda la basura que tenemos de texto         get_ip  = re.compile("\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}\:\d{0,4}")         file = open("proxies.txt","r")                         cadena = ""         for line in file.readlines():             cadena =  cadena + line                     ips = get_ip.findall(cadena)                             file.close()         return ips #regresamos una gran lista de  direcciones de proxies if __name__ ==  "__main__":     text =  anti_rank()     text.main()</div> EN base a esto, poniéndome en los zapatos de Eduardo, consideraría lo siguiente: - Siempre cada petición será una ip diferente. - Suponiendo que los filtros revisen cualquier otra cosa en el header (como user Agent) puede ser fácilmente fálsificable así que no es una solución validar por alguna otra cosa del header. - Además, banear impresiones por user Agent aumentaría dramáticamente el caso de falsos positivos y muchas impresiones genuinas serían tomados como negativos. - Quizá banear si dos peticiones pasan muy juntas, tampoco es viable, los primeros lugares en el rank tiene muchisimas impresiones, limitar por tiempo las peticiones afectaría directamente a estos primeros lugares (además que podríamos aleatoreamente “pausar” nuestro script para que tampoco tenga peticiones juntas. Concluyendo, NO hay forma de saber si una impresión es real o es generada por un script como el arriba escrito entonces TAMPOCO hay forma de Programar un filtro para evitar las impresiones falsas. así que la única forma de tener un rank viable es REPLANTEAR la forma de generar el rank que este no se base en vistas. <img src="http://gnuget.underlife.org/media/emoticons/ichat/happy.png" width="18" height="18" /> [UPDATE] SI no alcanzan a apreciar el código, <a href="http://gnuget.mechulk.com/devel/ejemplos/galaxialinux.html">aquí se ve mucho mas claro </a> david.valdez210@gmail.com (David Valdez) Sat, 04 Oct 2008 00:11:00 -0700 ¿Quieres promocionar planeta linux? http://gnuget.underlife.org/blog/view/173/quieres-promocionar-planeta-linux http://gnuget.underlife.org/blog/view/173/quieres-promocionar-planeta-linux Había olvidado postearlo, pero hace un par de semanas por fin pudimos subir los banners que <a href="http://blacknash.com.mx/">blacknash</a> había hecho para <a href="http://planetalinux.org/">planeta linux</a>. Si quieres agregar un banner a tu blog, entra aquí: <a href="http://planetalinux.org/banners.php"><a href="http://planetalinux.org/banners.php">http://planetalinux.org/banners.php</a></a> david.valdez210@gmail.com (David Valdez) Thu, 03 Jul 2008 00:44:07 -0700 Nuevas instancias en planeta linux http://gnuget.underlife.org/blog/view/169/nuevas-instancias-en-planeta-linux http://gnuget.underlife.org/blog/view/169/nuevas-instancias-en-planeta-linux  <div class="photo block-center"><a href="http://gnuget.underlife.org/data/uploads//planetalinux.png"><img alt="170_aafe58730c98949626eb34f7f44c554c_planetalinux.png" src="http://gnuget.underlife.org/data/thumbs/170_aafe58730c98949626eb34f7f44c554c_planetalinux.png" height="73" width="170" /></a> planetalinux.png</div>  Después de un par de semanas de trabajo intermitente en el planeta (casi solo puedo dedicarle los fines de semana) hemos levantado las instancias que nos quedaban pendientes. Nicaragua: <a href="http://ni.planetalinux.org/"><a href="http://ni.planetalinux.org/">http://ni.planetalinux.org/</a></a> Panamá: <a href="http://pa.planetalinux.org/"><a href="http://pa.planetalinux.org/">http://pa.planetalinux.org/</a></a> Costa Rica: <a href="http://cr.planetalinux.org/"><a href="http://cr.planetalinux.org/">http://cr.planetalinux.org/</a></a> El Salvador: <a href="http://sv.planetalinux.org/"><a href="http://sv.planetalinux.org/">http://sv.planetalinux.org/</a></a> Aun podrían tener bugs, y pequeños detalles sin resolver, pero al parecer ya todo va sobre ruedas. Si notas algo que falla puedes mandar un correo en la lista y a la brevedad será atendido: <a href="http://groups.google.com/group/planetalinux"><a href="http://groups.google.com/group/planetalinux">http://groups.google.com/group/planetalinux</a></a> david.valdez210@gmail.com (David Valdez) Sun, 08 Jun 2008 19:33:00 -0700