El Planet Webdev y los fallos intermitentes

Autor: Armonth | El viernes 18 de mayo del 2007 @ 05:51.

Acabo de recibir un correo de Oriol Jimenez comentando que el Planet Webdev no estaba actualizando los feeds desde hace casi 10 días. La verdad es que es culpa mía por no haberme dado cuenta pero vamos a comentar un poco.

El Planet Webdev fue mudado de WordPress a Planet-Planet porque éste último es mucho más rápido y al menos yo encuentro más fácil conectar por ssh, añadir una línea con el nuevo feed y cerrar que usar WordPress.

Bueno, el problema es de forma muy resumida que aproximadamente cada mes o mes y medio los feeds empiezan a ser descargados pero no procesados (en realidad antes de poder escribir los ficheros HTML del Planet y el RSS el script en python peta).

El problema parece ser que la "cache" de los RSS engorda, para entendernos, un ejemplo ilustrativo del directorio de cache ahora recién pillados todos los RSS con la cache previamente borrada:

ls -lh cache/ | awk '{print $5,$9}'

67K abelgonzalez.com,blog,feed   
63K aporreando.org,category,programacion,feed   
69K feeds.feedburner.com,Zonamasters   
105K feeds.feedburner.com,alexsancho,full   
268K feeds.feedburner.com,leandono   
14K feeds.feedburner.com,melkorcete   
418K feeds.feedburner.com,mweditorial   
155K feeds.feedburner.com,yukei   
350K javierperez.eu,blog,feed,tag=desarrollo+web   
67K obm.corcoles.net,category,css-y-ms,feed   
119K sentidoweb.com,feeds,desarrollo-web,index.xml   
77K sentidoweb.com,feeds,estandares,index.xml   
95K sergiogh.aresdesarrollo.es,feed=rss2&cat=2   
133K sigt.net,wp-atom.php,tag=webdev   
1.5K sys3.es,migue,blog,category,webdev,feed   
79K telendro.com.es,feed   
110K www.anieto2k.com,feed   
107K www.blogmundi.com,feed   
90K www.buayacorp.com,feed   
114K www.davilac.net,feed   
52K www.estadobeta.com,feed   
77K www.inkilino.com,category,webdev,feed   
100K www.javivicente.com,categoria,programacion,feed   
104K www.lamateporunyogur.net,categorias,wordpress,feed   
111K www.phpbsd.net,tag,php,feed   
118K realidadaparte.es,archives,category,desarrollo-web,feed   
63K www.webnova.com.ar,blog,feed=rss2

Y antes, con la cache "acumulada", hasta el punto de fallar:

ls -lh backup/cache/ | awk '{print $5,$9}'

546K abelgonzalez.com,blog,feed   
165K aporreando.org,category,programacion,feed   
628K feeds.feedburner.com,Zonamasters   
1.1M feeds.feedburner.com,alexsancho,full   
693K feeds.feedburner.com,leandono   
157K feeds.feedburner.com,melkorcete   
843K feeds.feedburner.com,mweditorial   
609K feeds.feedburner.com,yukei   
343K javierperez.eu,blog,feed,tag=desarrollo+web   
308K obm.corcoles.net,category,css-y-ms,feed   
197K sentidoweb.com,feeds,desarrollo-web,index.xml   
107K sentidoweb.com,feeds,estandares,index.xml   
189K sergiogh.aresdesarrollo.es,feed=rss2&cat=2   
634K sigt.net,wp-atom.php,tag=webdev   
99K sys3.es,migue,blog,category,webdev,feed   
358K telendro.com.es,feed   
4.3M www.anieto2k.com,feed   
1.2M www.blogmundi.com,feed   
625K www.buayacorp.com,feed   
606K www.davilac.net,feed   
147K www.estadobeta.com,feed   
299K www.inkilino.com,category,webdev,feed   
327K www.javivicente.com,categoria,programacion,feed   
554K www.lamateporunyogur.net,categorias,wordpress,feed   
250K www.phpbsd.net,tag,php,feed   
191K realidadaparte.es,archives,category,desarrollo-web,feed   
176K www.webnova.com.ar,blog,feed=rss2

Solución: hay que borrar la cache RSS más a menudo, por lo que he añadido al crontab una línea para que lo haga una vez a la semana.

Espero que así el Planet sea totalmente autónomo. El script recoge los feeds cada par de horas aproximadamente por lo que, y más al ritmo de publicaciones que hay, si en cualquier momento no veis ninguna nueva entrada en 48 horas es obvio que falla: pero eso ya tiene que estar totalmente solucionado.

A no ser que que borrando la cache manualmente se arregle pero automáticamente no y en tal caso hablaríamos de un poltergeist.

PD: Y sí, la culpa es siempre de Andrés Nieto, siempre acaba siendo una de sus entradas la última en portada antes del colapso xD.

Comentarios