SecINN 新增网页镜像功能

之前planet一直是抓取rss，有的只有摘要，很不方便。

现在新增了全文镜像功能，将在抓取RSS后再次抓取该文章的全文，储存在secinn。




如图，点击 “查看镜像” 即可. 以前的rss内容可能不会再单独抓取，但是未来的文章都会去尝试抓取全文。

在GAE中实现很简单，使用新的 taskqueue功能即可。

from google.appengine.api.labs import taskqueue
......

# Add the task to the default queue.
taskqueue.add(url='/xxx', method='GET')



全文抓取功能使用了harry开发的ACS项目进行XSS防范，该项目是引入一个js，阻止所有页面中在自定义白名单外的脚本内容加载，意在JS层面实现mozilla 的 content security policy 功能，由于是js写的，所以是跨浏览器的。




这个项目会开源，目前还在开发阶段，有兴趣的也可以看看实现的代码。