ArticleSpider

LcvSearch 使用django构建搜索引擎 数据从爬出爬取而来 使用ElasticSearch搜索服务器

ArticleSpider利用scrapy框架搭建爬虫项目可爬取 job伯乐 知乎 拉钩等网站 设计自动登录 爬取数据可通过twisted将mysql异步执行存储到数据库 或者json格式 这里写入到es中

ScrapyRedisTest网上查阅分布式爬虫的简单配置实例