提升爬虫效率 提升爬虫的抓取效率无非优化爬虫与服务器的链接速度和效率。最为简单的方式就是“加钱”，使用更大带宽的网络，和更高的并发。 所以很多情况下就可以使用多线程或者分布式的爬虫方案。然而在使用这些模式的爬虫情况下可能会出现另一些影响爬虫效率的因素：入库。 爬虫数据入库 单机情况下爬到的东西一般直接存到本地就行了，直接扔到一个文件内或者数据库内就行。 然而分布式情况下如果爬虫生产的数据存入统一的数据库，每次的存取就会进行一次事务，如果出现失败等情况还需要在爬虫中对这些错误进行处理，不然爬虫就会直接死掉。 爬虫与数据库之间的链接状况也会影响当前的爬虫进程，爬虫无法在数据库入库之前进行下一次抓取。 肯定有人会说：“先全部存到本地就好了啊，爬完再统一存进去。”确实这是一个减轻代码量的“好”方法。但是如果是一个长期项目，整理数据就不是那么的轻松了。 因此选择一个更生产者消费者模式能够更好的提高爬虫的效率。 ...
Selenium本作为测试Web使用的框架，如今用在爬虫的项目上简直无人能敌。它可以使用浏览器像一个真人一样的进行浏览网页。 由于在爬虫和测试领域用的十分多，所以在Python上用Selenium也是十分方便的。 配置环境 首先需要下载浏览器的驱动，各种语言通过Selenium框架直接调用驱动对浏览器进行操作。 https://www.seleniumhq.org/download/ 市面上的所有浏览器官方都为其浏览器编写了WebDriver选择自己需要的版本，WebDriver的版本是否与已安装的浏览器版本对应。 (Python中有一个PhantomJS无界面的Webkit浏览器，虽然不需要驱动用起来很方便，但是自从chrome的headless模式之后它就停止更新了。并且在我使用的情况下出现了页面解析出错的情况，所以为了减少麻烦还是用WebDriver比较好) ...
接上次虽然完成了konachan的爬虫，但是一股脑的将图片下载下来后期整理起来可是件烦心事，所以要对上次的python爬虫进行升级定制 开工 konachan上的图片大小不一，如果是要拿来当素材壁纸之类可能会对图片的大小有要求 ...
不知道怎么就买了个pi3，自带wifi和蓝牙，这样就不用插一根usb 网卡还得考虑驱动的问题。 而且这么多的VPS开着流量也用不完，而且最近还在学校里弄到个工作室，这样就可以做一个爬虫挂在工作室里24小时不用断电。 raspbian自带python 2.7.X和3.4.X 默认python是运行2.X版本所以运行3得用python3 我的爬虫范例 ...