星空体育官网

　　星空体育,星空体育官网,星空体育网页版,星空体育app下载,星空体育入口,星空体育网址,星空体育注册网址,星空APP下载,世界杯,2026世界杯企查查网站中汇聚了有关注册企业的详细信息，为了更好的查询企业相关信息，本人对网站中安徽省境内的企业进行了爬取，其中遇到的问题和使用的技术如下：

　　1企查查PC版数据只显示前500页，为了尽可能最大化爬取网站数据，本次爬取按照市级分别爬取，共计爬取安徽省境内16个市区共计80000条企业信息；

　　2在爬取网站数据时，若爬取速度过快，会出现手动验证功能，为了解决手动验证，同时为了避免封号，直接采用随机更换IP代理，IP代理可以在《89免费代理》网站获取免费代理账号，网址为：，可以一次性获取30个代理IP，如果不够用，

　　可以多次提取，然后构建代理池，本人试了，该网站的免费代理比西次代理和快代理网站的免费代理要好很多，如下图：

　　3提速优化：采用多线程，同时对爬取的数据进行一次性保存，避免磁盘频繁IO；

　　未了提高爬取速率，同时为了显示高大上，下面使用scrapy框架进行爬取，代码如下：