028-86922220

建站动态

根据您的个性需求进行定制 先人一步 抢占小程序红利时代

Windows下安装配置爬虫工具Scrapy及爬虫环境

爬虫工具Scrapy在Mac和Linux环境下都相对好装,但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

创新互联公司是专业的邛崃网站建设公司,邛崃接单;提供网站设计、成都网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行邛崃网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

下载安装Scrapy

Scrapy官方文档

  1. 按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
    下载地址

  2. 安装完成后,python2.7也会自动安装好,然后执行以下命令安装Scrapy.
conda install -c conda-forge scrapy

安装MySQL驱动

  1. 下载并安装mysql官方的驱动程序。下载地址

  2. 下载mysql的python驱动程序,可以把两个都装上,使用的时候再决定用哪个。
pip install mysql-connector-python

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

pip install beautifulsoup4
安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

pip install pyquery

当前文章:Windows下安装配置爬虫工具Scrapy及爬虫环境
标题网址:http://www.tsicrk.com/article/iepgdd.html

其他资讯

让你的专属顾问为你服务

2.2692s