爬虫学习1:安装Requests、Lxml、Beautifulsoup4库

准备工作

安装RequestsLxmlBeautifulsoup4

  • Requests :请求网站获取网页数据。
  • Beautifulsoup4 :解析Requests库请求的网页,并把网页源代码解析成Soup文档,以便过滤提取数据。
  • Lxml :解析器

Beautifulsoup库官方推荐使用lxml作为解析器,效率更高。

方法一:使用Pycharm安装

(1) File–>Setting–>Project Interpreter。
(2) 单击‘+’号,输入第三方库名称,单击Install Package进行安装。
(3) 单击‘-’号,可卸载第三方库。

方法二:使用pip安装

安装Python后,pip同时会进行安装。
(1)使用cmd查看pip版本

$ pip --version

终端显示:

C:\Users\tao>pip –version
pip 10.0.1 from c:\users\tao\appdata\local\programs\python\python37\lib\site-packages\pip (python 3.7)

(2)使用cmd安装第三方库
pip3 install packagename (packagename 为第三方库名称)

$ pip3 install beautifulsoup4
$ pip3 install requests
$ pip3 install lxml

终端显示:

Successfully installed beautifulsoup4-4.7.1 soupsieve-1.9
Successfully installed certifi-2019.3.9 chardet-3.0.4 idna-2.8 requests-2.21.0 urllib3-1.24.1
Successfully installed lxml-4.3.3

方法三:使用whl安装

(1) 进入https://www.lfd.uci.edu/~gohlke/pythonlibs/,搜索第三方库
(2) 打开CMD命令提示符,输入以下命令:

$ pip3 install wheel     # 第一次使用安装wheel 
$ cd C:\Users\tao\Downloads
$ pip3 install lxml-4.3.3-cp37-cp37m-win_amd64.whl
+