urllib

Python 3.6.7

Python3中整合了Python2中的urllib和urllib2两个库,统一为urllib,它是内置的HTTP请求库。

包含以下四个模块:

  • request:最基本的HTTP请求模块,用来模拟发送请求。
  • error:异常处理模块。
  • parse:工具模块,提供了许多URL的处理方法,比如拆分、解析、合并等。
  • robotparser:用来是识别网站的robots.txt文件,判断哪些网站可以爬,哪些网站不可以爬,基本上忽视它。

发送请求 - urllib.request

处理异常

解析