Python爬虫教程1.1 — urllib基础用法教程

综述

本系列文档用于对Python爬虫技术的学习进行记录总结。
Python 版本是3.7.4

urllib库介绍

它是 Python 内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习):

  • request : 它是最基本的 HTTP 请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入 URL 还有额外的参数,就可以模拟实现这个过程了。
  • error : 异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作保证程序不会意外终止。
  • parse : 用于解析URL,提供了许多URL处理方法,比如拆分、解析、合并等等的方法,以及对参数的拼接等待。
  • robotparser : 主要是用来识别网站的robots.txt协议文件,然后判断网站的那些数据可以爬,哪些数据不可以爬的,其实用的比较少。

urllib.request 介绍

urlopen()

  1. 参数说明(仅写了四个最常用的参数)

    • url : 爬取目标的URL;
    • data : 请求参数,如果设置该参数,则请求默认为post请求;没有默认为get请求;
    • timeout : 用于设置超时时间,单位为秒;
    • context : 必须是一个ssl.SSLContext类型,用来指定SSL设置,忽略未认证的CA证书;
  2. 具体用法

    • GET 请求方式
    # 导入urllib库
        import urllib.request
        
        # 向指定的url发送请求,并返回服务器响应的类文件对象
        url = "http://www.baidu.com"
        response = urllib.request.urlopen(url=url)
        print(type(response))
        
        # 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串
        html = response.read()
        # html = response.readline() # 读取一行
        # html = response.readlines() # 读取多行,返回列表
        # 打印响应结果(byte类型)
        print(html)
        # 打印响应结果(utf-8类型)
        # 二进制和字符串之间的相互转码使用 encode() 和 decode() 函数
        # encode() 和 decode() 可带参数,不写默认utf-8,其他不再特别说明
        print(html.decode())
        # 打印状态码
        # print(response.get_code())
        print(response.status)
        # 获取响应头
        print(response.getheaders())
        # 获取响应头Server信息
        print(response.getheader('Server'))
        # 获取响应结果原因
        print(response.reason)
    • POST 请求方式
    # 导入urllib库
        import urllib.parse
        import urllib.request
        
        # 向指定的url发送请求,并返回
        post_url = 'https://fanyi.baidu.com/sug'
        # 传入参数
        form_data = {
            'kw': 'honey'
        }
        # 格式化参数
        form_data = urllib.parse.urlencode(form_data).encode()
        
        response = urllib.request.urlopen(url=post_url, data=form_data)
        # 打印服务器响应的类文件对象
        print(type(response))
        
        # 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串
        html = response.read()
        # 打印响应结果(byte类型)
        print(html)
        # 打印响应结果(utf-8类型)
        print(html.decode())
        # 打印状态码
        print(response.status)
        # print(response.getcode())
        # 获取响应头
        print(response.getheaders())
        # 获取响应头Server信息
        print(response.getheader('Server'))
        # 获取响应结果原因
        print(response.reason)

urlretrleve()

  1. 参数说明

    • url : 下载链接地址;
    • filename : 指定保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据);
    • reporthook : 是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度;
    • data : 指post导服务器的数据,该方法返回一个包含两个元素的(filename, headers) 元组,filename 表示保存到本地的路径,header表示服务器的响应头;
  2. 具体用法

    # 引入所需要的库
        import os
        import urllib.request
        
        
        # 定义回调函数
        def call_back(a, b, c):
            """
            图片下载回调
            :param a: 已经下载的数据块
            :param b: 数据块的大小
            :param c: 远程文件的大小
            :return: 
            """
            per = 100.0 * a * b / c
            if per > 100:
                per = 100
            print('%.2f%%' % per)
        
        
        # 定义下下载的地址
        url = 'http://www.baidu.com'
        # 构造文件保存路径
        path = os.path.abspath('.')
        file_path = os.path.join(path, 'baidu.html')
        # 进行下载
        urllib.request.urlretrieve(url, file_path, call_back)

urllib.parse 介绍

urlencode()

  1. 参数说明

    • query : url参数,可以是字符串,也可以是字典;
    • encoding : 编码方式;
  2. 具体用法

    # 引入所需要的库
        import urllib.parse
        # 参数数据
        data = {
            'name': '张三',
            'age': 26
        }
        # 进行编码
        ret = urllib.parse.urlencode(data)
        print(ret)

parse_s()

  1. 参数说明

    • qs : url参数,编码后的字符串;
    • encoding : 字符方式;
  2. 具体用法

    # 引入所需要的库
        import urllib.parse
        # 参数数据
        data = {
            'name': '张三',
            'age': 26
        }
        # 进行编码
        ret1 = urllib.parse.urlencode(data)
        print(ret1)
        # 进行解码
        ret2 = urllib.parse.parse_qs(ret1)
        print(ret2)

urlparse()

  1. 参数说明

    • url : url地址字符串;
  2. 具体用法

    # 引入所需要的库
        import urllib.parse
        # 声明url
        url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
        # 进行url解析
        ret = urllib.parse.urlparse(url)
        print(ret)
        print('scheme:', ret.scheme)  # 协议
        print('netloc:', ret.netloc)  # 域名服务器
        print('path:', ret.path)  # 相对路径
        print('params:', ret.params)  # 路径端参数
        print('fragment:', ret.fragment)  # 片段
        print('query:', ret.query)  # 查询
        
        # urlunparse() 与 urlparse() 对应相反函数
        # 使用urlparse的格式组合成一个url,可以直接将urlparse的返回传递组合
        ret1 = urllib.parse.urlunparse(ret)
        print(ret1)

urlsplit()

  1. 参数说明

    • url : url地址字符串;
  2. 具体用法

    # 引入所需要的库
        import urllib.parse
        # 声明url
        url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
        # 进行url解析
        ret = urllib.parse.urlsplit(url)
        print(ret)
        print('scheme:', ret.scheme)  # 协议
        print('netloc:', ret.netloc)  # 域名服务器
        print('path:', ret.path)  # 相对路径
        print('fragment:', ret.fragment)  # 片段
        print('query:', ret.query)  # 查询
        
        # urlunsplit() 与 urlsplit() 对应相反函数
        # 使用urlsplit的格式组合成一个url,可以直接将urlsplit的返回传递组合
        ret1 = urllib.parse.urlunsplit(ret)
        print(ret1)
        
        # 此函数和urlparse函数的区别在于此函数没有params

urljoin()

  1. 参数说明

    • qs : url参数,编码后的字符串;
    • encoding : 字符方式;
  2. 具体用法

    # 引入所需要的库
        import urllib.parse
        
        # 声明url
        url = "https://www.baidu.com/"
        # 参数数据
        data = {
            'name': '张三',
            'age': 26
        }
        # 格式化参数
        data = urllib.parse.urlencode(data)
        # 进行url拼接
        ret = urllib.parse.urljoin(url, data)
        print(ret)

urllib.error 介绍

我们在爬虫的时候发请求的时候难免出现错误,如访问不到服务器或者访问被禁止等等,error分为URLError和HTTPError两类:

  1. URLError

    • 没有网
    • 服务器链接失败
    • 找不大指定服务器
  2. HTTPError

    • 是URLError的子类
  3. 两者区别和联系

    • URLError封装的错误信息一般是由网络引起的,包括url错误
    • HTTPError封装的错误信息一般是服务器返回了错误状态码
    • URLError是OSERROR的子类,HTTPError是URLError的子类
    • 【注意】两个同时捕获的时候需要将子类放在上面,父类放在下面
  4. 用法

    # 引入所需要的库
        import urllib.error
        import urllib.request
        
        # 一个访问异常的url
        url = 'https://www.mz.com/156427/100'
        # 捕获异常
        try:
            ret = urllib.request.urlopen(url)
            print(ret)
        except urllib.error.HTTPError as e:
            print(e.getcode())
        except urllib.error.URLError as e:
            print(e)

相关推荐