网站建设资讯

NEWS

网站建设资讯

使用Python怎么爬取豆瓣电影名

这期内容当中小编将会给大家带来有关使用Python怎么爬取豆瓣电影名,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

成都创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于网站设计制作、成都网站建设、富平网络推广、成都微信小程序、富平网络营销、富平企业策划、富平品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联公司为所有大学生创业者提供富平建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com

Python的优点有哪些

1、简单易用,与C/C++、Java、C# 等传统语言相比,Python对代码格式的要求没有那么严格;2、Python属于开源的,所有人都可以看到源代码,并且可以被移植在许多平台上使用;3、Python面向对象,能够支持面向过程编程,也支持面向对象编程;4、Python是一种解释性语言,Python写的程序不需要编译成二进制代码,可以直接从源代码运行程序;5、Python功能强大,拥有的模块众多,基本能够实现所有的常见功能。

一、爬虫豆瓣电影名思路分析

1、爬虫代理

 headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }

2、获取网络连接

 res = requests.get("https://movie.douban.com/top250", headers=headers)

第一个参数就是网址,要确保网址能够打开,第二个参数就是代理。

3、对网址进行解析

soup = BeautifulSoup(res.text, 'lxml')

第一个参数是网站,后缀名".text"是将网站源码转换为文本,方便解析;

第二个参数是解析器,而lxml就是一种解析器,用来解析网站。

4、匹配所有电影名所在的标签

 targets = soup.find_all("div", class_="hd")

5、使用简单的for循环,输出标签中的电影名

   for each in targets:
       print(each.a.span.text)

循环输出就可以了,但要注意转换为文本,避免出现乱码的情况。

二、爬虫豆瓣电影名简单代码示例

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    headers = {
        'user-agent':
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' +
            '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'
    }
    res = requests.get("https://movie.douban.com/top250", headers=headers)
    print(res.status_code)
    soup = BeautifulSoup(res.text, 'lxml')
    targets = soup.find_all("div", class_="hd")
    for each in targets:
        print(each.a.span.text

上述就是小编为大家分享的使用Python怎么爬取豆瓣电影名了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。


文章名称:使用Python怎么爬取豆瓣电影名
文章地址:http://cdweb.net/article/jssgoe.html