网站建设资讯

NEWS

网站建设资讯

Python项目实战:爬取网易云音乐评论-创新互联

前言

相信大家都非常喜欢听音乐的吧,每一首歌背后都有一个故事,有爱情,有离别,有仇恨,有不舍等等,听着自己喜欢总会唏嘘,我不仅喜欢听歌,还喜欢看歌曲下面的评论,很多人都阐述了自己对歌曲的看法和理解,除了一些,你懂的..、

成都创新互联于2013年开始,先为鼓楼等服务建站,鼓楼等地企业,进行企业商务咨询服务。为鼓楼企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

废话不多说了。上代码吧(看完吧,代码直接可以用)

首先导入需求库

import jsonimport timeimport requests

设置headers信息,模拟成浏览器去访问网站,跳过反爬虫机制

headers = {        'Host': 'music.163.com',        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

创建函数,获取评论信息

def get_comments(page):
    """
    获取评论信息
    """
    url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_1313354324?limit=20&offset=' + str(page)
    response = requests.get(url=url, headers=headers)    # 将字符串转为json格式
    result = json.loads(response.text)
    items = result['comments']    for item in items:        # 用户名
        user_name = item['user']['nickname'].replace(',', ',')        # 用户ID
        user_id = str(item['user']['userId'])        # 获取用户信息
        user_message = get_user(user_id)        # 用户年龄
        user_age = str(user_message['age'])        # 用户性别
        user_gender = str(user_message['gender'])        # 用户所在地区
        user_city = str(user_message['city'])        # 个人介绍
        user_introduce = user_message['sign'].strip().replace('\n', '').replace(',', ',')        # 评论内容
        comment = item['content'].strip().replace('\n', '').replace(',', ',')        # 评论ID
        comment_id = str(item['commentId'])        # 评论点赞数
        praise = str(item['likedCount'])        # 评论时间
        date = time.localtime(int(str(item['time'])[:10]))
        date = time.strftime("%Y-%m-%d %H:%M:%S", date)
        print(user_name, user_id, user_age, user_gender, user_city, user_introduce, comment, comment_id, praise, date)        with open('music_comments.csv', 'a', encoding='utf-8-sig') as f:
            f.write(user_name + ',' + user_id + ',' + user_age + ',' + user_gender + ',' + user_city + ',' + user_introduce + ',' + comment + ',' + comment_id + ',' + praise + ',' + date + '\n')
        f.close()

小编推荐一个学python的学习qun 945,8790,25
无论你是大牛还是小白,是想转行还是想入行都可以来了解一起进步一起学习!裙内有开发工具,很多干货和技术资料分享!

Python项目实战:爬取网易云音乐评论
文章题目:Python项目实战:爬取网易云音乐评论-创新互联
文章源于:http://cdweb.net/article/hggje.html