利用Python爬虫获取百度贴吧内容-创新互联
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商，新人活动买多久送多久，划算不套路！
创新互联是一家专业的成都网站建设公司，我们专注网站制作、
成都网站建设、网络营销、企业网站建设，
外链，
1元广告为企业客户提供一站式建站解决方案，能带给客户新的互联网理念。从网站结构的规划UI设计到用户体验提高，创新互联力求做到尽善尽美。
这期内容当中小编将会给大家带来有关利用Python爬虫获取百度贴吧内容，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
Python版本 : 3.6
浏览器版本： Chrome
目标分析：
由于是第一个实验性质爬虫，我们要做的不多，我们需要做的就是：
1、从网上爬下特定页码的网页
2、对于爬下的页面内容进行简单的筛选分析
3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接
4、将结果保存到文本。
前期准备：
看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符？
其实这些都是中文字符，
%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C
开始写代码吧？
我们先写出抓取页面内人的函数：
这是前面介绍过的爬取框架，以后我们会经常用到。
import requests
from bs4 import BeautifulSoup
# 首先我们写好抓取网页的函数
def get_html(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
#这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
# r.endcodding = r.apparent_endconding
r.encoding='utf-8'
return r.text
except:
return " ERROR "
接着我们摘取其中的详细信息：
我们来分一下每一个li标签内部的结构：
一个大的li标签内包裹着很多个 div标签
而我们要的信息就在这一个个div标签之内：
# 标题&帖子链接
【高淸】西部世界1-2季，中英字，未??删?减.??任性给
#发帖人：
#回复数量：
822
#发帖日期：
7-20分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果
具体代码的实现：
'''
抓取百度贴吧---西部世界吧的基本内容
爬虫线路： requests - bs4
Python版本： 3.6
'''
import requests
import time
from bs4 import BeautifulSoup
# 首先我们写好抓取网页的函数
def get_html(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
# 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
# r.endcodding = r.apparent_endconding
r.encoding = 'utf-8'
return r.text
except:
return " ERROR "
def get_content(url):
'''
分析贴吧的网页文件，整理信息，保存在列表变量中
'''
# 初始化一个列表来保存所有的帖子信息：
comments = []
# 首先，我们把需要爬取信息的网页下载到本地
html = get_html(url)
# 我们来做一锅汤
soup = BeautifulSoup(html, 'lxml')
# 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})
# 通过循环找到每个帖子里的我们需要的信息：
for li in liTags:
# 初始化一个字典来存储文章信息
comment = {}
# 这里使用一个try except 防止爬虫找不到信息从而停止运行
try:
# 开始筛选信息，并保存到字典中
comment['title'] = li.find(
'a', attrs={'class': 'j_th_tit '}).text.strip()
comment['link'] = "http://tieba.baidu.com/" + \
li.find('a', attrs={'class': 'j_th_tit '})['href']
comment['name'] = li.find(
'span', attrs={'class': 'tb_icon_author '}).text.strip()
comment['time'] = li.find(
'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
comment['replyNum'] = li.find(
'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
comments.append(comment)
except:
print('出了点小问题')
return comments
def Out2File(dict):
'''
将爬取到的文件写入到本地
保存到当前目录的 TTBT.txt文件中。
'''
with open('TTBT.txt', 'a+') as f:
for comment in dict:
f.write('标题： {} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量： {} \n'.format(
comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
print('当前页面爬取完成')
def main(base_url, deep):
url_list = []
# 将所有需要爬去的url存入列表
for i in range(0, deep):
url_list.append(base_url + '&pn=' + str(50 * i))
print('所有的网页已经下载到本地！ 开始筛选信息。。。。')
#循环写入所有的数据
for url in url_list:
content = get_content(url)
Out2File(content)
print('所有的信息都已经保存完毕！')
base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 设置需要爬取的页码数量
deep = 3
if __name__ == '__main__':
main(base_url, deep)代码里有详细的注释和思路，看不懂的话 多看几遍
下面是爬完的结果：
上述就是小编为大家分享的利用Python爬虫获取百度贴吧内容了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联-成都网站建设公司行业资讯频道。
本文题目：利用Python爬虫获取百度贴吧内容-创新互联
链接分享：http://cdweb.net/article/iophj.html
