0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

中午不知道吃什么,用Python爬取美团外卖评论帮你选餐

马哥Linux运维 来源:YXQ 2019-03-26 15:43 次阅读

一、介绍

朋友暑假实践需要美团外卖APP评论这一份数据,一开始我想,这不就抓取网页源代码再从中提取数据就可以了吗,结果发现事实并非如此,情况和之前崔大讲过的分析Ajax来抓取今日头条街拍美图类似,都是通过异步加载的方式传输数据,不同的是这次的是通过JS传输,其他的基本思路基本一致,希望那些数据能帮到她吧

二、流程

目标站点分析用浏览器打开美团外卖APP评论,F12

1.首先我们要找到我们想要的评论数据,在第一次“失败”的直接抓取网页源代码后,我们发现它是通过Ajax加载的,我们点击JS选项,可以发现JS项目里面的返回结果有我们想要的数据,勾选Preserve log,当点击查看更多评论时,后台(JS里)会出现新的Ajax请求,发现还有参数start和的变化,其他请求参数不变,start的参数变化是以10递增的,的参数变化可就让人摸不着头脑(这个时候我们也不要方,因为大多情况下没有规律的参数都是没用的)

2.经过我们对http://comment.mobilem.360.cn/comment/getComments?callback=jQuery17203361018749253357_1503362214558&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&c=message&a=getmessage&start=0&count=10&_=1503362215647进行分析后发现它的标准式为‘http://comment.mobilem.360.cn/comment/getComments?&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start=’+str(i*10),i每次增加1,就包含新的十条评论的内容,所以我们通过改变i的值就可以拿到不同的数据

分析url的网页源代码,在源代码里有我们想要的评论数据,我们可以用正则(在这里正则还是比较好用的)把我们想要的信息弄下来

开启循环,批量抓取

保存数据至文本和数据库

#之前是这样处理的:def parse_one_page(html):    pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)    items=re.findall(pattern2,html)    for item in items:        item = "{" + item + "}"        item=json.loads(item)        write_to_file(item)        print(item)        save_to_mongo(item)#皮皮哥告诉了我他的独家正则匹配方法可以匹配出来,这样的确获得的item没有编码问题def parse_one_page(html):    pattern = '"content":".*?"'    items=re.findall(pattern,html)    for item in items:        item =eval(item.split(':',1)[1])        write_to_file(item)        print(item)        save_to_mongo(item)#对一般正则写法获得的item进行的方法,这是从皮皮哥那里得知的,亲测有效def parse_one_page(html):    pattern = re.compile('rsion_name".*?"content":(.*?),"username"', re.S)    items=re.findall(pattern,html)    #print(items)    for item in items:        item = item.encode('utf-8').decode('unicode_escape')        write_to_file(item)        print(item)        save_to_mongo(item)
三、代码
#config.pyMONGO_URL='localhost'MONGO_DB='meituan'MONGO_TABLE='meituan'
import requestsfrom requests.exceptions import RequestExceptionimport jsonimport refrom day31.config import *import pymongoclient=pymongo.MongoClient(MONGO_URL)db=client[MONGO_DB]base_url='http://comment.mobilem.360.cn/comment/getComments?callback=jQuery17209056727722758744_1502991196139&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start='def the_url(url):    try:        response = requests.get(url)        if response.status_code==200:            response.encoding='utf-8'            return response.text        return None    except RequestException:        print('请求出错')        return Nonedef the_total():    html=the_url(base_url)    pattern1 = re.compile('"total":(.*?),"messages"', re.S)    Total = re.findall(pattern1, html)    Total=int(':'.join(Total))    #print(type(Total))    show='总计评论%d条'%Total    print(show)    write_to_file(show)    return Totaldef parse_one_page(html):    pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)    items=re.findall(pattern2,html)    for item in items:        item = "{" + item + "}"        item=json.loads(item)        write_to_file(item)        print(item)        save_to_mongo(item)def save_to_mongo(result):    try:        if db[MONGO_TABLE].insert(result):            print('储存到MongoDB成功',result)    except Exception:        print('储存到MongoDB失败',result)def write_to_file(content):    with open('meituan_result.text','a',encoding='utf-8') as f:        f.write(json.dumps(content,ensure_ascii=False)+'\n')        f.close()def main():    Total=the_total()    Total=int(Total/10)+2    for i in range(Total):        url = base_url + str(i*10)        if the_url(url)!=None:            html=the_url(url)            parse_one_page(html)        else:            print('输完啦')    ps='PS:因为有些评论空,所以实际评论比抓取的少'   #这是我瞎猜的    write_to_file(ps)    print(ps)if __name__ == '__main__':    main()

四、最后得到的数据视图和文件

五、总结

1.程序报错很正常,不要一报错就问别人,先自己思考、百度

2.在数据类型处理方面的知识还要加强

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 源代码
    +关注

    关注

    94

    文章

    2922

    浏览量

    65983
  • python
    +关注

    关注

    51

    文章

    4657

    浏览量

    83379

原文标题:中午不知道吃什么?用Python爬取美团外卖评论帮你选餐!

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    直插大功率电感不知道怎么选就看这里

    直插大功率电感不知道怎么选就看这里 编辑:谷景电子 关于直插大功率电感的选型一直是一个难题,要想直插大功率电感的优势在电路中发挥着作用,那么选型这个环节是必不可少并且特别重要。如果你对直插大功率电感
    的头像 发表于 01-04 22:46 114次阅读

    7种MOSFET栅极电路的常见作用,不看不知道

    7种MOSFET栅极电路的常见作用,不看不知道
    的头像 发表于 12-15 09:46 263次阅读
    7种MOSFET栅极电路的常见作用,不看<b class='flag-5'>不知道</b>!

    揭秘pcb是什么物质:你不知道的“化学战士”

    揭秘pcb是什么物质:你不知道的“化学战士”
    的头像 发表于 12-14 10:27 325次阅读

    不知道的FPC,它的发展史竟然是这样的!

    不知道的FPC,它的发展史竟然是这样的!
    的头像 发表于 11-15 10:48 411次阅读

    Python商家数据,都是正规的养生会所_第6节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:18:44

    Python商家数据,都是正规的养生会所_第5节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:17:54

    Python商家数据,都是正规的养生会所_第4节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:17:04

    Python商家数据,都是正规的养生会所_第3节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:16:13

    Python商家数据,都是正规的养生会所_第2节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:15:23

    Python商家数据,都是正规的养生会所_第1节 #硬声创作季

    代码python
    充八万
    发布于 :2023年08月04日 20:14:33

    有熟悉NUC505的芯片吗?里面烧写码软加密了,想请问不知道是不能处理掉?

    有熟悉NUC505的芯片吗?里面烧写码软加密了,想请问不知道是不能处理掉!
    发表于 06-20 08:00

    盘点你不知道的电缆套管知识-科兰

    电缆套管又称保护管、导管,是在电气安装中用于保护电线、电缆布线的管道,允许电线、电缆的穿入与更换。电缆套管是电力工程中推广使用的一种新型套管材料。盘点你不知道的电缆套管知识,希望能够得到帮助。 电缆
    的头像 发表于 05-25 10:24 1026次阅读

    SD卡挂载完成,不知道有没有能够测试SD卡读写速度的例子?

    SD卡挂载完成,不知道有没有能够测试SD卡读写速度的例子?请知道的大侠赐教!!
    发表于 05-12 15:33

    pikascript移植报错不知道是哪里的问题?

    想在fm33lx基础上应用pikaScript做脚本开发,通过env添加了pikaScript的软件包,工程里也出现了对应的文件,但是在编译的时候提示错误,不知道哪里的问题,请大咖指教。
    发表于 05-05 11:49

    MDK下99%用户都不知道的万能printf方法

    本篇将介绍MDK下99%用户都不知道的万能printf方法。
    的头像 发表于 04-12 10:21 1029次阅读