侵权投诉

如何利用Python抓取用户发的话题

马哥Linux运维 2021-09-05 09:37 次阅读

大多数APP里面返回的是json格式数据,或者一堆加密过的数据 。这里以超级课程表APP为例,抓取超级课程表里用户发的话题。

1、抓取APP数据包

表单:

表单中包括了用户名和密码,当然都是加密过了的,还有一个设备信息,直接post过去就是。

另外必须加header,一开始我没有加header得到的是登录错误,所以要带上header信息。

2、登录

登录代码:

import urllib2from cookielib import CookieJarloginUrl = ‘http://120.55.151.61/V2/StudentSkip/loginCheckV4.action’headers = {‘Content-Type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,

‘User-Agent’: ‘Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)’,‘Host’: ‘120.55.151.61’,‘Connection’: ‘Keep-Alive’,‘Accept-Encoding’: ‘gzip’,‘Content-Length’: ‘207’,}loginData =

‘phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’cookieJar = CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))req = urllib2.Request(loginUrl, loginData, headers)loginResult = opener.open(req).read()print loginResult

登录成功 会返回一串账号信息的json数据

和抓包时返回数据一样,证明登录成功

3、抓取数据

用同样方法得到话题的url和post参数

下见最终代码,有主页获取和下拉加载更新。可以无限加载话题内容。

#!/usr/local/bin/python2.7# -*- coding: utf8 -*-“”“超级课程表话题抓取”“”import urllib2from cookielib import CookieJarimport json‘’‘ 读Json数据 ’‘’def fetch_data(json_data):

data = json_data[‘data’]timestampLong = data[‘timestampLong’]messageBO = data[‘messageBOs’]topicList = []for each in messageBO:topicDict = {}if each.get(‘content’, False):

topicDict[‘content’] = each[‘content’]topicDict[‘schoolName’] = each[‘schoolName’]topicDict[‘messageId’] = each[‘messageId’]topicDict[‘gender’] = each[‘studentBO’][‘gender’]topicDict[‘time’] = each[‘issueTime’]print each[‘schoolName’],

each[‘content’]topicList.append(topicDict)return timestampLong, topicList‘’‘ 加载更多 ’‘’

def load(timestamp, headers, url):headers[‘Content-Length’] = ‘159’loadData = ‘timestamp=%s&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’ % timestampreq = urllib2.Request(url, loadData, headers)loadResult = opener.open(req)

.read()loginStatus = json.loads(loadResult).get(‘status’, False)if loginStatus == 1:print ‘load successful!’timestamp, topicList = fetch_data(json.loads(loadResult))load(timestamp, headers, url)else:print ‘load fail’print loadResultreturn FalseloginUrl =

‘http://120.55.151.61/V2/StudentSkip/loginCheckV4.action’topicUrl =

‘http://120.55.151.61/V2/Treehole/Message/getMessageByTopicIdV3.action’headers = {‘Content-Type’: ‘application/x-www-form-urlencoded; charset=UTF-8’,‘User-Agent’: ‘Dalvik/1.6.0 (Linux; U; Android 4.1.1; M040 Build/JRO03H)’,‘Host’: ‘120.55.151.61’,‘Connection’: ‘Keep-Alive’,‘Accept-Encoding’: ‘gzip’,‘Content-Length’: ‘207’,}

‘’‘ ---登录部分--- ’‘’loginData = ‘phoneBrand=Meizu&platform=1&deviceCode=868033014919494&account=FCF030E1F2F6341C1C93BE5BBC422A3D&phoneVersion=16&password=A55B48BB75C79200379D82A18C5F47D6&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’cookieJar = CookieJar()opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookieJar))req = urllib2.Request(loginUrl, loginData, headers)loginResult = opener.open(req).read()loginStatus = json.loads(loginResult).get(‘data’, False)if loginResult:print ‘login successful!’else:print ‘login fail’print loginResult‘’‘ ---获取话题--- ’‘’topicData =

‘timestamp=0&phoneBrand=Meizu&platform=1&genderType=-1&topicId=19&phoneVersion=16&selectType=3&channel=MXMarket&phoneModel=M040&versionNumber=7.2.1&’headers[‘Content-Length’] = ‘147’topicRequest = urllib2.Request(topicUrl, topicData, headers)topicHtml = opener.open(topicRequest).read()topicJson = json.loads(topicHtml)topicStatus = topicJson.get(‘status’, False)print topicJsonif topicStatus == 1:print ‘fetch topic success!’timestamp, topicList = fetch_data(topicJson)load(timestamp, headers, topicUrl)

结果:

562957e4-0dd5-11ec-8fb8-12bb97331649.jpg

责任编辑:haq

原文标题:利用Python爬虫抓取手机APP的传输数据

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

紫光集团重整最新消息:已确认千亿债权规模

天眼查数据显示,紫光集团公司已经于近日正式开始重整,并已确定债权规模1081.81亿元。并且在未来集....
的头像 lhl545545 发表于 10-19 14:47 107次 阅读

华为刘康:出面向5.5G目标网络架构 以电信云原生为基础

[阿联酋,迪拜,2021年10月13日] 今日,第六届5G核心网峰会(5G Core Summit ....
的头像 华为云核心网 发表于 10-19 14:41 99次 阅读

Web Bluetooth可以应用在哪些方面

Web Bluetooth是一种JavaScript API。Web Bluetooth使用PC、C....
的头像 Dialog半导体公司 发表于 10-19 10:53 116次 阅读

人工智能如何影响工业物联网

■ 或许这就是为什么在没有IIoT提供关键帮助的情况下,企业很难在工业4.0带来的大规模数字转型中能....
的头像 贸泽电子 发表于 10-19 10:31 322次 阅读

雷诺汽车使用深度学习网络估计 NOx 排放量

雷诺汽车构建并训练了一个长短期记忆 (LSTM) 网络,该网络预测 NOx 水平的准确率达到了 85....
的头像 MATLAB 发表于 10-19 10:12 129次 阅读

技术和架构选择比以往更重要

在后疫情时代当企业开始尝试复兴和以全新的面貌示人,有一点变得显而易见:技术和架构选择比以往更重要。 ....
的头像 英特尔FPGA 发表于 10-19 09:56 116次 阅读

如何用所学的鸿蒙知识做一个小应用

   今时今日,不管是大人,还是小孩,都喜欢刷视频,生活中刷视频的 APP 也多得是,如:抖音,快手....
的头像 HarmonyOS技术社区 发表于 10-19 09:23 102次 阅读

我国特高压交直流混联大电网正式运行

近年来,我国逐步形成特高压交直流混联大电网。可满足大容量直流和大规模新能源接入后提高电网仿真精度和效....
的头像 lhl545545 发表于 10-18 17:34 510次 阅读

数据清洗的步骤是什么

数据清洗是指重复。多余的数据筛选和清除,完整地补充丢失的数据,纠正或删除错误的数据,最后整理成我们可....
发表于 10-18 17:05 15次 阅读

多功能移动环境监测仪的概述及特点

多功能移动环境监测仪介绍FT-BQX10 【风途】山东风途物联网科技有限公司气象站系列有FT-BQX....
发表于 10-18 16:57 53次 阅读

数据中台建设的价值和意义

让数据用起来,产生业务价值是数据中台建设的第一优先级。至于这个用起来的过程是否是自动化的,是否有大数....
发表于 10-18 16:52 16次 阅读

微信回应崩了 微信或将推出深度清理新功能

 今天上午微信大部分用户反映称微信图片打不开、已经无法收发图片、文件,目前微信官方已经对此做出回复称....
的头像 lhl545545 发表于 10-18 16:45 378次 阅读

字节跳动推出自主研发的BVC1S编解码器

近日,字节跳动公司宣布正式推出自主研发的关于屏幕内容视频编解码器BVC1S,编码速度在远程办公、云游....
的头像 lhl545545 发表于 10-18 11:44 222次 阅读

武汉大学发布全球首款基于RISC-V高精度室内定位音频芯片

近日武汉大学发布了全球首款基于RISC-V高精度室内定位音频芯片,首次突破了卫星信号精准测距等三大技....
的头像 lhl545545 发表于 10-18 10:58 521次 阅读

用在解析云端数据的源码是怎样的

用在解析云端数据的源码是怎样的?如何去实现这种源码呢? ...
发表于 10-18 09:00 0次 阅读

华为创新性地推出“5G新通话”解决方案

在北京国家会议中心举行的2021年中国国际信息通信展览会上,由中国通信企业协会发起的“ICT中国(2....
的头像 华为云核心网 发表于 10-15 17:27 369次 阅读

华为发布SD-WAN逐包负载分担方案 提升带宽利用率

华为SD-WAN逐包负载分担方案,提升带宽利用率至90%,让您的广域网络更加高效。
的头像 华为产品资料 发表于 10-15 16:44 282次 阅读

教大家如何减小微量水分策略的结果中的误差

微量水分测定仪采用卡尔——菲休库仑法,对不同物质进行微量水分测定,是一种可靠的方法,微量水分测定仪成....
发表于 10-15 16:39 19次 阅读

详解工业液体密度测试步骤

业液体通常需要进行液体密度的测试来加以控制品质。行业内的测试仪就是搏仕的液体密度测试仪了。下面将演示....
发表于 10-15 16:27 18次 阅读

音频电路原理(双音频解码电子电路/TDA2822双声道功放电路/音频放大处理电路)

双音多频信号解码电路是目前在按键电话(固定电话、移动电话)、程控交换机及无线通信设备中广泛应用的集成....
发表于 10-15 16:08 723次 阅读
音频电路原理(双音频解码电子电路/TDA2822双声道功放电路/音频放大处理电路)

浅析压敏(热敏)陶瓷粉末水分测试实验报告

厦门搏仕检测设备有限公司  www.lboshi.cn 18959266236 陶瓷粉末水分含量介绍....
发表于 10-15 15:57 19次 阅读

探究塑料颗粒密度测试仪实验报告

密度计品牌:搏仕 型号:BOS-300系列 测试品:塑料颗粒 塑料种类纷多,密度值各不相同,如PP料....
发表于 10-15 15:47 17次 阅读

塑料水分测定仪测试经验总结

厦门搏仕检测设备有限公司  www.lboshi.cn 18959266236 塑料水分测定仪针对不....
发表于 10-15 15:38 17次 阅读

剖析汽车塑料零配件水分测试仪实验

水分仪品牌:搏仕     型号:BOS-180A系列     测试品:汽车塑料片 塑料的含水量是影响....
发表于 10-15 15:23 14次 阅读

四维图新构建现实世界三维还原的能力赋能智能网联应用

实时构建现实世界三维还原,将物理世界数字化,是四维图新近20年来一直努力的方向,通过对物理世界的人、....
的头像 四维图新NavInfo 发表于 10-15 14:40 966次 阅读

关于Python18个你不知道的高效编程技巧

初识Python语言,觉得python满足了我上学时候对编程语言的所有要求。python语言的高效编....
的头像 马哥Linux运维 发表于 10-15 11:23 208次 阅读

完整关注跨模态转换器网络

舞蹈是几乎所有文化中的一种通用语言,也是如今许多人在当代媒体平台上表达自己的一种方式。跳舞的能力(组....
的头像 TensorFlow 发表于 10-15 10:25 137次 阅读

MySQL缓冲区设计介绍

1. Buffer 与 cache 的区别? Bbuffer 与 Cache 非常类似,因为它们都用....
的头像 数据分析与开发 发表于 10-15 09:50 115次 阅读

pandasgui安装与简单使用

pandasgui安装与简单使用 根据作者的介绍,pandasgui是用于分析 Pandas Dat....
的头像 数据分析与开发 发表于 10-15 09:46 116次 阅读

交换模式与路由模式有哪些异同点

交换模式是什么?路由模式又是什么? 交换模式与路由模式有哪些异同点? ...
发表于 10-15 09:35 0次 阅读

采集与分析用户行为数据的意义

本文属于用户行为数据领域入门级别文章,适合对用户行为数据略知一二但是对这个主题非常感兴趣的同学。 1....
的头像 数据分析与开发 发表于 10-15 09:32 153次 阅读

JD-BQX7 七参数便携式气象站功能有哪些

七参数便携式气象站功能有哪些?在清凉谷旅游风景区的监测使用,满足风景区气象监测服务的需求,使得清凉谷....
发表于 10-14 16:29 36次 阅读

智慧电梯的运用能解决行业哪些需求

电梯作为与百姓生活最为密切相关的特种设备,直接关系人民群众生命和财产安全,关系经济发展大局和社会和谐....
发表于 10-14 16:28 26次 阅读

远程开关定时器应该如何接线

远程开关定时器:4G网络信号,远程控制不限距离,无需下载APP,手机小程序实现远距离对开关的控制,网....
发表于 10-14 16:20 45次 阅读

IBM利用AI 驱动帮助气候和数据科学家分析海量环境数据集

IBM (纽交所证券代码:IBM) 发布了一套环境智能应用软件,利用 AI 帮助企业做好准备并应对可....
的头像 IBM中国 发表于 10-14 16:01 858次 阅读

食品检测设备有哪些,其用途是什么

食品检测设备【恒美】有哪些,随着国家经济的大幅提高以及居民消费水平的普遍提高,休闲食品的食品种类与数....
发表于 10-14 10:43 26次 阅读

食品检测仪的工作原理及使用方法

食品检测仪【恒美 HM-G1200】的操作原理及方法。食品检测仪【恒美 HM-G1200】因其体积小....
发表于 10-14 10:29 26次 阅读

设计基于STM32+机智云的手机APP点灯遇到哪些问题

设计基于STM32+机智云的手机APP点灯遇到哪些问题?怎样去解决?...
发表于 10-14 07:55 0次 阅读

TableSQL API和Pyhton上相关的性能优化

一、简介 1.14 新版本原本规划有 35 个比较重要的新特性以及优化工作,目前已经有 26 个工作....
的头像 数据分析与开发 发表于 10-13 17:25 156次 阅读

胶水固含量测试注意事项

厦门搏仕检测设备有限公司  www.lboshi.cn 18959266236 1、无论是高粘性胶水....
发表于 10-13 16:16 40次 阅读

神经网络复杂性的基本下界

最近,人们对深度神经网络产生了极大的兴趣,因为它们在计算机视觉等领域取得了突破性的成果。 尽管如此,....
的头像 人工智能与大数据技术 发表于 10-13 15:40 180次 阅读
神经网络复杂性的基本下界

将FSoE部署到安全系统时面临的挑战

今年,瑞萨将高度关注Functional Safety over EtherCAT (FSoE) 解....
的头像 瑞萨电子 发表于 10-13 14:23 138次 阅读

浅谈商业智能BI给企业带来的价值

整体分析问题BI可以将企业信息化的数据孤岛整合起来,提供一个全局的视图,让决策者可以更加全面地看待问....
发表于 10-13 13:57 32次 阅读

IP知识百科之带你全面了解VPN技术

VPN是什么 VPN(Virtual Private Network)是依靠Internet服务提供....
的头像 华为产品资料 发表于 10-13 11:11 189次 阅读

红外遥控这么简单让我看看还有谁不会

平时我们经常会用到遥控器,那么现在遥控器也分很多种类,有使用红外通信的,也有使用蓝牙,无线的等,今天....
的头像 单片机匠人 发表于 10-13 11:06 259次 阅读

eBPF技术应用云原生网络实践系列之基于socket的service

背景介绍 Kubernetes 中的网络功能,主要包括 POD 网络,service 网络和网络策略....
的头像 Linux阅码场 发表于 10-13 10:54 220次 阅读
eBPF技术应用云原生网络实践系列之基于socket的service

汽车以太网数据通道的研究和发现

大家好!之前小编给大家做了两期汽车以太网的介绍,反响特别好,今天我们继续进行汽车以太网的探讨吧~ 由....
的头像 罗森伯格汽车电子 发表于 10-13 10:32 186次 阅读
汽车以太网数据通道的研究和发现

用Python实现3D地图教程

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题....
的头像 马哥Linux运维 发表于 10-13 10:09 170次 阅读
用Python实现3D地图教程

关于Python对交通路口的红绿灯进行颜色检测

转自 |   Python联盟 1.视频读取 首先把视频读取进来,因为我测试的视频是4k的所以我用r....
的头像 新机器视觉 发表于 10-13 09:32 230次 阅读
关于Python对交通路口的红绿灯进行颜色检测

LiDAR测量物料体积能为行业带来哪些变化

在商业化竞争日益激烈的环境下,任何提高运营效率的机会对公司来说都是宝贵的。包括对原材料的精准测量和追....
的头像 广州虹科电子科技有限公司 发表于 10-13 09:11 187次 阅读

苹果即将推出App隐私报告功能

 苹果公司宣布称即将推出苹果App隐私的报告功能,最新App隐私报告功能可以展示各app访问位置方便....
的头像 lhl545545 发表于 10-12 17:18 404次 阅读

禹山便携式溶氧传感器的使用方法

禹山便携式溶氧传感器采用了国际领先的荧光寿命技术,其基于物理学中特定物质对活性荧光的猝熄原理。这种荧....
发表于 10-12 16:43 22次 阅读

如何制作数据可视化大屏

经常有小伙伴问,如何制作数据可视化大屏? 今天将手把手带你爬取奥运会相关信息,并利用 可视化大屏 为....
的头像 Linux爱好者 发表于 10-12 16:31 154次 阅读
如何制作数据可视化大屏

Python入门知识汇总

Python代码生成EXE文件的方法是什么?
发表于 10-11 06:00 0次 阅读

什么是Python中的流程控制?

什么是Python中的流程控制?
发表于 10-09 07:24 0次 阅读

ARM架构的数据类型定义是什么

ARM架构的数据类型定义是什么? 局部变量和全局变量是什么意思? ...
发表于 10-09 06:32 0次 阅读

常量和变量有哪些区别

引用和拷贝有什么区别? 常量和变量有哪些区别? ...
发表于 10-08 08:42 0次 阅读

基于机智云+Shineblink的智能宠物屋,智能投喂、自动清洁、APP远程控制

1.作品简介 目前饲养宠物的人越来越多,但绝大多数人每天都要工作,偶尔还需出差,短期内家中宠物无人照顾的问题成为了很多宠物...
发表于 09-30 17:34 1111次 阅读

Python提供了几个级别访问的网络服务呢

Python提供了几个级别访问的网络服务呢?
发表于 09-30 08:09 0次 阅读

VS2017是如何实现串口发送及接收数据的

VS2017是如何实现串口发送及接收数据的?有哪些操作步骤? ...
发表于 09-30 07:04 0次 阅读