精华内容
下载资源
问答
  • 步骤: 1、将PC变成Wifi热点,手机连接到此热点 2、编写Python抓包/安装WireShark抓包
    步骤:

    1、将PC变成Wifi热点,手机连接到此热点 

         1、netsh wlan set hostednetwork mode=allow ssid=eofhot key=12345678
          2、在“网络连接”窗口中,右键单击已连接到Internet的网络连接,选择“属性”→“共享”,勾上“允许其他······连接(N)”

           3、PC启动该热点:netsh wlan start hostednetwork

    2、编写Python抓包/安装WireShark抓包


    更多:

    Python.pypcap/pcapy & dpkt -- Python抓包&解包(Python2.x)

    展开全文
  • 推荐Python大牛在线分享技术 扣qun:855408893 领域:web开发,爬虫,数据分析,数据挖掘,人工智能 零基础到项目实战,7天学习上手做项目 三.设置代理 首先连接同一局域网 配置代理 里面设置 Fiddler的...

    一.设置步骤

    • 打开Fiddler
    • Tools>options>https>Decrypt...以及Ignore server打钩
    • Tools>options>Connections>Allow.........打钩,并关闭options窗口
    • Tools>Hosts>点击Import Windows hosts files
    • 勾选Enable remapping ofrequests for…..
    • 点击save
    • 重启Fiddler

    二.安装安全证书

    • cmd运行IPconfig获取本机IPve地址
    • 浏览器输入本就地址:8888也就是Fiddler的地址
    • 点击FiddlerRoot certifcate下载
    • 运行安装下载文件即可
    
    推荐Python大牛在线分享技术 扣qun:855408893
    
    领域:web开发,爬虫,数据分析,数据挖掘,人工智能
    
    零基础到项目实战,7天学习上手做项目
    
    

    三.设置代理

    • 首先连接同一局域网
    • 配置代理里面设置Fiddler的地址

    四.手机安全证书安装(针对于不会自动安装的手机)

    IOS:设置 —> 通用 —> 关于本机 —> 受信任证书存储区,找到需要安装的证书,安装即可。

    注意:ios的安装完成需要进行信任:关于本机->证书信任设置->点进去把你自己安装的证书开关打开即可。

    ANDROID:设置 —> 安全 —> 从手机存储安装(或者是:设置 —> 其他设置 —> 设备与隐私 —> 从存储设备安装证书),找到需要安装的证书,安装即可。

    小米手机比较特殊:WLAN–>高级设置–>安装证书 需要输入安装凭据(锁屏密码)

    证书安装完成后,就可以抓取https的链接啦~

    展开全文
  • 3 http请求抓包不需要配置证书。https请求需要配置安全证书。打开花瓶。我们要抓取手机端,选择Proxy Settings,配置 Port 改为 8888 4开始配置证书:花瓶需要安装证书,手机端也需要安装证书...

    1 首先在电脑安装Charles花瓶。下载地址:https://www.zzzmode.com/mytools/charles/

    要求手机和电脑链接同一个网络。

    3 http请求抓包不需要配置证书。https请求需要配置安全证书。打开花瓶。我们要抓取手机端,选择Proxy Settings,配置 Port 改为 8888

    开始配置证书:花瓶需要安装证书,手机端也需要安装证书。

    弹出以下:


    这个窗口就是让你用你得手机去访问 chls.pro/ssl

    个地址去下载和安装证书。

    想要访问这个地址需要配置手机端得http代理:

    默认提供得地址是当前电脑连接得网线得IP地址,但是我们需要在手机端配置电脑当前连接得无限网得IP地址。

    例如:当前电脑连接了两个网络,一个网线,一个是无限网,网线得IP是172.18.44.225,无限网得IP地址是192.168.0.159。而要抓去手机请求包,要保证手机和电脑有同一个网络,所以手机端连接得是无限网192.168.0.159,最终手机端在设置http代理得时候,就需要设置192.168.0.159这个IP,而不能在手机端设置网线得IP。

    5  如何查看无限网得IP:cmd 输入命令 ipconfig

    6 配置手机端的ip  下载证书

    手机端http代理设置完毕,就可以使用手机端浏览器访问:chls.pro/ssl 在手机端下载和安装证书。同时要确保手机是信任这个证书得

    最后,当你使用手机端访问app得时候,花瓶第一次得时候就会弹出一个框,在询问是否允许拦截这个请求,你就点击 allow 允许即可。

     

    7  打开花瓶   点击按钮  来抓取手机端的请求

    展开全文
  • 第一个是手机代理IP和端口号!第二个是移动端证书下载网址 移动端证书配置 2.1 首先连接到电脑的WiFi(和电脑同一WiFi或电脑的热点都可以) 2.2 点击进行配置代理 ​最后点击存储,之后会出现PC端会这样提示,...
  • 本次学习了手机抓包的相关知识,了解了Charles-mitmproxy-Appium的基本使用,通过对当当图书评论的爬取,得以实践。 那么就让我们来看看当当图书「活着」的差评吧! / 01 / Charles Charles是一个APP抓包...

    在这个万物互联的时代,手机端(App)、电脑端(Web),连接着你我他。

     

    本次学习了手机抓包的相关知识,了解了Charles-mitmproxy-Appium的基本使用,通过对当当图书评论的爬取,得以实践。

     

    那么就让我们来看看当当图书「活着」的差评吧!

     

     

    / 01 / Charles

     

    Charles是一个APP抓包工具,与我之前最先使用的Filddler相似,可以得到手机App运行过程中发生的所有网络请求和响应内容。

     

    这里简单说一下安装。

     

    电脑端下载安装完Charles后,需要配置证书,最后开启SSL监听,这个具体大家自己自行百度。

     

    手机端则是需要与电脑在同一网络下,比如都连接家里的WIFI,然后在手机的WIFI高级选项里使用Charles代理,输入电脑的IP地址,端口8888,最后为证书命名。

     

    连好以后,手机打开当当App,到图书「活着」的差评页,不断向下滑动差评页面,便能在电脑上的Charles观察到下面的信息。

     

     

    将电脑上的信息与手机上的信息匹配一下。

     

     

    这样我们通过请求信息,就可以知道App评论的真正API接口了。

     

    不过呢有的时候会碰见App接口带有密匙的,我们不好确定出API接口,那么就轮到mitmproxy上场了。

     

     

    / 02 / mitmproxy

     

    mitmproxy也是用来抓包的,是一个控制台形式,我理解的就是没有UI界面,在命令行上展示的(windows上不能用,我瞎理解的...)。

     

    mitmproxy有两个关联组件,一个是mitmdump,是mitmproxy的命令行接口,可以对接Python脚本,用Python实现监听后的处理,也就是用脚本处理信息。

     

    另一个是mitmweb,为Web程序服务,本次不涉及。

     

    mitmproxy的安装同样需要证书配置,电脑端配一个,手机端也要配一个。

     

    这里有个坑,我的华为手机直接识别不了pem格式的文件,无法直接安装,还得从SD卡那才能安装,也就是有权限问题。

     

    手机WIFI代理设置和Charles差不多,只是端口需要改变,这里是8080,。

     

    然后命令行运行我都是在mitmdump.exe所在的文件夹开启的,实在是不想去搞那些烦人的环境变量。

     

    这里就直接讲mitmdump的应用,毕竟windows用不了mitmproxy。

     

     

    通过手动下滑差评页面,就能自动处理信息并存储。

     

     

    Python脚本如下,第一次深刻接触脚本大佬,以前还只是听说了游戏脚本而已。

     

    import json
    
    def response(flow):
        url = 'product.mapi.dangdang.com'
        page_size = 'page_size=15'
        # 对url进行筛选,只选取评论的url
        if url and page_size in flow.request.url:
            text = flow.response.text
            data = json.loads(text)
            for item in data['review_list']:
                # 获取用户昵称
                if len(item['cust_name']) > 0:
                    name = item['cust_name']
                else:
                    name = '无名'
                print(item['cust_name'])
                # 获取用户评分
                if len(item['score']) > 0:
                    score = str(item['score'])
                else:
                    score = '0'
                print(item['score'] + '\n')
                # 获取用户评论
                content = item['content'].replace(',', ',').replace('\n', '')
                print(item['content'] + '\n')
                # 获取用户评论时间
                creation_date = item['creation_date']
                print(item['creation_date'])
                # 获取有用数
                if len(str(item['total_helpful_num'])) > 0 :
                    total_helpful_num = str(item['total_helpful_num'])
                else:
                    total_helpful_num = '0'
                print(item['total_helpful_num'])
                # 获取无用数
                if len(str(item['total_useless_num'])) > 0 :
                    total_useless_num = str(item['total_useless_num'])
                else:
                    total_useless_num = '0'
                print(item['total_useless_num'])
                # 获取评论数
                if len(str(item['total_reply_num'])) > 0 :
                    total_reply_num = str(item['total_reply_num'])
                else:
                    total_reply_num = '0'
                print(item['total_reply_num'])
                print('\n')
                # 将获取信息写入csv文件
                with open('alive.csv', 'a+', encoding='utf-8-sig') as f:
                    f.write(name + ',' + score + ',' + content + ',' + creation_date + ',' + total_helpful_num + ',' + total_useless_num + ',' + total_reply_num + '\n')

    python

     

     

     

    那么我们现在已经实现了信息的获取和存储,是不是已经完成工作了呢?

     

    并不是,我们还要实现自动化,上面可是手动下滑页面啊!

     

    感谢程序让人解放双手,实现自动化,佩服佩服。

     

     

    / 03 / Appium

     

    Appium是移动端自动化测试工具,它可以模拟App内部的各种操作,本次用到就有「点击」和「下滑」。

     

    其实就跟selenium 一样,只不过一个是电脑端自动化,一个是手机端自动化。

     

    Appium安装挺复杂的,而且新版本的命令还不一样。

     

    比如下滑,已经不能使用swip,而是使用TouchAction。

     

    环境变量就是JDK,SDK等,坑太多,小伙伴慢慢体会...

     

    都准备好了之后,将手机和电脑通过数据线连接,打开USB调试,允许访问数据。

     

    用adb命令获取连接情况,及手机型号信息。

     

    用SDK包下的aapt命令获取APK的包名及入口名,这里不细说,有事找度娘。

     

    这样便能配置Appium参数了。

     

     

    点击蓝色按钮,手机便能自动启动当当App啦!

     

    接下来就是操作手机,然后点击Appium的刷新键,获取元素定位代码,这里就完全用Appium上给的定位,懒得想,毕竟对手机网页不是很懂...

    {  左右滑动切换图片  }

     

     

     

    最后就是使用Python代码驱动App啦。

     

    import time
    import random
    from appium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from appium.webdriver.common.touch_action import TouchAction
    from selenium.webdriver.support import expected_conditions as EC
    
    
    def main():
        # 设置驱动配置
        server = 'http://localhost:4723/wd/hub'
        desired_caps = {
            'platformName': 'Android',
            'deviceName': 'STF_AL00',
            'appPackage': 'com.dangdang.buy2',
            'appActivity': 'com.dangdang.buy2.StartupActivity'
        }
        driver = webdriver.Remote(server, desired_caps)
        # 这里获取一下手机屏幕实际大小,可以为设置滑动参数做参考
        size = driver.get_window_size()
        print(size)
        wait = WebDriverWait(driver, 60)
        # 因为要叫我切换地区,选择取消
        button_1 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/left_bt')))
        button_1.click()
        # 点击图书榜按钮
        button_2 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/index_icon_iv0')))
        button_2.click()
        # 点击图书「活着」区域块
        button_3 = wait.until(EC.presence_of_element_located((By.XPATH, '/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.support.v4.view.ViewPager/android.widget.RelativeLayout/android.widget.ListView/android.widget.LinearLayout[2]')))
        button_3.click()
        # 点击评论区域块
        button_4 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/product_component_book_score_ll')))
        button_4.click()
        time.sleep(5)
        # 点击差评按钮
        button_5 = wait.until(EC.presence_of_element_located((By.XPATH, '/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.support.v4.view.ViewPager/android.widget.LinearLayout/android.support.v4.view.ViewPager/android.widget.RelativeLayout/android.widget.LinearLayout/android.view.ViewGroup/android.widget.RelativeLayout[6]/android.widget.TextView')))
        button_5.click()
        # 向下滑动,y轴参数我随便选的,向上滑就对了
        while True:
            TouchAction(driver).press(x=515, y=1247).move_to(x=515, y=1026).release().perform()
            time.sleep(float(random.randint(5, 10)))
    
    
    if __name__ == '__main__':
        main()

     

     

    手机自动操作就在下面这个视频里,我录下来的(小程序识别)。

     

     

    最后成功存储数据。

     

     

     

    / 04 / 数据可视化

     

    词云代码如下。

     

    from wordcloud import WordCloud, ImageColorGenerator
    import matplotlib.pyplot as plt
    import pandas as pd
    import jieba
    
    df = pd.read_excel('alive.xlsx', header=None, names=["name", "score", "comment", "date", "up_number", "down_number", "reply_number"])
    
    text = ''
    for line in df['comment']:
        text += ' '.join(jieba.cut(line, cut_all=False))
    backgroud_Image = plt.imread('book.jpg')
    stopwords = set('')
    stopwords.update(['没有', '什么', '不是', '知道', '怎么', '就是', '本书', '当当', '这个 商品', '一个', '自己', '真的', '商品 不太好', '一本', '这样', '但是', '现在', '你们', '一直', '以后', '这个', '商品'])
    
    wc = WordCloud(
        background_color='white',
        mask=backgroud_Image,
        font_path='C:\Windows\Fonts\STZHONGS.TTF',
        max_words=2000,
        max_font_size=150,
        random_state=30,
        stopwords=stopwords
    )
    wc.generate_from_text(text)
    # 看看词频高的有哪些,把无用信息去除
    process_word = WordCloud.process_text(wc, text)
    sort = sorted(process_word.items(), key=lambda e:e[1], reverse=True)
    print(sort[:50])
    img_colors = ImageColorGenerator(backgroud_Image)
    wc.recolor(color_func=img_colors)
    plt.imshow(wc)
    plt.axis('off')
    wc.to_file("活着.jpg")
    print('生成词云成功!')

     

     

    最后生成差评词云,来看看大家怎么吐槽的。

     

     

    可以看出主要槽点就是「快递物流」「书本质量」「客服服务」上 。

     

    毕竟「活着」这本书,内容还是不错的,从中深深的体会到生活的不易~

    源码获取加群哦:850591259

     

    展开全文
  • 使用python+airtesr+无线模式控制手机 官方文档中,在airtest.readthedocs.io/zh_CN/lates…有一段介绍如何连接安卓手机的例子: 但是这个线接模板,无线模式的模板和这个不同,不需要手机串号,只需要ip和端口 ...
  • 在电脑上装了个手机模拟器,然后配置好证书之类的就开始抓包(百度配置fiddle) 其中遇见的主要难点: 分析请求 在返回的json数据中,分析请求的json数据,查找里面有没有想要的数据 然后把header复制下来...
  • 下载Fiddler 并安装 ... Tools->... pc端访问localhost:8888尝试下载证书并安装 ...使用cmd查看pc端所连接的wifi地址 ...5. 打开手机 点击WLAN,按住所连接的wifi,点击修改网络,设置代理地址的pc端连...
  • 我们经常在用的手机手机里面的数据,怎么对它抓包呢? 那么... 接下来就是学习 python 的正确姿势 我们要用到一款强大免费的抓包工具 Fiddler 你可以到 https://www.telerik.com/download/fiddler 去下载...
  • 哟~哟~哟~ hi起来 everybody ...今天要说说怎么在我们的手机抓包 通过 python爬虫入门01:教你在Chrome浏览器轻松抓包 我们知道了 HTTP 的请求方式 以及在 Chrome 中摸清了一些套路 ...
  • Python 爬虫、抓包

    千次阅读 2020-05-04 16:16:50
    爬虫就是模拟客户端(浏览器、电脑app、手机app)发送网路请求,获取相应,按照规则提取数据的程序。 模拟客户端发送网路请求:照着浏览器一模一样的请求,获取和浏览器一模一样的数据 爬虫的应用: 爬虫的数据 ...
  • 一、手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的...
  • 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 本文章来自腾讯云 作者:数据森麟 ...今天我们聊一款另外一款抓包工具:Jmeter
  • 一、使用 安装 pip install mitmproxy mitmproxy 是具有控制台界面的交互式,支持SSL的拦截代理 mitmdump是mitmproxy的命令行版本。... mitmweb 是一个基于web的界面...启动后设置电脑或手机代理(电脑ip,端口8888),安
  • 在项⽬根⽬录下新建 main.py⽂件,⽤于调试from scrapy import cmdline cmdline.execute('scrapy crawl douyu'.split()) 执⾏程序py2 main.py 获取完整Python爬虫视频教程请点:python网络爬虫课程。
  • IMAGES_STORE = "/Users/Power/lesson_python/douyuSpider/Images" # user-agent USER_AGENT = 'DYZB/2.290 (iPhone; iOS 9.3.4; Scale/2.00)' 4. pipelines.py import scrapy import os from scrapy....
  • 前言 本文的文字及图片来源于网络,仅供学习、交流使用,不... PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 以爬取斗鱼直播上的信息为例: URL地址:...
  • 今天要说说怎么在我们的手机抓包 我们知道了 HTTP 的请求方式 以及在 Chrome 中摸清了一些套路 但是 除了对数据进行解析之外 有时候我们想 对请求的数据或者响应的数据进行篡改 怎么做呢? 我们经常在用的手机 手机...
  • 注意:首先将电脑和手机连接到一个网路里 然后重启软件 第二步 根据提示,手机设置代理 配置完之后打开Safari浏览器: chls.pro/ssl 手机浏览器直接访问chls.pro/ssl **注意不需要加上IP和端口** 以下...
  • 今天要说说怎么在我们的 手机抓包 我们知道了 HTTP 的请求方式 以及在 Chrome 中摸清了一些套路 但是 Python资源共享群:484031800 除了对数据进行解析之外 有时候我们想 对请求的数据或者响应的数据进行 ...

空空如也

空空如也

1 2 3 4 5 ... 18
收藏数 345
精华内容 138
关键字:

python手机抓包

python 订阅