特性 | 技术架构 | 快速开始 | 使用说明 | 免责声明 | 常见问题 | 学习交流
现在闲鱼出了网页版,基于uiautomator2的本项目可以废弃不用了,详情请使用闲鱼网页版
🚀「闲鱼APP数据爬虫」一个基于uiautomator2的闲鱼APP爬虫项目,严禁将所得数据商用! 本项目只供学习使用,作者不承担任何由此带来的法律风险和损失!如果本项目对你有用,点个Start,方便回顾知识~
- 支持任意关键词采集
- 支持数据导出Excel
- 支持自定义上滑次数
- Python3.6
- uiautomator2
- 全天候监控:捡漏能够24小时不间断监控闲鱼平台,确保用户能第一时间发现低价商品。
- 关键词自动捡漏:用户可以设置关键词,应用将自动筛选出含有这些关键词的低价商品。
- 尽情霸占发布者:一旦发现合适的商品,捡漏王能帮助用户迅速与发布者取得联系,提高交易成功率。
- 智能筛选商品:应用内置智能筛选机制,能过滤掉非目标商品,仅展示最符合用户需求的选项。
- 查看商品详细信息:用户可以快速查看商品的详细信息,帮助决策是否购买。
- 下单声音:捡漏王提供下单声音功能,在下单的时候有提醒。
- 钉钉推送:可以把目标商品推送到指定的钉钉上。
- 强聊:捡漏王重点强调其独特的服务功能,可以帮你和卖家无缝链接。
- 支持老板定制化需求:对于有特殊需求的商家,可提供定制化服务,满足不同用户的个性求。
- clone本项目代码
- 在项目根目录创建Python虚拟环境venv
cd xianyu_spider
pip install virtualenv
virtualenv venv
- 安装依赖库
pip install -r requirements.txt
- 本次使用的是uiautomator2和USB真机调试,请打开Android手机USB调试模式并连接到电脑
- 首次通过uiautomator2连接手机时,会自动在手机上安装一个小黄车APP
- 打开cmd输入
adb devices
获取设备ID
- 将设备ID输入xianyu.py的
d = u2.connect("设备ID")
中 - 运行
python xianyu.py
即可进行采集,如需更改采集数据,可更改main函数keyword即可main(keyword='餐饮券')
- 本次使用的是uiautomator2和USB真机调试,请打开手机USB调试模式并连接到电脑
- 本次只采集了每个商品的【标题、价格、图片】
- 如果想采集其他信息,可使用weditor进行调试,自行更改相应代码,命令行输入
weditor
自动打开调试辅助工具 - 程序运行完成后,会在当前目录下生成
YYYY-MM-dd结果.xlsx
电脑USB连接安卓设备;
1. 查看设备是否成功连接:adb devices
出现的真实设备名称在device前即连接成功;
2. 进入手机shell环境:adb shell
3. 赋予设备权限:chmod 775 /data/local/tmp/atx-agent
4. 后台启动atx-agent: /data/local/tmp/atx-agent server -d
如果输入adb devices
显示unauthorized表示usb调试模式授权有问题,按如下方式调整
1、手机里点击【撤销USB调试授权】
2、电脑上重启adb
adb kill-server
adb start-server
3、然后重新连接
请勿将xianyu_spider
应用到任何可能会违反法律规定和道德约束的工作中,请友善使用xianyu_spider
,遵守蜘蛛协议,不要将xianyu_spider
用于任何非法用途。如您选择使用xianyu_spider
即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。
扫码入群交流学习,如群二维码失效请加作者微信:FearlessMan888,备注:python群