1.Python3爬虫教程-Scapy详解
2.零基础用爬虫爬取网页内容（详细步骤+原理）
3.利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇，源码超详细教程
4.一篇文章教会你利用Python网络爬虫获取Mikan动漫资源
5.11《Python 原生爬虫教程》使用正则表达式进行页面提取
6.爬虫实战用Python采集任意小红书笔记下的统计评论，爬了10000多条，爬虫含二级评论！教程
Python3爬虫教程-Scapy详解
安装Scapy
可以通过命令行或在PyCharm中进行安装。源码在命令行中输入`pip install scapy`完成安装；在PyCharm中，统计使用宝塔安装源码选择`File->Setting->Python Interpreter`，爬虫然后在弹出的教程窗口中输入`pip install scapy`并执行。
创建爬虫工程
创建工程后，源码根目录下将自动生成`helloworld`文件夹。统计进入该文件夹。爬虫
编写Item类
Item用于存储爬取的教程数据，如爬取**资源时，源码需要包含**名称、统计年代、爬虫评分等信息。
设计Pipeline
Pipeline用于清理HTML数据，将所需信息存储至数据库、文件等介质，爬虫执行完毕后自动调用`process_item`方法。
配置Pipeline
可重写四个方法，实现特定功能。可根据需求定义多个Pipeline，并在`setting.py`中配置，权重越小的Pipeline优先级越高。
设置`setting.py`参数
解释几个重要参数，如是否启用本地缓存，是否启用随机User-Agent，配置User-Agent等。
下载器中间件
使用下载器中间件时需在`settings.py`中设置`DOWNLOADER_MIDDLEWARES`字典，并设置数字优先级，数字越小的中间件优先级越高。
自定义中间件
自定义中间件需实现`process_request`、`process_response`和`process_exception`三个重要函数。
创建爬虫
使用命令`cd`进入项目目录，然后使用`scrapy`命令创建爬虫文件。夺宝源码搭建`spiders`目录将生成新的爬虫文件。
配置爬虫类`scrapy.Spider`
必须定义爬虫名称、允许爬取的域名列表以及开始爬取的URL列表。自定义回调函数以处理返回的数据，还需设置日志处理和资源释放函数。
爬虫相关命令
爬虫教程至此结束，后续将详细讲解实例操作。敬请期待！
零基础用爬虫爬取网页内容（详细步骤+原理）
网络上有许多用 Python 爬取网页内容的教程，但一般需要写代码，没有相应基础的人要想短时间内上手，还是有门槛的。其实绝大多数场景下，用 Web Scraper （一个 Chrome 插件）就能迅速爬到目标内容，重要的是，不用下载东西，也基本不需要代码知识。 在开始之前，有必要简单了解几个问题。 a、爬虫是什么？ 自动抓取目标网站内容的工具。 b、爬虫有什么用？ 提高数据采集效率。应该没有人想让自己的手指不停的重复复制粘贴的动作，机械性的事情，就应该交给工具去做。快速采集数据，也是分析数据的基础。 c、爬虫的原理是什么？ 要了解这一点，需要先了解人类为什么能浏览网页。我们通过输入网址、关键字、点击链接等形式发送请求给目标计算机，然后将目标计算机的850新源码代码下载到本地，再解析/渲染成看到的页面。这就是上网的过程。 爬虫做的就是模拟这一过程，不过它对比人类动作飞快，且可以自定义抓取内容，然后存放在数据库中供浏览或下载。搜索引擎能够工作，也是类似原理。 但爬虫只是工具，要让工具工作起来，就得让爬虫理解你想要的是什么，这就是我们要做的事情。毕竟，人类的脑电波没法直接流入计算机。也可以说，爬虫的本质就是找规律。
Web Scraper插件的使用步骤： 1、在 Chrome 插件商店搜索 Web Scraper，点击「添加拓展程序」，在浏览器的插件栏里找到蜘蛛网图标。 2、打开要爬取的网页，例如豆瓣 Top 的 URL 是 movie.douban.com/top，同时按 option+command+i 或者 Windows 系统的 ctrl+shift+i 进入开发者模式，看到网页 HTML，点击 Web Scraper 图标进入爬虫页面。 3、创建爬虫：点击 create new sitemap 和 create sitemap，随便输入 sitemap name，如 dbtop，粘贴 start url，注意根据网页布局自定义 start url。确保 URL 能正确爬取所有页面的数据。 4、创建选择器：依次点击 Add new selector，电脑杀毒源码选择要爬取的元素，如排名、**名、评分、影评等。点击 Save selecting 保存选择器。 5、爬取数据：点击 sitemap，选择创建的爬虫，点击 scrape 进行爬取。设置请求间隔时间和延迟时间，默认值 ms，点击 Start sraping开始爬取。爬取结束后，数据会在 Web Scraper 页面显示。 6、预览数据：点击 refresh 预览爬取结果，检查数据是否正确。如有问题，返回选择器调整设置。 7、导出数据：点击 Export date as CSV，将数据以 CSV 格式下载。
Web Scraper 的使用步骤简单明了，适合初学者快速上手，尤其对于数据量不大，页面布局规则的网页。然而，不同网站的风格、元素布局、需求差异巨大，实际使用中需观察网站规律，灵活调整策略，才能高效采集数据。掌握爬虫原理和观察网站规律是指纹设计源码关键。对于更复杂的数据采集需求，如需特定条件下的加载、多级页面、等数据，需要更深入的学习和实践。Web Scraper 只是入门工具，理解爬虫原理和规律才是真正用好它的关键。
利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇，超详细教程
项目内容
案例选择商品类目：沙发；数量：共页个商品；筛选条件：天猫、销量从高到低、价格元以上。
以下是分析，源码点击文末链接
项目目的
1. 对商品标题进行文本分析，词云可视化。
2. 不同关键词word对应的sales统计分析。
3. 商品的价格分布情况分析。
4. 商品的销量分布情况分析。
5. 不同价格区间的商品的平均销量分布。
6. 商品价格对销量的影响分析。
7. 商品价格对销售额的影响分析。
8. 不同省份或城市的商品数量分布。
9. 不同省份的商品平均销量分布。
注：本项目仅以以上几项分析为例。
项目步骤
1. 数据采集：Python爬取淘宝网商品数据。
2. 数据清洗和处理。
3. 文本分析：jieba分词、wordcloud可视化。
4. 数据柱形图可视化barh。
5. 数据直方图可视化hist。
6. 数据散点图可视化scatter。
7. 数据回归分析可视化regplot。
工具&模块：
工具：本案例代码编辑工具Anaconda的Spyder。
模块：requests、retrying、missingno、jieba、matplotlib、wordcloud、imread、seaborn等。
原代码和相关文档后台回复“淘宝”下载。
一、爬取数据
因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次%爬取，所以，我增加了循环爬取，直至所有页爬取成功停止。
说明：淘宝商品页为JSON格式，这里使用正则表达式进行解析。
代码如下：
二、数据清洗、处理：
(此步骤也可以在Excel中完成，再读入数据)
代码如下：
说明：根据需求，本案例中只取了item_loc、raw_title、view_price、view_sales这4列数据，主要对标题、区域、价格、销量进行分析。
代码如下:
三、数据挖掘与分析：
1. 对raw_title列标题进行文本分析：
使用结巴分词器，安装模块pip install jieba。
对title_s（list of list格式）中的每个list的元素（str）进行过滤，剔除不需要的词语，即把停用词表stopwords中有的词语都剔除掉：
为了准确性，这里对过滤后的数据title_clean中的每个list的元素进行去重，即每个标题被分割后的词语唯一。
观察word_count表中的词语，发现jieba默认的词典无法满足需求。
有的词语（如可拆洗、不可拆洗等）却被cut，这里根据需求对词典加入新词（也可以直接在词典dict.txt里面增删，然后载入修改过的dict.txt）。
词云可视化：
安装模块wordcloud。
方法1：pip install wordcloud。
方法2：下载Packages安装：pip install 软件包名称。
软件包下载地址：lfd.uci.edu/~gohlke/pyt...
注意：要把下载的软件包放在Python安装路径下。
代码如下：
分析
1. 组合、整装商品占比很高；
2. 从沙发材质看：布艺沙发占比很高，比皮艺沙发多；
3. 从沙发风格看：简约风格最多，北欧风次之，其他风格排名依次是美式、中式、日式、法式等；
4. 从户型看：小户型占比最高、大小户型次之，大户型最少。
2. 不同关键词word对应的sales之和的统计分析：
（说明：例如词语‘简约’，则统计商品标题中含有‘简约’一词的商品的销量之和，即求出具有‘简约’风格的商品销量之和）
代码如下：
对表df_word_sum中的word和w_s_sum两列数据进行可视化。
（本例中取销量排名前的词语进行绘图）
由图表可知：
1. 组合商品销量最高；
2. 从品类看：布艺沙发销量很高，远超过皮艺沙发；
3. 从户型看：小户型沙发销量最高，大小户型次之，大户型销量最少；
4. 从风格看：简约风销量最高，北欧风次之，其他依次是中式、美式、日式等；
5. 可拆洗、转角类沙发销量可观，也是颇受消费者青睐的。
3. 商品的价格分布情况分析：
分析发现，有一些值太大，为了使可视化效果更加直观，这里我们选择价格小于的商品。
代码如下：
由图表可知：
1. 商品数量随着价格总体呈现下降阶梯形势，价格越高，在售的商品越少；
2. 低价位商品居多，价格在-之间的商品最多，-之间的次之，价格1万以上的商品较少；
3. 价格1万元以上的商品，在售商品数量差异不大。
4. 商品的销量分布情况分析：
同样，为了使可视化效果更加直观，这里我们选择销量大于的商品。
代码如下：
由图表及数据可知：
1. 销量以上的商品仅占3.4%，其中销量-之间的商品最多，-之间的次之；
2. 销量-之间，商品的数量随着销量呈现下降趋势，且趋势陡峭，低销量商品居多；
3. 销量以上的商品很少。
5. 不同价格区间的商品的平均销量分布：
代码如下：
由图表可知：
1. 价格在-之间的商品平均销量最高，-之间的次之，元以上的最低；
2. 总体呈现先增后减的趋势，但最高峰处于相对低价位阶段；
3. 说明广大消费者对购买沙发的需求更多处于低价位阶段，在元以上价位越高平均销量基本是越少。
6. 商品价格对销量的影响分析：
同上，为了使可视化效果更加直观，这里我们选择价格小于的商品。
代码如下：
由图表可知：
1. 总体趋势：随着商品价格增多其销量减少，商品价格对其销量影响很大；
2. 价格-之间的少数商品销量冲的很高，价格-之间的商品多数销量偏低，少数相对较高，但价格以上的商品销量均很低，没有销量突出的商品。
7. 商品价格对销售额的影响分析：
代码如下：
由图表可知：
1. 总体趋势：由线性回归拟合线可以看出，商品销售额随着价格增长呈现上升趋势；
2. 多数商品的价格偏低，销售额也偏低；
3. 价格在0-的商品只有少数销售额较高，价格2万-6万的商品只有3个销售额较高，价格6-万的商品有1个销售额很高，而且是最大值。
8. 不同省份的商品数量分布：
代码如下：
由图表可知：
1. 广东的最多，上海次之，江苏第三，尤其是广东的数量远超过江苏、浙江、上海等地，说明在沙发这个子类目，广东的店铺占主导地位；
2. 江浙沪等地的数量差异不大，基本相当。
9. 不同省份的商品平均销量分布：
代码如下：
热力型地图
源码：Python爬取淘宝商品数据挖掘分析实战
一篇文章教会你利用Python网络爬虫获取Mikan动漫资源
获取Mikan动漫资源的Python爬虫实战
本文将指导你如何利用Python编写网络爬虫，从新一代动漫下载站Mikan Project获取最新动漫资源。目标是通过Python库requests和lxml，配合fake_useragent，实现获取并保存种子链接。
首先，项目的关键在于模拟浏览器行为，处理下一页请求。通过分析网页结构，观察到每增加一页，链接中会包含一个动态变量。使用for循环构建多个请求网址，进行逐一抓取。
在抓取过程中，注意反爬策略，如设置常规的/）。使用SDK Manager.exe安装工具，选择需要的工具，如Build-tools和特定Android版本，同时勾选Extras中的选项，最后点击Install安装。注意，安装过程可能持续数小时。配置环境变量，设置ANDROID_HOME为sdk安装目录，并将平台工具和工具路径添加到Path环境变量中。
1.3 Fiddler安装
直接从官网下载安装（telerik.com/download/fi...）以获取puters connect选项开启。
2.2 模拟器配置
在模拟器设置中，手动更改代理设置，输入本机IP和Fiddler端口，完成与Fiddler的代理连接。
三、移动端自动化控制
3.1 APK包名获取
通过adb命令获取apk包名，确保adb服务启动并连接模拟器，然后在模拟器中获取所需app的包名和Activity。
3.2 Appium使用
使用appium的python包，启动appium服务，编写示例代码操作模拟器，并使用uiautomatorviewer获取元素的Xpath路径。
四、利用mitmproxy抓取存储数据
4.1 基本原理
mitmproxy提供命令行接口mitmdump，用于处理抓取的数据，并将其存储到数据库中，同时支持Python脚本处理请求和响应。
4.2 抓取步骤
使用fiddler分析请求，然后通过mitmdump拦截并保存数据至MySQL数据库。
五、APK脱壳反编译
5.1 脱壳
使用Xposed框架安装FDex2工具，通过Hook ClassLoader方法脱壳APK。推荐从网络下载并安装FDex2工具。
5.2 APK反编译
使用apktool反编译apk文件以获取静态资源，而dex2jar则将.dex文件转换为Java源代码。此过程需谨慎处理多个.dex文件。
5.3 JAD-反编译class文件
借助GitHub上的JAD工具将.class文件反编译为Java源代码，便于阅读和理解。
