![RabbitMQ[复盘]](https://cdn.jsdelivr.net/gh/LisianthusW/pic_bed@main/images/2024/07/17/17-54-55-image-20210717162752376-fb7887.png)
1.1概述在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了**系统的吞吐量。
1.1.1 QPS概念QPS即每秒查询率，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。每秒查询率：因特网上，经常用每秒查询率来衡量域名系统服务器的机器的性能，即为QPS。或者理解：每秒的响应请求数，也即是最大吞吐能力。
计算关系：QPS = 并发量 / 平均响应时间并发量 = QPS * 平均响应时间原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器 。
1.1.2PV UV PR① 什么是pv**PV(page view)，即页面浏览量，或点击量；通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。对pv的解释是，一个访问者在24小时(0点到24点 ...
1.自动部署mysql5.7
脚本功能：自动部署mysql5.7测试系统：CentOS7.6mysql安装文件：二进制包mysql下载地址：https://cdn.mysql.com/Downloads/MySQL-5.7/mysql-5.7.33-linux-glibc2.12-x86_64.tar.gz或者官网下载将本脚本和二进制包放在同一目录下，脚本会在本目录下创建mysql作为mysql安装目录本脚本默认会下载二进制包，如果自己上传，可以注释掉2020.11.10新增rpm包部署选项
脚本命令123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118 ...
app逆向课程：
环境搭建 & Java语法基础 & 安卓开发 & NDK
案例
平台：
Web框架
今日概要：app逆向的快速上手和必备环境搭建（上）。
安装模拟器（网易mumu）
抓包工具 charles 、Drony
反编译工具：jeb、jadx、GDA（Java代码）
1.安装模式器PC上的安卓模拟器有很多。
windows，逍遥、夜神、网易mumu 等。
mac，网易mumu。注意：暂不匹配mac的m1。
下载地址：https://mumu.163.com/mac/index.html
注意：安装后请开启root权限。
2.抓包工具 charles2.1 下载并安装
mac用户
1访问网址 https://xclient.info/s/charles.html 根据提示下载并破解。
windows用户：
123456下载地址：（ charles v4.5.6，大家也可去网上自行下载和破解 ） 链接: https://pan.baidu.com/s/1gedTGrFsB1SnNwTvPLoZPg 提取码: cjfe 注册码 R ...
一. Splashsplash是一个可以动态渲染js的工具. 有助于我们完成复杂的js内容加载工作. 你可以理解为另一个没有界面的selenium.
1.1 splash安装splash的安装过程十分复杂. 复杂到官方都不推荐你去手动安装它.
官方建议. 用docker去安装splash. 所以. 你需要先去安装docker. 但是docker这玩意在windows上支持非常不好. 各种各样的问题. 外加上后期我们要把爬虫部署到linux. 那干脆. 我们就安装一个linux. 在linux上搞docker是非常easy的.
有能力, 不怕苦的同学可以在windows上搞一个docker试试. 我这里就不带你们找坑踩了. 直接上Linux.
1.1.1安装VM
1.1.2 安装Linux
安装好的linux后,我们需要学会使用linux的一个工具. 叫yum, 我们需要用它来帮我们完成各种软件的安装. 十分的方便. 我们先用ifconfig来做一个测试.
123yu ...
一. 增量式爬虫 增量式爬虫, 顾名思义. 可以对网站进行反复抓取. 然后发现新东西了就保存起来. 遇到了以前抓取过的内容就自动过滤掉即可. 其核心思想就两个字. 去重. 并且可以反复去重. 今天运行一下. 明天再运行一下. 将不同的数据过滤出来. 相同的数据去除掉(不保存)即可.
此时, 我们以天涯为目标来尝试一下完成增量式爬虫.
spider:
12345678910111213141516171819202122232425262728293031323334353637383940414243import scrapyfrom redis import Redisfrom tianya.items import TianyaItemclass TySpider(scrapy.Spider): name = 'ty' allowed_domains = ['tianya.cn'] start_urls = ['http://bbs.tianya.cn/list-worldlook-1.shtml& ...
一. 使用常规Spider我们把目光对准汽车之家. 抓取二手车信息.
注意, 汽车之家的访问频率要控制一下. 要不然会跳验证的.
1DOWNLOAD_DELAY = 3
12345678910111213141516171819202122232425class ErshouSpider(scrapy.Spider): name = 'ershou' allowed_domains = ['che168.com'] start_urls = ['https://www.che168.com/beijing/a0_0msdgscncgpi1ltocsp100exx0/?pvareaid=102179#currengpostion'] def parse(self, resp, **kwargs): # print(resp.text) # 链接提取器 le = LinkExtractor(restrict_xpaths=("//ul[@class=& ...
模拟登录与中间件一. Scrapy处理cookie 在requests中我们讲解处理cookie主要有两个方案. 第一个方案. 从浏览器里直接把cookie搞出来. 贴到heades里. 这种方案, 简单粗暴. 第二个方案是走正常的登录流程. 通过session来记录请求过程中的cookie. 那么到了scrapy中如何处理cookie? 其实也是这两个方案.
首先, 我们依然是把目标定好, 还是我们的老朋友, https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919
这个url必须要登录后才能访问(用户书架). ==对于该网页而言==, 就必须要用到cookie了. 首先, 创建项目, 建立爬虫. 把该填的地方填上.
123456789101112import scrapyfrom scrapy import Request, FormRequestclass LoginSpider(scrapy.Spider): name = ' ...
Scrapy管道一. 关于管道我们已经可以从spider中提取到数据. 然后通过引擎将数据传递给pipeline, 那么在pipeline中如何对数据进行保存呢? 我们主要针对四种数据存储展开讲解.
前三个案例以http://datachart.500.com/ssq/为案例基础. 最后一个以https://www.tupianzj.com/bizhi/DNmeinv/为案例基础.
1. csv文件写入 写入文件是一个非常简单的事情. 直接在pipeline中开启文件即可. 但这里要说明的是. 如果我们只在process_item中进行处理文件是不够优雅的. 总不能有一条数据就open一次吧
1234567class CaipiaoFilePipeline: def process_item(self, item, spider): with open("caipiao.txt", mode="a", encoding='utf-8') as f: # 写入文件 ...
Scrapy 基本介绍与使用一, 爬虫工程化 在之前的学习中我们已经掌握了爬虫这门技术需要的大多数的技术点, 但是我们现在写的代码还很流程化, 很难进行商用的. 想要我们的爬虫达到商用级别, 必须要对我们现在编写的爬虫代码进行大刀阔斧式的重组, 已达到工程化的爬虫. 何为工程化, 就是让你的程序更加的有体系, 有逻辑, 更加的模块化.
就好比, 我们家里以前做过鞋子, 我妈妈给我做鞋, 她需要从画图纸到裁剪到最后的缝合, 一步一步的完成一双鞋子的制作. 这种手工鞋子如果每年做个几双, 没问题. 我妈妈辛苦一点, 也能搞定. 但是, 如果现在我想去售卖这个鞋子. 再依靠妈妈一双一双的缝制. 你不赔死, 也得让你妈打死. 为什么? 第一, 产能跟不上. 一个人的力量是有限的, 第二, 一个人要完整的把制作鞋子的工艺从头搞到尾. 就算你想招人分担一下. 貌似也不好找这样厉害的手艺人. 怎么办? 聪明的你可能已经想到了. 从头到尾完成一双鞋的人不好找. 那我就把这个工艺过程分开. 分成4份, 画图, 裁剪, 缝合, 验收. 招4个人. 每个人就负责一小部分. 并且这一小部分是很容 ...
