SiteOne 爬虫的目的
我们多平台爬虫的主要目的是帮助网站所有者、开发人员、QA 工程师和 DevOps 找到弱点 并帮助在各个方面 提高他们网站的质量 —— 包括 SEO 、安全性 、性能 、可访问性 、社交媒体分享 、最佳实践 或 内容问题。
它具有广泛的设置选项，并以 清晰的结构化图形报告 的形式生成输出，或者以 文本 或 JSON 的形式输出以便进一步集成。
同时，这个工具还提供了其他非常有用的功能——它可以将整个网站转换为 离线/存档浏览形式 ，生成 网站地图 ，发送 电子邮件报告 ，并准备好进行其他功能的有效开发。从版本 1.0.7 开始，您可以使用通过安全唯一的 URL 上传和共享 HTML 报告 的选项。
典型用例
网站所有者或顾问
- 可以检查其网站的 构建质量 并考虑实施一些改进建议；
- 可以检查服务器端构建各个页面的 速度 ，例如 SLA 合同的参数是否符合；
- 可以快速发现 搜索引擎内容定义 方面的问题（重复的标题/描述，糟糕的标题结构等）；
- 为了存档和其他（例如法律）目的，可以创建一个功能性的 离线版本 的网站，该版本可以保存到 U 盘并从本地磁盘查看，完全不需要互联网。
开发者
- 可以检查其工作在许多领域的 质量 并找到一些被忽视的不完善之处；
- 可以有效地 对比优化前后 新版本发布的效果；
- 可以非常迅速地定位需要优化的 最慢页面 ，或者未被缓存且应当缓存的页面；
- 可以简单测试网站在其开发过程中关闭字体、图像、样式或 JavaScript 时的工作情况；
- 可以检查处于开发中的 开发者版本
http://localhost:PORT/或非公开的密码保护版本。
DevOps
- 可以作为 CI/CD 管道的一部分 测试整个网站的功能性；
- 可以发布后 预热网站的缓存 ，使得首批访客不必等待单个页面的生成；
- 可以测试 重负载下的网站性能 ，因为请求可以并行发起，带有任意数量的
workers（但请注意不要触发拒绝服务攻击）； - 可以测试使用的 防护机制对抗 DoS 攻击的有效性 （通常是速率限制和同时连接限制）。
QA 工程师
- 爬虫可以是测试整个网站和分析 其他工具未注意到的细节 的另一个有用的工具；
- 可以 保存历史报告 并跟踪性能、安全、可访问性、SEO 和其他所有参数如何随时间 演变；
- 可以 比较相同网站不同环境之间 （例如生产环境与暂存环境）或不同版本之间（新版本发布前后）的结果；
- 可以测试 重负载下网站的功能性 ，因为请求可以并行发起，带有任意数量的 workers 和每秒请求数（但请注意不要触发拒绝服务攻击）；
- 作为一名专业人士，他/她可以为这项工具 提出改进建议 以直接帮助他/她；这些改进建议的形式应是 功能请求 —— 真正的目标是创建一个非常有用和
