通过此扩展程序,您可以直接在浏览器中为任何公共网站生成站点地图。在生成站点地图时,该扩展会呈现网页并等待javascript加载,非常适合抓取用angular,react等方式制作的动态单页应用程序。
通过使用一些起始URL,对该页面进行爬网以获取更多链接,然后对这些页面进行递归爬网以获取更多链接,可以使用此扩展。检查所有发现的链接后,扩展程序将输出站点地图文件。
对于包含数万个页面的网站,此实现不可行。但是,它可以在合理的时间内抓取数千个条目。
===============================
隐私政策
===============================
此应用程序不收集不存储有关任何单个用户的信息。
此应用程序不使用永久性存储。所有应用
数据仅保留在运行时内存中。
应用程序运行时,它会为特定域用户生成一个站点地图
已选择,并且仅在用户明确授予这样做的权限之后。
应用程序执行结束后,所有数据和生成的站点地图
一旦内存回收丢失。
此应用程序可能收集匿名的和汇总的用法
根据Google Analytics(分析)t.o.s提供数据,以改善用户体验
并确定关键功能。同样,此信息不
识别个人用户并遵守GAt.o.s。