作为爬虫工程师就是要写出一些能够沿着网爬的”蜘蛛“程序,保存下来获得的信息。但每一个写爬虫的人都知道写一个爬虫大部分时间不是在代码上,基本上主要的时间都花费在了页面的解析上。所以有一套好用的工具可以极大节省劳动力,下面小编就给大家介绍六款爬虫工程师常用的chrome插件。
爬虫工程师常用的chrome插件一:XPath Helper
XPath Helper插件简介
xpath helper插件是一款免费的chrome爬虫网页解析工具。可以帮助用户解决在获取xpath路径时无法正常定位等问题。该插件主要能帮助你在各类网站上通过按shift键选择想要查看的页面元素来提取查询其代码,同时你还能对查询出来的代码进行编辑,而编辑出的结果将立即显示在旁边的结果框中。
XPath Helper插件功能
XPath Helper可以支持在网页点击元素生成xpath,整个抓取使用了xpath、正则表达式、消息中间件、多线程调度框架(参考)。xpath 是一种结构化网页元素选择器,支持列表和单节点数据获取,他的好处可以支持规整网页数据抓取。
如果我们要查找某一个、或者某一块元素的xpath路径,可以按住shift,并移动到这一块中,上面的框就会显示这个元素的xpath路径,右边则会显示解析出的文本内容,并且我们可以自己改动xpath路径,程序也会自动的显示对应的位置,可以很方便的帮助我们判断我们的xpath语句是否书写正确。
爬虫工程师常用的chrome插件二:Toggle JavaScript
Toggle JavaScript插件简介
Toggle JavaScript是一款可以帮助用户使用chrome插件来切换javascript运行的谷歌浏览器插件,在chrome中安装了Toggle JavaScript插件以后,用户就可以使用该插件的按钮,快速地切换chrome的javascript功能,当用户访问网页的时候,受到javascript的“骚扰”时,可以果断使用Toggle JavaScript禁用到js的运行。
Toggle JavaScript插件功能
1.全局JavaScript主开关
2.禁用JavaScript时可靠地重新加载页面
爬虫工程师常用的chrome插件三:FeHelper
FeHelper插件简介
WEB前端助手:FeHelper是一款chrome浏览器插件。包含一些前端实用的工具,如字符串编解码、代码美化、JSON格式化查看、二维码生成器、编码规范检测、栅格规范检测、网页性能检测、页面取色等web前端开发的常见功能。
FeHelper插件功能
1、字符串编解码(Unicode/UTF8/Base64/MD5)
2、代码美化工具(HTML/CSS/JS/XML/SQL)
3、代码压缩工具(HTML/CSS/JS)
4、Json串格式化(粘贴文本、手动格式化)
5、Json页面美化(页面自动检测并格式化,强制开启)
6、二维码生成器(支持当前页面生成QrCode)
7、页面取色工具(滑动鼠标随意取色)
8、Js正则表达式(正则测试、常用正则列表)
9、时间(戳)转换(Unix戳与本地时间的互转)
10、图片 Base64(任意图片转DataURI格式)
11、编码规范检测(HTML/CSS/JS规范检测)
12、页面性能检测(页面响应时间、Header监测)
13、Ajax调试功能(需在控制台中使用)
爬虫工程师常用的chrome插件四:User-Agent Switcher
User-Agent Switcher插件简介
User-Agent Switcher插件是一款可以使用Chrome浏览器访问网站的时候来制造一种其他浏览器正在访问该网站的一种“假象”。在开发者需要使用多种浏览器来对网站进行模拟访问的时候可以使用User-Agent Switcher插件在Chrome浏览器中完成全部的请求,用户只需要在谷歌浏览器中安装User-Agent Switcher插件就可以在不离开Chrome的过程中使用多种浏览器的代理模式来访问当前的网站。
爬虫工程师常用的chrome插件五:X-Forwarded-For Header
X-Forwarded-For Header插件简介
X-Forwarded-For Header插件是一个 HTTP 扩展头部,主要是为了让 Web 服务器获取访问用户的真实 IP 地址,通过此扩展,您可以快速更新X-Forwarded-For HTTP标头,以进行各种测试。
爬虫工程师常用的chrome插件六:SwitchyOmega
SwitchyOmega插件简介
SwitchyOmega是一个 Chrome浏览器用来切换和管理不同代理的chrome插件。该插件是一个代理配置管理的插件,就类似与IE里面的Internet选项的中的代理设置的功能一样。 SwitchyOmega是SwitchySharp 的升级版,可替代 SwitchyPlus 或 Proxy Switchy. SwitchyOmega 初次安装时会检查是否存在 SwitchySharp ,如果有的话则会自动升级设置,无须手动配置。如果您使用的是非谷歌应用商店版,或者无法自动升级,则可以手动在SwitchySharp导出设置文件后,在SwitchyOmega导入,可兼容配置。升级到SwitchyOmega后请禁用SwitchySharp。
SwitchyOmega插件功能
1、自动检测未加载的元素,并可通过弹出菜单一键设置使用代理。
2、支持需要用户名密码验证的代理服务器。
3、更灵活的代理配置:代理情景模式、多个自动切换模式以及多个规则列表。
4、新增多种切换条件类型,并改进原有的切换条件。
5、PAC 脚本生成和切换的性能优化。
6、崭新的选项页面和下拉菜单,用户体验更佳。
7、许多错误修复以及改进。测试更充分。
以上就是小编今天给大家介绍的全部内容,希望帮到有需要的小伙伴。