请选择 进入手机版 | 继续访问电脑版



吾爱汇站网 网站首页 站长资讯 查看内容

突破网站禁止访问妙招

2019-3-8 10:49| 发布者: 艾条的兔子| 查看: 858| 评论: 0|来自: 卢松松博客

摘要: 有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个 ...

有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。

所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个点,在菜单中选 Network conditions,然后将 User Agent 设置为 Googlebot 即可。

@tombkeeper


鲜花

握手

雷人

路过

鸡蛋

最新评论


返回顶部