欢迎光临
我的个人博客网站

c#爬虫-selenium检测webdriver封爬虫的解决方法


背景

大家在使用Selenium + Chromedriver爬取网站信息的时候,以为这样就能做到不被网站的反爬虫机制发现。但是实际上很多参数和实际浏览器还是不一样的,只要网站进行判断处理,就能轻轻松松识别你是否使用了Selenium + Chromedriver模拟浏览器。其中

window.navigator.webdriver

就是很重要的一个。

问题窥探

正常浏览器打开是这样的

c#爬虫-selenium检测webdriver封爬虫的解决方法

 

 模拟器打开是这样的 

ChromeOptions options = null;             IWebDriver driver = null;             try             {                 options = new ChromeOptions();                 options.AddArguments("--ignore-certificate-errors");                 options.AddArguments("--ignore-ssl-errors");                  // options.AddExcludedArgument("enable-automation");                 //  options.AddAdditionalCapability("useAutomationExtension", false);                  var listCookie = CookieHelp.GetCookie();                 if (listCookie != null)                 {                     // options.AddArgument("headless");                 }                  // string ss = @"{ ""source"": ""Object.defineProperty(navigator, 'webdriver', { get: () => undefined})""}";                 //   options.AddUserProfilePreference("Page.addScriptToEvaluateOnNewDocument", new ssss() { source = " Object.defineProperty(navigator, 'webdriver', {   get: () => undefined  }) " });                  ChromeDriverService service = ChromeDriverService.CreateDefaultService(System.Environment.CurrentDirectory);                 service.HideCommandPromptWindow = true;                 driver = new ChromeDriver(service, options, TimeSpan.FromSeconds(120));                  ////session.Page.AddScriptToEvaluateOnNewDocument(new OpenQA.Selenium.DevTools.Page.AddScriptToEvaluateOnNewDocumentCommandSettings()                 ////{                 ////    Source = @"Object.defineProperty(navigator, 'webdriver', { get: () => undefined })"                 ////}                 //// );

c#爬虫-selenium检测webdriver封爬虫的解决方法

 

 

所以,如果网站通过js代码获取这个参数,返回值为undefined说明是正常的浏览器,返回true说明用的是Selenium模拟浏览器。

解决办法

那么对于这种情况,在爬虫开发的过程中如何防止这个参数告诉网站你在模拟浏览器呢?执行对应的js,改掉它的值。

 IJavaScriptExecutor js = (IJavaScriptExecutor)driver;   string returnjs = (string)js.ExecuteScript("Object.defineProperties(navigator, {webdriver:{get:()=>undefined}});");

运行效果

c#爬虫-selenium检测webdriver封爬虫的解决方法

 

 完美,达到预期效果。

赞(0) 打赏
未经允许不得转载:张拓的天空 » c#爬虫-selenium检测webdriver封爬虫的解决方法
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

专业的IT技术经验分享 更专业 更方便

联系我们本站主机

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏