구글 검색결과에서 스팸 사이트가 발생하는 원인 및 해결법
뭐 저 해외 도메인 연결을 차단하고 그런 사람도 있는데 왜 이런게 발생하는지 알아보자.
우선 왜 이런걸 구글에서 거르지 못할까 그 이유를 간단하게 알아보면
1. 구글은 서치엔진에 등록된 사이트를 구글봇이 주기적으로 어떤 내용의 사이트인지 크롤링함
2. 즉 저 사이트는 구글봇이 보기에 게임패스 얼티밋 연장하는 내용의 문제없는 블로그임
3. 하지만 크롬으로 들어가면 좆같은 베팅 사이트로 연결됨
이는 간단한 기술로 이루어져 있는데
1. 접속한 브라우저의 UA가 구글봇이면 정상적인 블로그를 보여줌
2. 그 외 일반 브라우저는 베팅 사이트로 redirection 시킴
구글이 빨리 해결해줄까?
- 구글은 회사 문화가 시스템을 만들고 그걸 자동화하는 스타일이라 저 문제를 해결하는 프로그램을 만드는 식으로 해결할 가능성이 높음. 즉 구글봇으로 볼 때와 일반 크롬 브라우저로 볼 때 사이트가 많이 다르면 제재하는 시스템을 구축하겠지. 당연히 금방 안되고 그 마저도 또 다른 방법으로 우회할 가능성도 있음. 게다가 Bing + ChatGPT 때문에 검색 사업에 비상 걸린 구글이 여기에 리소스를 얼마나 투자할지도 의문시됨.
구글이 해결해 주는 동안 우회하려면 UA에 구글봇이라고 한 줄 추가해 주면 됨.
1. 우선 내 UA 확인하려면 google에 my useragent라고 검색
2. 구글봇의 UA 확인 (https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ko)
3. 내 UA에 구글봇의 UA 문구 추가
예)
PC면 (KHTML, like Gecko) 를 (KHTML, like Gecho; compatible; Googlebot/2. +http://www.google.com/bot.html) 로 변경
어려우면 그냥 UA 맨 뒤에 Googlebot 만 붙여도 무관함 (몇 개 사이트 테스트 해 보니 동일)
예)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Googlebot
4. 브라우저의 UA 변경하기
Dev Tools 쓰던가, 확장프로그램을 쓰던가 하면 됨
예를 들면 이런 거
5. 별첨
UA 에 따라 다른 내용을 보내주는 모습
- 크롬 UA는 zfsfs3dfd.com 으로 redirection 시키는 모습이 보인다.
- UA에 Googlebot 추가하면 정상적인 블로그가 나옴