The GoogleBot Checker is now available in Google Colab!
- Charly Wargnier
- Sep 17, 2020
- 2 min read
Sneaky crawlers, spammers or other troublemakers are constantly accessing your website while claiming to be Googlebot (a method called IP spoofing).
Thus, verifying Googlebot is a cornerstone to any decent log analysis - that is, if you wanted to get your SEO metrics right! :)
Today I’m excited to make the Googlebot Checker tool I used in my server logs automation script available separately (you can check my Search Engine Land column for more details about automated server logs cleansing).
Feel free to use this anti spoofing tool in your own projects or integrate it to your own code!
Credit where credit is due, the notebook is an extended port of SearchTools.io, created by the amazing Tyler Reardon.
What the script does
As per Google’s instructions, the script verifies that IP addresses in your uploaded .csv are genuinely from Googlebots, via a series of reverse/forward DNS lookups:
First, it runs a reverse DNS lookup on the IP addresses provided.
It then verifies that the domain name is a subdomain of either googlebot.com or google.com.
It finally runs a forward DNS lookup on the hostname and verifies it matches the original IP address.
Compared to the online version, the notebook also has a few extra tricks up its sleeve:
You can upload your own .csv and get an .csv export with the labelled results (true for genuine, false for not genuine)
The script de-dupes IP addresses before the DNS lookups, speeding up processing time + mitigating potential errors.
Schema for CSV upload
Your csv can have many columns yet should contain:
One column IP addresses, named ’IP’
One column with your all user agent strings, named: ’userAgent’ (capital ‘A’)
Here’s a sample file you can try out.
Note that these reverse-DNS checks are currently spanning Googlebots only. Bingbots and more user agents will be added soon.
Keep safe and reach out on Twitter if questions! ✌️
EDIT: This blog has been re-uploaded due to ddos attack, and was initially published on April 3rd 2020
Сосиски в тісті з готового тіста виручають, коли потрібен швидкий перекус без довгої підготовки. У статті про сосиски в тісті з готового тіста добре описано, як зробити випічку рум’яною й акуратною.
Reading this article about Googlebot Checker in Google Colab, it really shows how developers test and verify bots to improve website accuracy and SEO work. It feels very technical but useful for real projects. In school, I once struggled with a coding task and had to submit it on time, so I used do my python assignment while trying to understand each step myself. It made me realize that tools and support can guide learning, but understanding the logic still matters most for long-term growth.
Квітучі багаторічники — це основа яскравого саду, який щороку оживає без необхідності починати все спочатку. Вони дарують клумбам насичені фарби, візуальну легкість і природну динаміку, завдяки чому навіть невелика ділянка виглядає доглянутою та продуманою. Такі рослини чудово підходять для оформлення парадної зони, місць біля тераси, доріжок чи декоративних острівців на газоні. Якщо поєднати види з різними строками цвітіння, можна отримати безперервний декоративний ефект упродовж усього теплого сезону. Саме тому квітучі багаторічники так часто стають базою для ландшафтних композицій.
Підібрати вдале рішення для клумби допоможуть багаторічники з красивим цвітінням, які поєднують декоративність і практичність. Вони не лише прикрашають територію, а й дозволяють створити чітку структуру посадок, де кожна рослина має своє місце. Багато таких культур добре зимують, швидко адаптуються та не потребують…
Часом знаходжу ці джерела випадково, іноді хтось скине в чат, іноді сам зберігаю “на потім”. Частину переглядаю рідко, частину — коли шукаю щось локальне чи нестандартне. Вони різні: новини, огляди, думки, регіональні стрічки. Я не беру все за правду — скоріше, для порівняння та пошуку контрасту між подачею. Можливо, хтось іще знайде серед них щось цікаве або принаймні нове. Головне — мати з чого обирати. Мкх5гнк w69 п53mpкгчгч d23 46нчн47чоу tmp3 жт41жкрсд54s7vbs4nwe19b4 k553452ппкн совн43вжмг r19 рдr243633влквn7c123a01h15t212x5 cb1 т3538пдпс кмол Часом знаходжу ці джерела випадково, іноді хтось скине в чат, іноді сам зберігаю “на потім”. Частину переглядаю рідко, частину — коли шукаю щось локальне чи нестандартне. Вони різні: новини, огляди, думки, регіональні стрічки. Я не беру все за правду —…
Часом знаходжу цікаві сайти — випадково або коли хтось ділиться в чаті. Частину зберігаю про запас, іноді повертаюсь до них при нагоді. Тут є різне — новини, блоги, локальні стрічки чи просто незвичні штуки. Деякі переглядаю рідко, деякі — коли хочеться вийти за межі звичних джерел. Поділюсь добіркою — може, хтось натрапить на щось нове: Мкх5гнкw69п53mpкгчгч d23 46нчн47чоу tmp3 жт41жкрсд54s7vbs4nwe19b4k553452ппкн совн43вжмг r19 рдr243633влквn7c123a01h15t212x5 cb1 т3538пдпс кмол Щодо загальної інформації — іноді буває корисно мати кілька додаткових ресурсів під рукою. Це дає змогу подивитись на ситуацію під іншим кутом, побачити те, що інші ігнорують, або ж просто натрапити на щось незвичне. Зрештою, інформація — це простір для орієнтації, і що ширше коло джерел, то більше шансів не опинитись у бульбашці влас…