Для защиты сайтов клиентов от агрессивного сканирования, сбора контента, спама и типовых атак на уровне веб-сервера применяются фильтры безопасности. Правила подобраны так, чтобы не мешать работе большинства CMS и фреймворков (WordPress, Joomla, Drupal, Laravel, Bitrix, OpenCart и др.).
Ниже описаны применяемые ограничения, примеры работы правил и список блокируемых ботов.
СОДЕРЖАНИЕ
Применяемые фильтры
На уровне Nginx применяются следующие ограничения:
- Блокировка XML-RPC (кроме локальных запросов)
- Запрет доступа к скрытым файлам и директориям (кроме .well-known)
- Блокировка чувствительных файлов конфигурации и документации
- Запрет выполнения скриптов в директориях загрузок
- Фильтрация очевидных SQL-инъекций в URI
- Блокировка типичных путей сканеров и установщиков
- Блокировка известных нежелательных ботов по User-Agent
Примеры работы правил
1. Бот с заблокированным User-Agent
GET / HTTP/1.1
Host: example.com
User-Agent: Mozilla/5.0 (compatible; AhrefsBot/7.0)
Результат: 403 Forbidden (сработал if ($bad_bot)).
2. Попытка выполнить PHP в uploads
GET /wp-content/uploads/2024/shell.php HTTP/1.1
Host: example.com
Результат: соединение закрывается (444).
3. Запрос к скрытому файлу
GET /.env HTTP/1.1
Host: example.com
Результат: соединение закрывается (444).
4. Подозрительный URI (SQLi-паттерн)
GET /index.php?id=1%20union%20select%201,2,3 HTTP/1.1
Host: example.com
Результат: соединение закрывается (444).
5. Легитимный запрос (не блокируется)
GET /catalog/product?id=42 HTTP/1.1
Host: example.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/120.0
Результат: запрос проходит дальше к приложению.
Блокировка ботов
Блокируются User-Agent агрессивных краулеров, SEO-сканеров и инструментов поиска уязвимостей. AI-краулеры в список не входят. Списки по категориям:
SEO-сканеры и анализаторы ссылок (35)
- AhrefsBot
- BacklinkCrawler
- BLEXBot
- BuiltWith
- DomainCrawler
- DomainStatsBot
- Dotbot
- LinkpadBot
- Majestic SEO
- Majestic-SEO
- Majestic12
- MJ12bot
- OnCrawl
- OpenLinkProfiler
- Petalbot
- Rogerbot
- SearchmetricsBot
- Seekport
- SeekportBot
- SemrushBot
- SemrushBot-BA
- SemrushBot-FT
- SemrushBot-OCOB
- SemrushBot-SI
- SemrushBot-SWA
- SenutoBot
- SeobilityBot
- SEOkicks
- SEOkicks-Robot
- SEOlyticsCrawler
- SEOprofiler
- SEOstats
- serpstatbot
- SISTRIX
- SiteAuditBot
Сканеры уязвимостей и инструменты взлома (22)
- Acunetix
- CensysInspect
- Dirbuster
- Fimap
- Havij
- Jbrofuzz
- leakix
- Masscan
- muhstik-scan
- Nessus
- Nikto
- Nmap
- Nuclei
- OpenVAS
- Openvas
- Shodan
- Sqlmap
- sysscan
- Whatweb
- WPScan
- zgrab
- ZmEu
Агрессивные загрузчики и копировщики сайтов (18)
- aria2
- FlashGet
- GetRight
- HTTrack
- LeechGet
- Mass Downloader
- Offline Explorer
- Offline Navigator
- ReGet
- SiteSucker
- Teleport
- TeleportPro
- WebCopier
- WebStripper
- WebSucker
- WebWhacker
- WebZIP
- WinHTTrack
Прочие нежелательные боты (613)
- 1h4x.com
- 360Spider
- 404checker
- 404enemy
- 80legs
- Abonti
- Aboundex
- Aboundexbot
- ADmantX
- adscanner
- AdsTxtCrawlerTP
- AfD-Verbotsverfahren
- Alexibot
- ALittle Client
- Aliyun
- AliyunSecBot
- Alligator
- AllSubmitter
- AlphaBot
- Anarchie
- Anarchy
- Anarchy99
- Ankit
- Anthill
- Apexoo
- archive.org_bot
- arquivo-web-crawler
- arquivo.pt
- Aspiegel
- ASPSeek
- Asterias
- Attach
- autoemailspider
- awario.com
- AwarioBot
- AwarioRssBot
- AwarioSmartBot
- BackDoorBot
- Backlink-Ceck
- backlink-check
- BacklinksExtendedBot
- BackStreet
- BackWeb
- Badass
- Bandit
- Barkrowler
- BatchFTP
- Battleztar Bazinga
- BBBike
- BDCbot
- BDFetch
- BetaBot
- Bigfoot
- Bitacle
- Black Hole
- Blackboard
- BlackWidow
- Blow
- BlowFish
- Boardreader
- Bolt
- BorneoBot
- BotALot
- Brandprotect
- Brandwatch
- Buck
- Buddy
- BuiltBotTough
- Bullseye
- BunnySlippers
- BuzzSumo
- cah.io.community
- Calculon
- CATExplorador
- CazoodleBot
- Cegbfeieh
- check1.exe
- CheeseBot
- CherryPicker
- CheTeam
- ChinaClaw
- Chlooe
- Citoid
- Claritybot
- clark-crawler
- Cliqzbot
- Cloud mapping
- CMS-Security-Auditor
- coccocbot
- Cocolyzebot
- CODE87
- Cogentbot
- cognitiveseo
- Collector
- com.plumanalytics
- Copier
- CopyRightCheck
- Copyscape
- Cosmos
- Craftbot
- crawl.sogou.com
- crawler.feedback
- crawler4j
- Crawling at Home Project
- CrazyWebCrawler
- Crescent
- CrunchBot
- CSHttp
- Curious
- Custo
- CyotekWebCopy
- damnBot
- DatabaseDriverMysqli
- DataCha0s
- dataforseo.com
- dataforseobot
- dataprovider
- DBLBot
- demandbase-bot
- Demon
- Deusu
- Devil
- Digincore
- DigitalPebble
- DIIbot
- Disco
- Discobot
- Discoverybot
- Dispatch
- DittoSpyder
- DnBCrawler-Analytics
- DnyzBot
- DomainAppender
- Domains Project
- DomainSigmaCrawler
- domainsproject.org
- DomCopBot
- Download Wonder
- Dragonfly
- Drip
- DSearch
- DTS Agent
- EasyDL
- Ebingbong
- eCatch
- ECCP
- Ecxi
- EirGrabber
- EMail Siphon
- EMail Wolf
- EroCrawler
- evc-batch
- everyfeed-spider
- Evil
- Exabot
- Express WebPictures
- ExtLinksBot
- Extractor
- ExtractorPro
- Extreme Picture Finder
- EyeNetIE
- Ezooms
- FacebookBot
- facebookscraper
- fasthttp
- FDM
- FemtosearchBot
- FHscan
- Firefox/7.0
- Flunky
- Foobot
- Freeuploader
- FrontPage
- Fuzz
- FyberSpider
- Fyrebot
- G-i-g-a-b-o-t
- GalaxyBot
- GeedoProductSearch
- Genieo
- GenomeCrawlerd
- GermCrawler
- Getintent
- GetWeb
- Gigabot
- Go!Zilla
- Go-Ahead-Got-It
- gopher
- Gotit
- GoZilla
- Grabber
- GrabNet
- Grafula
- GrapeFX
- GrapeshotCrawler
- greenwich&lewisham
- GridBot
- GT::WWW
- Haansoft
- HaosouSpider
- Harvest
- HEADMasterSEO
- heritrix
- Heritrix
- Hloader
- HMView
- HonoluluBot
- HTMLparser
- HTTP::Lite
- Humanlinks
- HybridBot
- Iblog
- Id-search
- IDBot
- IDBTE4M
- IlseBot
- Image Fetch
- Image Sucker
- imagesift.com
- ImagesiftBot
- IndeedBot
- Indy Library
- InfoNaviRobot
- Information Security Team InfraSec Scanner
- InfoTekies
- InfraSec Scanner
- instabid
- Intelliseek
- InterGET
- Internet Ninja
- InternetMeasurement
- InternetSeer
- internetVista monitor
- ips-agent
- Iria
- IRLbot
- isitwp.com
- Iskanie
- IstellaBot
- iubenda-radar
- JamesBOT
- JennyBot
- JetCar
- Jetty
- JikeSpider
- JOC Web Spider
- Joomla
- Jorgee
- JustView
- Jyxobot
- Kenjin Spider
- Keybot Translation-Search-Machine
- Keyword Density
- Kinza
- Kozmosbot
- l9scan
- Lanshanbot
- Larbin
- Leap
- LeechFTP
- LexiBot
- Lftp
- libredtail-http
- LibWeb
- Libwhisker
- LieBaoFast
- Lightspeedsystems
- Likse
- Linkbot
- linkdexbot
- LinkextractorPro
- linkfluence
- LinkScan
- LinksManager
- LinkWalker
- LinqiaMetadataDownloaderBot
- LinqiaRSSBot
- LinqiaScrapeBot
- Lipperhey
- Lipperhey Spider
- litellm-recon
- Litemage_walker
- Lmspider
- LNSpiderguy
- Ltx71
- lwp-request
- lwp-trivial
- LWP::Simple
- Mag-Net
- Magnet
- magpie-crawler
- Mail.RU_Bot
- MarkMonitor
- MarkWatch
- Mata Hari
- MauiBot
- Mb2345Browser
- MeanPath Bot
- Meanpathbot
- meanpathbot
- Mediatoolkitbot
- mediawords
- MegaIndex.ru
- Metauri
- MFC_Tear_Sample
- MicroMessenger
- Microsoft Data Access
- Microsoft URL Control
- MIDown tool
- MIIxpc
- Minefield
- Mister PiX
- Moblie Safari
- Mojeek
- Mojolicious
- Morfeus Fucking Scanner
- Mozlila
- MQQBrowser
- Mr.4x3
- MSFrontPage
- MSIECrawler
- Msrabot
- MTRobot
- Musobot
- Name Intelligence
- Nameprotect
- Navroad
- NearSite
- Needle
- Net Vampire
- NetAnts
- Netcraft
- netEstate NE Crawler
- NetLyzer
- NetMechanic
- NetSpider
- Nettrack
- Netvibes
- NetZIP
- NextGenSearchBot
- Nibbler
- NICErsPRO
- Niki-bot
- NimbleCrawler
- Nimbostratus
- Ninja
- NPbot
- Nutch
- oBot
- Octopus
- Odin
- omgili
- opendirme-credhunt
- Openfind
- OrangeBot
- OrangeSpider
- OutclicksBot
- OutfoxBot
- Page Analyzer
- page scorer
- PageAnalyzer
- PageGrabber
- PageScorer
- PageThing.com
- Pandalytics
- Panscient
- Papa Foto
- Pavuk
- pcBrowser
- PECL::HTTP
- PeoplePal
- PHPCrawl
- Pi-Monster
- Picscout
- Picsearch
- PictureFinder
- Piepmatz
- Pimonster
- Pixray
- PleaseCrawl
- plumanalytics
- Pockey
- POE-Component-Client-HTTP
- polaris version
- probe-image-size
- Probethenet
- ProPowerBot
- ProWebWalker
- Proximic
- Psbot
- Pu_iN
- Pump
- PxBroker
- PyCurl
- QueryN Metasearch
- Quick-Crawler
- Rainbot
- RankActive
- RankActiveLinkBot
- RankFlex
- RankingBot
- RankingBot2
- Rankivabot
- RankurBot
- Re-re
- RealDownload
- Reaper
- RebelMouse
- Recorder
- RedesScrapy
- RepoMonkey
- Ripper
- ripz
- RocketCrawler
- RSSingBot
- s1z.ru
- SalesIntelligent
- satoristudio.net
- SBIder
- scalaj-http
- scan.lol
- ScanAlert
- Scanbot
- ScoutJet
- Scrapy
- Screaming
- ScreenerBot
- ScrepyBot
- Searchestate
- SEBot-WA
- SemanticJuice
- Semrush
- SentiBot
- seobility
- SeoCherryBot
- seocompany.store
- SEOlyt
- Seomoz
- seoscanners
- SeoSiteCheckup
- seostar
- sexsearcher
- Siphon
- Site Sucker
- Sitebeam
- sitechecker.pro
- SiteCheckerBotCrawler
- SiteExplorer
- Siteimprove
- SiteLockSpider
- siteripz
- SiteSnagger
- Sitevigil
- SlySearch
- SMA032F
- smart-seo-tools.sbs
- SmartDownload
- SMARTSEO-checker
- SMTBot
- Snake
- Snapbot
- Snoopy
- SocialRankIOBot
- Sociscraper
- Sogou web spider
- sogouspider
- Sosospider
- Sottopop
- sp_auditbot
- SpaceBison
- Spammen
- SpankBot
- Spanner
- Spbot
- Spider_Bot
- Spinn3r
- SplitSignalBot
- SputnikBot
- spy4x-domain-scanner
- spyfu
- Sqlworm
- Sqworm
- Steeler
- Stripper
- Sucker
- Sucuri
- SuperBot
- SuperHTTP
- Surfbot
- SurveyBot
- Suzuran
- Swiftbot
- Szukacz
- T0PHackTeam
- T8Abot
- tAkeOut
- Telesoft
- Telesphoreo
- Telesphorep
- terrabot-owned-you
- The Intraformant
- TheNomad
- Thumbor
- TightTwatBot
- Timpibot
- TinyTestBot
- Titan
- TLM-Audit-Scanner
- TMP
- Toata
- Toweyabot
- Tracemyfile
- trafilatura
- Trendiction
- trendiction.com
- trendiction.de
- Trendictionbot
- True_Robot
- Turingos
- Turnitin
- TurnitinBot
- TwengaBot
- Twice
- Typhoeus
- ubermetrics-technologies.com
- UnisterBot
- Upflow
- URLy Warning
- URLy.Warning
- V-BOT
- Vacuum
- Vagabondo
- VB Project
- VCI
- VelenPublicWebCrawler
- VeriCiteCrawler
- VidibleScraper
- Virusdie
- VoidEYE
- Voil
- Voltron
- voyagerx.com
- Wallpapers
- WallpapersHD
- WASALive-Bot
- WBSearchBot
- Web Auto
- Web Collage
- Web Enhancer
- Web Fetch
- Web Fuck
- Web Pix
- Web Sauger
- Web Sucker
- Webalta
- WebAuto
- WebBandit
- WebCollage
- WEBDAV
- WebEnhancer
- WebFetch
- WebFuck
- webgains-bot
- WebGo IS
- WebImageCollector
- WebLeacher
- WebmasterWorldForumBot
- webmeup-crawler
- WebPix
- webpros.com
- webprosbot
- WebReaper
- WebSauger
- Webshag
- Website Quester
- WebsiteExtractor
- WebsiteQuester
- Webster
- WeSEE
- Whack
- Whacker
- Who.is Bot
- Widow
- WiseGuys Robot
- WISENutbot
- Wonderbot
- Woobot
- Wotbox
- wp2shell
- wpbot
- Wprecon
- WWW-Collector-E
- WWW-Mechanize
- WWW::Mechanize
- WWWOFFLE
- x09Mozilla
- x22Mozilla
- Xaldon WebSpider
- Xaldon_WebSpider
- Xenu
- xpymep1.exe
- YaK
- YoudaoBot
- Zade
- Zauba
- zauba.io
- Zermelo
- Zeus
- Zitebot
- ZoomBot
- ZoominfoBot
- ZumBot
- ZyBorg
Итог
Фильтры ориентированы на снижение рисков без блокировки легитимной работы сайтов. Разблокировка из списка не производится. Если Вам требуется работа сервера без действующих ограничений, рекомендуем рассмотреть услугу VPS — https://cloudvps.by/vps/.
