Viena mūsų tinklo svetainių jau keletą mėnesių iš eilės nuolat viršydavo PHP procesų limitus serveryje, o galiausiai dėl perviršių svetainė apskritai “nulūždavo”. Mūsų prašymu serverio administratorius atliko visų talpinimų failų skenavimą, tačiau skriptas neaptiko nei vieno pažeisto failo. Todėl prielaida apie nulaužtą svetainę buvo atmesta (įtartinomis užklausomis nebuvo išnaudotos saugumo spragos). Detaliau peržiūrėjus Apache išrašus pastebėjome kitą įdomų faktą – daugiau nei pusę užklausų sudaro “bingbot” (Bing paieškos sistemos roboto) siunčiamos užklausos.
Paaiškėjo, jog jis ir sukurdavo didžiąją dalį PHP procesų, kurių nespėdavo įvykdyti mums išskirtas 8 PHP procesų kiekis talpinimo plane.
Ši problema išsisprendė, kai public_html aplanke sukūrėme robots.txt failiuką ir jame įrašėme funkcijas, draudžiančias “bingbot” paieškos sistemų robotams indeksuoti mūsų svetainę. “bingbot” draudimą indeksuoti svetainę galima atlikti, nurodytame failiuke įrašius:
User-agent: bingbot
Disallow: /
Taip pat yra galimybė uždrausti visų paieškų sistemų robotams landžioti po svetainę, tačiau uždraudus svetainės indeksavimą visiems paieškos sistemų robotams – kiltų rizika kad po kurio laiko svetainė būtų neberandama paieškos sistemose.
Mūsų atveju, kadangi didžiąją dalį svetainės resursų sunaudojo “bingbot” analizuodamas mūsų svetainės puslapius, todėl užteko uždrausti indeksuoti tik Bing sistemos robotui ir visi perviršiai baigėsi.