Добрый день. Нужна помощь.
Несколько дней нагрука CPU и MySQL. Сегодня при посещени 38 человек и просмотре 138 страниц нагрузка CPU=155 и MySQL=1133 Такого не было при посещении 500 человек. Написала письмо хостеру. Пришел ответ: Мы бы рекомендовали Вам ограничить активность поисковых ботов на сайте. Судя по логам, основная активность на сайте зафиксирована со стороны ботов Google и Bing:
1409 66.249.78.180
2504 157.55.32.116
2640 157.55.33.77
2774 157.55.32.54

Сейчас у меня следующий robots:

1.  # robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
2.  # http://www.prestashop.com - http://www.prestashop.com/forums
3.  # This file is to prevent the crawling and indexing of certain parts
4.  # of your site by web crawlers and spiders run by sites like Yahoo!
5.  # and Google. By telling these "robots" where not to go on your site,
6.  # you save bandwidth and server resources.
7.  # For more information about the robots.txt standard, see:
8.  # http://www.robotstxt.org/wc/robots.html
9.  # GoogleBot specific
10.User-agent: Googlebot
11.Disallow: /*orderby=
12.Disallow: /*orderway=
13.Disallow: /*tag=
14.Disallow: /*id_currency=
15.Disallow: /*search_query=
16.Disallow: /*id_lang=
17.Disallow: /*back=
18.Disallow: /*utm_source=
19.Disallow: /*utm_medium=
20.Disallow: /*utm_campaign=
21.Disallow: /*n=
22.# All bots
23.User-agent: *
24.# Directories
25.Disallow: /classes/
26.Disallow: /config/
27.Disallow: /download/
28.Disallow: /mails/
29.Disallow: /modules/
30.Disallow: /translations/
31.Disallow: /tools/
32.# Files
33.Disallow: /addresses.php
34.Disallow: /address.php
35.Disallow: /authentication.php
36.Disallow: /cart.php
37.Disallow: /discount.php
38.Disallow: /footer.php
39.Disallow: /get-file.php
40.Disallow: /header.php
41.Disallow: /history.php
42.Disallow: /identity.php
43.Disallow: /images.inc.php
44.Disallow: /init.php
45.Disallow: /my-account.php
46.Disallow: /order.php
47.Disallow: /order-opc.php
48.Disallow: /order-slip.php
49.Disallow: /order-detail.php
50.Disallow: /order-follow.php
51.Disallow: /order-return.php
52.Disallow: /order-confirmation.php
53.Disallow: /pagination.php
54.Disallow: /password.php
55.Disallow: /pdf-invoice.php
56.Disallow: /pdf-order-return.php
57.Disallow: /pdf-order-slip.php
58.Disallow: /product-sort.php
59.Disallow: /poisk.html
60.Disallow: /statistics.php
61.Disallow: /attachment.php
62.Disallow: /guest-tracking.php
63.Disallow: /address
66.Disallow: /addresses
69.Disallow: /authentication
72.Disallow: /cart
75.Disallow: /discount
78.Disallow: /guest-tracking
81.Disallow: /order-history
84.Disallow: /identity
87.Disallow: /my-account
90.Disallow: /order
93.Disallow: /order-follow
96.Disallow: /quick-order
99.Disallow: /order-slip
102. Disallow: /password-recovery
105. Disallow: /search
108. # Sitemap
109. Sitemap: http://мой сайт.com.ua/sitemap.xml
Что можно сделать?
Спасибо.

Скорее всего железо слабовато.

Можно попробовать еще страницы категории и производителей отрубить. Главное чтобы страницы товаров индексировались.

Добавить Crawl-delay: 10

Спасибо всем за советы. Сделала Crawl-delay: 30. Категории и производителей отрубить - это запретить индексирование этих страниц? Хост пишет, что GoogleBot индексирует все мелкие картинки и советует в файле robots.txt, где запретить индексирование мелких файлов, таких как изображения, скрипты и т.д. Как это сделать, помогите, пожалуйста. Престашоп версия 1.4.9 Спасибо.

Категории и производителей отрубить - это запретить индексирование этих страниц?

Да. В принципе основное что ищут - это конкретные товары, а не категории товаров.

Запретила в robots индексировать картинки, гугл их все равно не индексирует, т.к. они не оригинальны - взяты из каталога производителя. Запретила индекс ботам bing и еще парочку, которые целыми сутками сайт сканируют. Оставила режим сканирования Crawl-delay: 30 ( кроме гугла, он игнорирует это). Результат налицо - нагрузка CPU и MySQL уменьшилась более чем в 2 раза. Если было 1200-1300, то стало 500-700.