Заблокированные URL в robots.txt
Medness


Новичок
: 92
: 30-05-2010


23-08-2013 19:58
Содержание robots.txt:
Код:
# robots.txt automaticaly generated by PrestaShop e-commerce open-source solution
# http://www.prestashop.com - http://www.prestashop.com/forums
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
User-agent: *
# Private pages
Disallow: /*orderby=
Disallow: /*orderway=
Disallow: /*tag=
Disallow: /*id_currency=
Disallow: /*search_query=
Disallow: /*back=
Disallow: /*utm_source=
Disallow: /*utm_medium=
Disallow: /*utm_campaign=
Disallow: /*n=
Disallow: /*controller=addresses
Disallow: /*controller=address
Disallow: /*controller=authentication
Disallow: /*controller=cart
Disallow: /*controller=discount
Disallow: /*controller=footer
Disallow: /*controller=get-file
Disallow: /*controller=header
Disallow: /*controller=history
Disallow: /*controller=identity
Disallow: /*controller=images.inc
Disallow: /*controller=init
Disallow: /*controller=my-account
Disallow: /*controller=order
Disallow: /*controller=order-opc
Disallow: /*controller=order-slip
Disallow: /*controller=order-detail
Disallow: /*controller=order-follow
Disallow: /*controller=order-return
Disallow: /*controller=order-confirmation
Disallow: /*controller=pagination
Disallow: /*controller=password
Disallow: /*controller=pdf-invoice
Disallow: /*controller=pdf-order-return
Disallow: /*controller=pdf-order-slip
Disallow: /*controller=product-sort
Disallow: /*controller=search
Disallow: /*controller=statistics
Disallow: /*controller=attachment
Disallow: /*controller=guest-tracking
# Directories
Disallow: /*classes/
Disallow: /*config/
Disallow: /*download/
Disallow: /*mails/
Disallow: /*modules/
Disallow: /*translations/
Disallow: /*tools/
# Files
Disallow: /*ru/password-recovery
Disallow: /*ru/address
Disallow: /*ru/aдреса
Disallow: /*ru/authentication
Disallow: /*ru/cart
Disallow: /*ru/discount
Disallow: /*ru/order-history
Disallow: /*ru/identity
Disallow: /*ru/my-account
Disallow: /*ru/order-follow
Disallow: /*ru/order-slip
Disallow: /*ru/order
Disallow: /*ru/search
Disallow: /*ru/quick-order
Disallow: /*ru/guest-tracking
Disallow: /*ru/
Disallow: /*uk/password-recovery
Disallow: /*uk/address
Disallow: /*uk/aдреса
Disallow: /*uk/authentication
Disallow: /*uk/cart
Disallow: /*uk/discount
Disallow: /*uk/order-history
Disallow: /*uk/identity
Disallow: /*uk/my-account
Disallow: /*uk/order-follow
Disallow: /*uk/order-slip
Disallow: /*uk/order
Disallow: /*uk/search
Disallow: /*uk/quick-order
Disallow: /*uk/guest-tracking
Disallow: /*uk/
# Sitemap
Sitemap: http://snacks-club.com.ua/1_index_sitemap.xml

Google предупреждает:

где собака порылась, какая запись в robots.txt блокирует индексацию? Мои мысли:) - не эти ли записи Disallow: /*uk/ и Disallow: /*ru/?
 
 
Medness


Новичок
: 92
: 30-05-2010


23-08-2013 20:56
И еще проблема - Яндекс при добавлении страницы в аддурилку вообще не видит http://snacks-club.com.ua/(пишит "Недоступен сервер, на котором находится сайт"), а вот если вставить http://snacks-club.com.ua/ru/ или http://snacks-club.com.ua/uk/ то успешно добавляет. Наверное поэтому добавленный сайт в Яндекс поэтому не индексируется? Что надо сделать, где поправить?
 
 
e_v_medvedev
Профессионал
: 806
: Москва
: 25-03-2011


24-08-2013 01:44
Да закачайте файл в валидатор в яндекс.вебмастер и удаляйте по одной записи и проверяйте доступность урла.
 
  
Medness


Новичок
: 92
: 30-05-2010


24-08-2013 13:07
Цитата:( e_v_medvedev @ 23-08-2013 20:44 Смотреть сообщение )
Да закачайте файл в валидатор в яндекс.вебмастер и удаляйте по одной записи и проверяйте доступность урла.

Спасибо за помощь, подтвердилось что Disallow: /*uk/ и Disallow: /*ru/ блокировали доступ к продуктам. Поэтому всем у кого мультиязычный магазин, обязательно убрать ненужные строки в robots.txt.
Вопрос с Яндексом остаётся, немного больше информации - так как магазин мультиязычный и (в моём случае) русский язык главный, то при наборе в браузере сайт.com.ua адрес переопределяется на сайт.com.ua/ru/. Я Яндексу при добавлении в Вебмастер указал сайт.com.ua и сайт не индексируется. В Аддурилке при добавлении сайт.com.ua пишет "Недоступен сервер, на котором находится сайт", а вот сайт.com.ua/ru/ принимает на ура. Пробовал Вебмастеру указать адрес сайт.com.ua/ru/ он его обрезает до сайт.com.ua, т.е. опять индексировать не будет. Насколько хватает мозгов, понимаю что надо прописать что-то в robots.txt, чтобы Yandex не упирался по поводу "сайт.com.ua/ru/ vs. сайт.com.ua", но вот как не знаю. Помогите пожалуйста? Или может я не туда гляжу?
 
 
ANV
Новичок
: 4
: 08-12-2017


13-06-2018 09:28
Цитата:( Medness @ 24-08-2013 14:07 Смотреть сообщение )
Цитата:( e_v_medvedev @ 23-08-2013 20:44 Смотреть сообщение )
Да закачайте файл в валидатор в яндекс.вебмастер и удаляйте по одной записи и проверяйте доступность урла.
Спасибо за помощь, подтвердилось что Disallow: /*uk/ и Disallow: /*ru/ блокировали доступ к продуктам. Поэтому всем у кого мультиязычный магазин, обязательно убрать ненужные строки в robots.txt.
Вопрос с Яндексом остаётся, немного больше информации - так как магазин мультиязычный и (в моём случае) русский язык главный, то при наборе в браузере сайт.com.ua адрес переопределяется на сайт.com.ua/ru/. Я Яндексу при добавлении в Вебмастер указал сайт.com.ua и сайт не индексируется. В Аддурилке при добавлении сайт.com.ua пишет "Недоступен сервер, на котором находится сайт", а вот сайт.com.ua/ru/ принимает на ура. Пробовал Вебмастеру указать адрес сайт.com.ua/ru/ он его обрезает до сайт.com.ua, т.е. опять индексировать не будет. Насколько хватает мозгов, понимаю что надо прописать что-то в robots.txt, чтобы Yandex не упирался по поводу "сайт.com.ua/ru/ vs. сайт.com.ua", но вот как не знаю. Помогите пожалуйста? Или может я не туда гляжу?

Подскажите, пожалуйста, у меня товар тоже не индексируется и подозреваю что проблема в этом prnt.sc/ju9cwp Нужно просто удалить эту строку в robots.txt или вместо disallow написать allow? И еще , происходит редирект с mysite.com на mysite.com/en (у меня сайт на англ и на русск яз). Что с этим делать в robots.txt что бы ничего не мешало индексировать сайт нормально?


Сообщение отредактировал ANV (13-06-2018 10:29)