Ответить Новая тема Новый опрос 
Всего: 2 1 2 >
 robots.txt Как правильно?
kidsnation
Новичок
Сообщений: 9
Регистрация: 17-12-2010


17-12-2010 22:03
Сайт долгое время существовал как http://www.kids-nation.com.ua/, так и http://kids-nation.com.ua/.

Сейчас сделали склейку и основным выбрали http://www.kids-nation.com.ua/.

Как правильно дать это понять поисковикам? Гуглу и Яндексу в частночти?

Как правильно прописать это в robots.txt?

Сейчас robots.txt имеет вид:

User-agent: *

# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/

# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /poisk.html
Disallow: /statistics.php
Disallow: /zoom.php

Спасибо заранее всем за помощь!
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
Artyom4D


Профессионал
Сообщений: 304
Откуда: Киев
Регистрация: 01-11-2009


17-12-2010 23:18
Ольга, как я Вам уже говорил robots.txt не имеет к домену никакого отношения. 301 редирект который указывает поисковикам на http://www.kids-nation.com.ua у вас уже есть.
 



Разработка, поддержка, оптимизация
-------------------------------------------------------
deadline-solutions.com; DS Super Slider 1.2; DS Comments
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
ors
Профессионал
Сообщений: 1885
Регистрация: 09-11-2009


17-12-2010 23:28
.htaccess
Код:
RewriteCond %{HTTP_HOST} ^kids-nation\.com\.ua $ [NC]
RewriteRule ^(.*)$ http://www.kids-nation.com.ua/$1 [L,R=301]

robots.txt
Код:
Host: www.kids-nation.com.ua
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
kidsnation
Новичок
Сообщений: 9
Регистрация: 17-12-2010


17-12-2010 23:48
Цитата:( Artyom4D @ 18-12-2010 00:18 Смотреть сообщение )
Ольга, как я Вам уже говорил robots.txt не имеет к домену никакого отношения. 301 редирект который указывает поисковикам на http://www.kids-nation.com.ua у вас уже есть.


Редирект 301 - это хорошо. Но в данный момент Гугл видет сайт с www, а вот для Яндекса сайт основной http://kids-nation.com.ua

Ведь с 301 редиректом дружат не все поисковики. Гугл и Яхо - дружны. Рамблер и Яндекс-нет(

Поэтому и хотим в robots.txt прописать это, используя директиву Host
1.
User-agent: Yandex
Disallow:
Host: www.kids-nation.com.ua

или
2.
User-agent: *
Disallow:
Host: www.kids-nation.com.ua

Вопрос для всех знающих как правильнее прописать для Яндекса отдельно или для всех поисковиков? (1 или 2 способ)

И еще вопрос - бытует мнение, что вначале стоит прописать Host для robots.txt, а потом делать 301 редирект.

Для Гугла также рекомендуют проставить через панель веб мастеров какой сайт основной.

Что скажете?

Спасибо
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
Artyom4D


Профессионал
Сообщений: 304
Откуда: Киев
Регистрация: 01-11-2009


18-12-2010 00:35
Яндекс и рамблер дружны, просто они не так быстро реагируют скорее всего.
 



Разработка, поддержка, оптимизация
-------------------------------------------------------
deadline-solutions.com; DS Super Slider 1.2; DS Comments
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
kidsnation
Новичок
Сообщений: 9
Регистрация: 17-12-2010


18-12-2010 01:00
Цитата:( Artyom4D @ 18-12-2010 01:35 Смотреть сообщение )
Яндекс и рамблер дружны, просто они не так быстро реагируют скорее всего.


я бы иначе сказала, некоторые поисковые системы требуют для склейки сайтов дополнительных настроек, например, для Яндекса нужно дополнительно прописывать robots.txt

для Гугла 301 редиректа может и достаточно. А сайт с www и до редиректа был основным

 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
ors
Профессионал
Сообщений: 1885
Регистрация: 09-11-2009


18-12-2010 16:13
Цитата:
User-agent: * 
Disallow: 
Host: www.kids-nation.com.ua

А почему Disallow? хотите запретить индексирование домена с www?
Если запрещать индексировать, то нужно второй вариант использовать для неосновоного домена, а в конец записи из первого поста добавить Host: www.kids-nation.com.ua

301 редирект для всех поисковиков должен работать. Просто яндекс как всегда долго думает.
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
kidsnation
Новичок
Сообщений: 9
Регистрация: 17-12-2010


18-12-2010 17:25
Цитата:( ors @ 18-12-2010 17:13 Смотреть сообщение )
Цитата:
User-agent: * 
Disallow: 
Host: [url=http://www.kids-nation.com.ua]www.kids-nation.com.ua[/url]
А почему Disallow? хотите запретить индексирование домена с www?
Если запрещать индексировать, то нужно второй вариант использовать для неосновоного домена, а в конец записи из первого поста добавить Host: [url=http://www.kids-nation.com.ua]www.kids-nation.com.ua[/url]

301 редирект для всех поисковиков должен работать. Просто яндекс как всегда долго думает.


Хотим показать (разрешить) Яндексу индексировать сайт с www.kids-nation.com.ua.

User-agent: Yandex
Disallow:
Host: www.kids-nation.com.ua

Запись выше говорит: разрешить роботу Яндекса индексировать сайт www.kids-nation.com.ua . Если Disallow: оставляем пустой, то значит мы разрешаем так же? а если Disallow: / (то запрещаем).Так же? или я уже запуталась? :cold:

поэтому такой вариант
User-agent: *
Disallow:
Host: www.kids-nation.com.ua
(разрешаем всем индексировать с www)

 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
kidsnation
Новичок
Сообщений: 9
Регистрация: 17-12-2010


18-12-2010 17:32
User-agent: *

# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/

# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /poisk.html
Disallow: /statistics.php
Disallow: /zoom.php

User-agent: Yandex
Disallow:
Host: www.kids-nation.com.ua

Так будет правильно? Спасибо!
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
ors
Профессионал
Сообщений: 1885
Регистрация: 09-11-2009


18-12-2010 18:55
Первое правило действует на домен с www. Второе запрещает индексировать домен без www
Код:
User-agent: *

# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/

# Files
Disallow: /addresses.php
Disallow: /address.php
Disallow: /authentication.php
Disallow: /cart.php
Disallow: /contact-form.php
Disallow: /discount.php
Disallow: /footer.php
Disallow: /get-file.php
Disallow: /header.php
Disallow: /history.php
Disallow: /identity.php
Disallow: /images.inc.php
Disallow: /init.php
Disallow: /my-account.php
Disallow: /order.php
Disallow: /order-slip.php
Disallow: /order-detail.php
Disallow: /order-follow.php
Disallow: /order-return.php
Disallow: /order-confirmation.php
Disallow: /pagination.php
Disallow: /password.php
Disallow: /pdf-invoice.php
Disallow: /pdf-order-return.php
Disallow: /pdf-order-slip.php
Disallow: /product-sort.php
Disallow: /poisk.html
Disallow: /statistics.php
Disallow: /zoom.php
Host: <a href=\\"http://www.kids-nation.com.ua\\" target=\\"_blank\\"><a href=\\"http://www.kids-nation.com.ua\\" target=\\"_blank\\">www.kids-nation.com.ua</a></a>

User-agent: *
Disallow: /
Host: kids-nation.com.ua



Сообщение отредактировано ors 18-12-2010 19:57 ...
 
Вне форума
ПМ Отправить эл.сообщение 
Щелкните, и это сообщение будет добавлено в ваш ответ как цитата Цитировать этот ответ
Ответить Новая тема Новый опрос 
Всего: 2 1 2 >