Форум Портала BREND-CS
Сегодня Понедельник | Дата: 21.08.2017 | Время: 11:08
Регистрация | Вход
Доброго времени суток, Гость! Авторизуйся или зарегистрируйся

Новые сообщения · Участники · Правила форума · Поиск · RSS

Страница 1 из 11
Форум » Web-мастер » Статьи для Веб-Мастера » Правильный robots.txt для uCoz
Правильный robots.txt для uCoz
Ceemly Суббота, 27.04.2013, 18:25 | Сообщение # 1

Offline
Сообщений: 59
Награды:0
У людей, которые мало знакомы с Html, всегда возникает много вопросов, как работать с robots.txt. Но мало кто хочет сидеть и искать нудную информацию и рассматривать не понятные теги. Для тех кто хочет все изучить быстрее и остальное время провести на практике, я решил написать эту статью.

В начале разъясним важность этого файла. Поисковики в первую очередь обратят внимание на robots при посещении сайта, но данный файл не является обязательной его составляющей.
И у некоторых сайтов он может просто не существовать, как например сайты визитки. Но если вам хочется скрыть от индексации страницы, то без robots.txt вам не обойтись.

Первый тег.

User-agent: — после двоеточия вы можете указать название любого поискового бота или же системы, от которой хотите запретить индексацию вашего сайта. Если после двоеточия
поставить *, User-agent:*, то вы запретите индексировать ваш сайт всех поисковых роботов и поисковиков.

Второй тег.

Disallow: — после двоеточия вы можете прописать файл или папку, которую хотите закрыть от индексации. Например, Disallow:/img/ — это будет означать, то что вы запретили индексацию всех файлов или папок находящихся в папке img.

Третий тег.

Host: — важная и специфическая команда. Все знают, что сайты могут быть как с www так и без него. Для людей это один и тот же сайт, но для поисковиков может оказаться совершенно два разных ресурса. Если Яндекс увидит это, то без проблем поделит тИЦ, который есть на вашем сайте пополам. Чтобы этого не произошло, нужно после двоеточия прописать желаемый вариант своего сайта. Например, fonweb.ru. Стоит отметить, что все команды нужно прописывать до индексации сайта.

Robots.txt

Так же есть дополнения, команда allow, пример:

Disallow:/img/
Allow:/img/miniimg/

Такой код будет означать, что в запрещенной от индексации папке, будет доступна к индексации папка miniimg. Что бы всё это прописать нужно зайти на хостинг через ftp и создать одноимённый файл Robots.txt в который вставить код. Вот пример кода:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?

или

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?
Host: fonweb.ru

Sitemap: http://brend-cs.ru/sitemap.xml.gz
Sitemap: http://brend-cs.ru/sitemap.xml

brend-cs.ru имя сайта соответственно заменяете на своё в 3 местах.
viksTazZz Суббота, 27.04.2013, 18:38 | Сообщение # 2

Offline
Сообщений: 65
Награды:2
Уникальность текста 0%
Очень низкая уникальность текста
chiter Суббота, 27.04.2013, 18:48 | Сообщение # 3


Offline
Сообщений: 71
Награды:1
Правильный robots.txt для uCoz:

Код
User-agent: Yandex    
Disallow: /a/   
Disallow: /stat/   
Disallow: /index/1   
Disallow: /index/2   
Disallow: /index/3   
Disallow: /index/5   
Disallow: /index/7   
Disallow: /index/8   
Disallow: /index/9    
Disallow: /panel/   
Disallow: /admin/   
Disallow: /secure/   
Disallow: /informer/   
Disallow: /search   
Disallow: /?ssid=
Disallow: /_ld/

User-agent: *     
Disallow: /a/   
Disallow: /stat/   
Disallow: /index/1   
Disallow: /index/2   
Disallow: /index/3   
Disallow: /index/5   
Disallow: /index/7   
Disallow: /index/8   
Disallow: /index/9    
Disallow: /panel/   
Disallow: /admin/   
Disallow: /secure/   
Disallow: /informer/    
Disallow: /search   
Disallow: /?ssid=
Disallow: /_ld/

Host: brend-cs.ru
Sitemap: http://brend-cs.ru/sitemap.xml
Sitemap: http://brend-cs.ru/sitemap-forum.xml


Данный формат робота правилен как для Яндекса, так и для Гугла.
Ceemly Суббота, 27.04.2013, 19:06 | Сообщение # 4

Offline
Сообщений: 59
Награды:0
Цитата (chiter)
chiter


Это примеры robots.txt
chiter Суббота, 27.04.2013, 19:18 | Сообщение # 5


Offline
Сообщений: 71
Награды:1
malil8, Я понял) Просто дополнил)
fraer_rock Суббота, 27.04.2013, 22:17 | Сообщение # 6


Offline
Сообщений: 56
Награды:0
Для новечков самый раз=)))))))))))))
Форум » Web-мастер » Статьи для Веб-Мастера » Правильный robots.txt для uCoz
Страница 1 из 11
Поиск: