Вчера воспользовался ЭТИМ и был в шоке.
Всего страниц: 81, объем html кода 4 058Kb, время выполнения 77:20.
Запрет индексации(более 200)
Это далеко не все страници (я не досканировал),в google проиндексировано 1160
А теперь вопрос:я не могу понять,как так могло получиться,что я сам запретил индексировать свои страницы
Дата последнего посещения сайта роботом 1.06.2011 тогда был такой robot
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 1
Host: masteronn.ru
Sitemap: www.masteronn.ru/index.php?option=com_xm...=1&Itemid=38=xml

Сейчас

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 1
Host: www.masteronn.ru
Sitemap: www.masteronn.ru/index.php?option=com_xm...=1&Itemid=38=xml

На этом робот еще не был.Подскажите,где я натормозил

Так на сайте есть админка, например. Зачем ее индексировать? А сколько там страниц в админке?

А где это смореть .А можно пример правильного робота

Так правильный у вас робот. То, что видит пользователь на вашем сайте - все индексируется.
Мне вот кажется нездоровая тенденция идет уже лет пять... Вместо того, чтобы создавать уникальный контент и делать ресурсы, которые будут интересны пользователям, все бросились копировать друг друга, зато стали десятками перечитывать SEO статьи, мудрить с файлами robots и так далее
Вот Ячайник , к примеру, долгое время работал на Joomla 1.0 , которую не любят поисковики и на которой невозможно сделать посещаемый сайт. А ведь работал же! И уже на старой джумле стало ходить 5000 человек в сутки.
Так, что я задумался бы в первую очередь о том, как сделать сайт полезным... А на такую ерунду вроде robots.txt не обращал бы внимание. Изучайте, пишите своими руками, думайте!!

Хорошо,тогда объясните,почему google ставит оригинал статьи на первое место,а только потом идут копии,а у яндекса можно спокойно скопировать чужую статью и она может стоять (что очень часто бывает) намного выше оригинала

Я думаю, это связано с тем, что поисковый движок Яндекса нуждается в доработке. Также ему не хватает скорости индексирования