Если в адресах страниц Вашего сайта содержатся различные динамические параметры которые не влияют на их содержимое, можно (и даже нужно) описать их при помощи директивы Clean-param. Поисковый робот Яндекса на основе этой директивы не будет многократно просматривать одни и те-же сттаницы. Благодаря этому увеличится эффективность индексации вашего сайта, снизится нагрузка на сервер, а самое главное — Вы избавитесь от дублирующегося контента, что должно увеличить вес страниц в поиске.
К параметрам, приводящим к дубляжу контента можно отнести индетификаторы сессий, пользователей, рефереров, и т.п.

По мнению Тимофея Любимого, эксперта по оптимизации компании SmartSEO, директива Clean-param — очень необходимая директива при управлении индексацией сайта.

В целом вещь крайне полезная, т.к. наша компания как раз специализируется на больших проектах и нам проблемы индексации крайне актуальны и близки. Сложность состояла в том, что ранее поисковый робот индексировал совершенно ненужные страницы с дублирующим контентом, а до нужных страниц не доходил. Соответственно, имея такой инструмент, все эти урлы можно легко и без потерь склеить в один и дать роботу возможность идти дальше по сайту, не закачивая шлак

комментирует Тимофей.

Синтаксис директивы:
Clean-param: p0[&p1&p2&..&pn] [path]

В первом параметре через '&' следует перечислить параметры, которые не нужно учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить это правило.
В префиксе могут использоваться регулярные выражения в формате, аналогичном robots.txt, но с рядом ограничений: разрешено использовать только символы A-Za-z0-9. -/*_. При этом * трактуется так же, как в robots.txt. В конец префикса всегда неявно дописывается '*', то есть директива
Clean-param: s /forum/showthread.php
не будет обрабатывать параметр s у всех url-ов, начинающихся с /forum/showthread.php.
Если в директиве не указать вотрой параметр ([path]), то указанные параметры не будут учитываться по всему сайту.

Примеры:
User-agent: Yandex
Disallow:
Clean-param: s /forum/showthread.php
не будет учитывать параметр s в URL'ах вида www.site1.ru/forum/showthread.php?s=1e71c4427317a117a&t=8243&ref=989612

User-agent: Yandex
Disallow:
Clean-param: s&ref /forum*/showthread.php
не будет учитывать параметры s и ref в URL'ах вышеупомянутого вида.

http://help.yandex.ru/webmaster/?id=996567#1041216