Проверка уникальности текста

10/12/2019

Давно уже ни для кого не секрет, что со времен основания Интернет существует проблема определения авторства документа. И действительно, сама природа электронного хранения данных подразумевает чрезвычайную простоту копирования текстовой, да и любой другой, информации. В сети множество сайтов, и далеко не все могут похвастать уникальным контентом. Между тем, для качественного продвижения и для поднятия веса "в глазах" поисковиков каждому сайту просто как воздух нужна уникальная информация.

Последнее относится и к такому популярному ныне способу SEO-оптимизации, как продвижение статьями. Поисковые машины давно уже взяли упомянутый метод шинглов на вооружение и вовсю его применяют, отсеивая некачественные дубли. Применительно к целям продвижения это значит только одно: ныне недостаточно просто стырить откуда-то страницу и разместить ее к себе на сайт, так как она имеет все шансы даже не войти в индекс. Если же вы профессионально занимаетесь продвижением, и платите за размещение статьи на других сайтах, используя функционал бирж liex и seozavr, то такие недальновидные шаги просто приведут к растранжириванию фондов безо всякой отдачи.

Для проверки текстов на уникальность создано множество полезных инструментов. Один из признанных способов сравнения двух текстов - алгоритм шинглов (от английского shingle "чешуя"). Почему чешуя? Все просто: простое посимвольное сравнение двух массивов строк не дает никакой гарантии совпадения. Действительно, тогда было бы достаточно изменить всего одно слово, да что уж там - всего одну букву, и проверка уникальности текста показала бы расхождение текстов. Это никуда не годилось. Был нужен новый способ, который давал бы на выходе вероятность совпадения двух материалов, и именно метод шинглов с успехом решает эту задачу.

Алгоритм шинглов вместо тупого сравнения проводит более глубокий анализ: проводится разбиение текстов на последовательности слов определенной длины, обычно берется от значение 5 до 10, которые берутся не "встык", а "внахлест", например, "слово1 слово2 .. слово10", "слово2 слово3 .. слово11" и т.д. Теперь должно стать понятно при чем тут чешуя. Полученные множества сравниваются на предмет совпадений, число которых и определяет схожесть двух текстов.