Чистка каталога товаров: дубли и ошибки атрибутов

Чистка каталога товаров от дублей — это управляемая задача: сначала фиксируют правила, по которым два товара считаются одним, затем собирают реестр качества данных, потом исправляют записи так, чтобы уже проиндексированные адреса и оформленные заказы не пострадали. Ниже — порядок действий, входные данные, развилки, проверка и ограничения.

Задача бизнеса и границы решения

Дубли и ошибки в каталоге влияют на продажи и логистику: менеджер не видит верный остаток, покупатель попадает на карточку без описания, а выгрузка в фид уходит с противоречивыми данными. Чистка решает задачи: привести номенклатуру к правилу «один товар — одна карточка», убрать ошибочные атрибуты, сохранить историю заказов и не сломать работающие адреса страниц.

Прежде чем что-то менять, важно очертить границы. Обычно в задачу входит:

• найти товары, которые фактически описывают один и тот же предмет, но заведены отдельными записями;
• найти карточки с ошибочными или пустыми атрибутами (бренд, единица измерения, категория, характеристики);
• определить, какой адрес страницы считается основным, а какие — вспомогательными;
• сохранить связь товара с уже оформленными заказами и корзинами;
• зафиксировать правила, чтобы дубли не появлялись снова при следующей выгрузке из учётной системы.

За границами задачи остаются смежные темы: как устроены фильтры и скорость каталога, как оптимизировать отдельные карточки под поисковые запросы, как собирать товарные фиды. Это отдельные направления, и их лучше не смешивать с чисткой — иначе объём работ размывается, а результат проверить сложно. Если нужен общий контекст по устройству магазина, полезно посмотреть материал про разработку интернет-магазина, но сама чистка — самостоятельная задача со своим реестром и своими критериями приёмки.

Отдельно стоит сказать про ответственность. За правила сопоставления товаров отвечает владелец каталога (категорийный менеджер или товаровед), за техническую реализацию — разработчик, за приёмку — руководитель проекта. Если эти роли не разделены, спорные случаи решаются «на глаз», и реестр быстро теряет смысл.

Как выявить одинаковые товары и ошибочные атрибуты

Выявление дублей начинается не с инструмента, а с определения: что для вашего каталога значит «один и тот же товар». Это определение нельзя взять из общих рекомендаций — оно зависит от ассортимента.

Признаки, по которым товары считаются одинаковыми

Используют набор признаков, а не один:

• артикул производителя или внутренний код номенклатуры;
• сочетание бренда, модели и ключевой характеристики (объём, мощность, размер);
• штрихкод (если ведётся);
• совпадение названия после нормализации (единый регистр, удаление лишних пробелов и служебных слов).

Ни один признак не работает в одиночку. Совпадение названия часто даёт ложные срабатывания: «кабель 2 м» и «кабель 2 м экранированный» — разные товары. Совпадение артикула надёжнее, но артикул может быть не заполнен. Поэтому на практике строят несколько проходов: сначала по точным кодам, затем по сочетанию бренда и модели, затем — ручной разбор спорных пар.

Признаки ошибочных атрибутов

Ошибки в атрибутах ищут отдельно от дублей, потому что это другая природа проблемы. Типичные сигналы:

• пустой обязательный атрибут (нет бренда, нет единицы измерения);
• значение вне допустимого списка (бренд написан в свободном поле с опечаткой);
• единицы измерения в разных форматах (граммы и килограммы в одном поле);
• товар лежит в категории, которая не соответствует его типу;
• характеристики противоречат друг другу (вес больше, чем у габаритного аналога, при меньших размерах).

Эти сигналы превращают в правила проверки для регулярного запуска. Чистка перестаёт быть разовым мероприятием и становится системным контролем качества.

Где брать данные для сверки

Источником истины обычно служит учётная система или мастер-файл номенклатуры. Каталог сайта — это витрина, и расхождения между витриной и учётом как раз и порождают дубли. Поэтому перед выявлением нужно договориться, какой источник считается эталонным, и сверять витрину именно с ним.

Реестр качества данных: что в него входит

Реестр качества данных — это рабочий документ, в котором по каждому проблемному товару зафиксировано состояние и решение. Без него чистка превращается в набор несвязанных правок, которые невозможно ни проверить, ни передать.

Минимальный состав реестра:

• идентификатор товара в учётной системе и на сайте;
• текущий адрес страницы (или несколько адресов, если товар уже продублирован);
• тип проблемы: дубль, ошибочный атрибут, неверная категория, пустое поле;
• признаки, по которым товар сопоставлен с другим (артикул, бренд+модель);
• решение: оставить как основной, объединить, перевести во вспомогательный, исправить атрибут;
• ответственный за решение и дата;
• статус: найдено, решено, проверено.

Реестр удобно вести в таблице, где одна строка — один товар или одна пара дублей. Важно, чтобы статус менялся только после фактической проверки, а не после правки в редакторе. Иначе на приёмке выяснится, что часть записей помечена решёнными, но на сайте ничего не изменилось.

Исправление с сохранением заказов и ссылок

Самая чувствительная часть — исправление. Здесь легко потерять либо историю заказов, либо уже накопленную поисковую историю адресов. Поэтому действуют по принципу: сначала копия и резерв, потом тест, потом перенос, и всегда есть план возврата.

Развилка: объединять или помечать основной адрес

Когда два товара оказались одним и тем же, есть два принципиально разных пути.

Первый — объединение записей в одну. Он подходит, если дубль появился по ошибке и не несёт самостоятельной ценности. При объединении нужно перенести заказы, отзывы и привязки на оставшуюся запись, а лишнюю убрать из выдачи.

Второй — оставить несколько записей, но указать, какой адрес считается основным. Этот путь применяют, когда товар осознанно показывается в нескольких разделах, например в общей категории и в подкатегории по бренду. Тогда для вспомогательных адресов задают основной адрес, чтобы поисковые системы не считали их самостоятельными дублями. В обсуждениях на профильном форуме разработчиков как раз описывают такой механизм: у товара прописывают правильный основной адрес, а компоненты каталога настраивают так, чтобы они выводили его корректно.

Выбор между этими путями — не технический, а содержательный. Если товар действительно должен быть виден в нескольких разделах, объединение навредит навигации. Если дубль случайный, пометка основного адреса оставит мусор в каталоге.

Что проверить перед изменениями

Перед любой правкой убедитесь, что:

• есть свежая резервная копия каталога и базы;
• изменения сначала проверены на тестовой копии сайта;
• для каждого изменяемого адреса зафиксирован прежний вид страницы;
• понятно, какие заказы и корзины ссылаются на изменяемые товары;
• есть план возврата: как откатить правку, если что-то пойдёт не так.

Как не сломать уже проиндексированные адреса

Если адрес меняется, старый перенаправляют на новый, чтобы посетитель и поисковая система попадали на актуальную страницу. Если товар доступен по нескольким адресам, для вспомогательных задают основной. Важно: основной адрес должен быть указан ровно один. Несколько указаний на одной странице — ошибка, которую поисковые системы могут проигнорировать.

Таблица принятия решения

Таблица помогает не спорить каждый раз заново, а быстро выбрать действие по типу ситуации.

Учебный пример

Ниже — учебный пример. Данные условные и приведены только для иллюстрации порядка действий.

Входные условия. Условный магазин бытовой техники ведёт каталог на витрине, которая синхронизируется с учётной системой. В каталоге несколько тысяч позиций. Категорийный менеджер заметил, что часть товаров видна и в общей категории, и в подкатегории по бренду, а несколько моделей заведены дважды с разными артикулами. Также есть карточки без бренда и с единицами измерения в разных форматах.

Шаг 1. Определение правил. Команда договорилась: товар считается одним и тем же, если совпадают артикул производителя и сочетание бренда с моделью. Название используется только как вспомогательный признак.

Шаг 2. Сбор реестра. Из учётной системы выгрузили номенклатуру, из витрины — список товаров с адресами. Сопоставили по артикулу, затем по бренду и модели. Спорные пары вынесли в отдельный лист на ручной разбор. В реестр попали: случайные дубли, товары в двух разделах, карточки с пустыми и ошибочными атрибутами.

Шаг 3. Решение по каждой строке. Случайные дубли решили объединить. Товары, которые осознанно показываются в двух разделах, оставили, но для вспомогательных адресов задали основной. Пустые атрибуты заполнили из учётной системы, значения вне списка привели к справочнику.

Шаг 4. Проверка на тестовой копии. Все правки сначала применили на копии сайта. Проверили, что объединение не потеряло заказы, что на страницах с несколькими адресами указан ровно один основной адрес, что старые адреса перенаправляют на актуальные.

Шаг 5. Перенос и наблюдение. После проверки правки перенесли на рабочий сайт. В течение нескольких дней отслеживали, не появились ли ошибки в карточках и не пропали ли товары из выдачи. Реестр перевели в статус «проверено» только после того, как убедились в корректности.

Наблюдаемый результат. В каталоге осталась одна карточка на каждый реальный товар, товары в двух разделах показываются корректно, атрибуты заполнены по справочнику. Дальнейшие выгрузки из учётной системы сверяются с реестром, чтобы дубли не появлялись снова.

Как проверить результат и принять работу

Проверка — это не формальность, а способ убедиться, что чистка действительно выполнена. Приёмку удобно вести по чек-листу, где каждый пункт можно подтвердить наблюдением.

• По каждому товару из реестра статус изменён на «решено» и подтверждён проверкой на сайте.
• Случайные дубли объединены, история заказов и отзывов сохранена.
• Для товаров в нескольких разделах на странице указан ровно один основной адрес.
• Старые адреса изменённых страниц перенаправляют на актуальные, а не отдают ошибку.
• Обязательные атрибуты заполнены, значения соответствуют справочникам.
• Единицы измерения приведены к единому формату.
• Товары находятся в категориях, соответствующих их типу.
• Повторный прогон правил проверки не находит новых дублей и ошибок.
• Есть резервная копия, снятая до изменений, и понятный план возврата.
• Реестр качества данных передан владельцу каталога для регулярного контроля.

Отдельно стоит проверить, что после правок не появилось новых расхождений между витриной и учётной системой. Если синхронизация настроена, следующая выгрузка может вернуть старые ошибки — поэтому правила проверки должны работать и после чистки.

Типичные ошибки и ограничения

Даже аккуратно выполненная чистка может пойти не так, если упустить несколько моментов.

• Объединение без переноса заказов. Если удалить запись, на которую ссылаются заказы, история потеряется. Сначала переносят связи, потом убирают лишнюю запись.
• Несколько указаний основного адреса. Когда на странице оказывается больше одного такого указания, поисковая система может не принять ни одно из них. Это стоит проверять отдельно.
• Правки сразу на рабочем сайте. Без тестовой копии и резерва любая ошибка становится проблемой для покупателей.
• Чистка без правил. Если не зафиксировать, по каким признакам товары считаются одинаковыми, спорные случаи будут решаться по-разному, и реестр потеряет ценность.
• Разовая чистка без регулярного контроля. Дубли возвращаются при следующей выгрузке, если правила проверки не запускаются повторно.

Ограничения тоже важно проговорить заранее. Не все дубли можно определить автоматически: часть спорных пар требует ручного решения товароведа. Не все ошибочные атрибуты можно исправить из учётной системы, если там тоже нет верных данных. И не стоит ожидать, что чистка сама по себе даст рост продаж — это гигиена каталога, а не маркетинговый инструмент. Если нужен общий взгляд на то, из чего складывается стоимость работ по магазину, посмотрите материал Сколько стоит разработка интернет-магазина: из чего складывается цена.

Какие исходные данные подготовить для оценки

Чтобы оценить объём чистки, нужен не доступ к админке, а набор данных. Чем полнее он будет, тем точнее оценка.

• Выгрузка номенклатуры из учётной системы с артикулами, брендами и ключевыми характеристиками.
• Список товаров на витрине с текущими адресами страниц.
• Перечень категорий и подкатегорий с указанием, какие товары в них должны попадать.
• Справочники брендов и допустимых значений атрибутов.
• Описание правил, по которым товары считаются одинаковыми.
• Сведения о том, какие адреса уже проиндексированы и менять их нежелательно.
• Информация о том, как настроена синхронизация с учётной системой и как часто она запускается.

Если часть данных отсутствует, это не блокирует работу, но увеличивает долю ручного разбора. В таком случае в оценку закладывают время на уточнение правил и на согласование спорных случаев с владельцем каталога. Полезно заранее посмотреть, как устроен каталог на платформе, — например, в материале каталог товаров на Битрикс: фильтры, скорость и SEO, чтобы понимать, какие настройки влияют на вывод товаров в разделах.

FAQ