Первый фильтр — автоматическая система
Сначала версии проверяет автоматическая система. Под каждое правило размещения в системе заложена машинно обучаемая модель, которая на выходе определяет вероятность нарушения по конкретному правилу. Таких моделей около 200.
Система анализирует все компоненты объявления: заголовок, описание, параметры товара или услуги, фотографии, а также контекст. Контекст — это своего рода история пользователя: что он размещал раньше, под какими аккаунтами. Так находят спамеров, которые регистрируют сотни учётных записей.
Повторная подача — самая распространённая причина блокировки. Бывает, пользователи случайно размещают один и тот же товар два раза. Например, из-за проблем с интернетом или не дождавшись, пока первое объявление пройдёт премодерацию.
Пользователь публикует два объявления. Пропустить первое на сайт?
Пропускаем второе?
В примере выше речь о повторной подаче не идёт, так как человек продаёт футболки разного размера.
Новички, не зная, как отредактировать объявление, часто создают другое с обновлённым контентом. Для предотвращения таких ситуаций ещё на этапе подачи включается автоматический инструмент. Он напоминает пользователю, что товар уже продаётся на Авито, и предлагает отредактировать существующее объявление.
Но в большинстве случаев люди намеренно создают несколько объявлений для одного товара, чтобы быстрее его продать. Чаще всего в разделе с самой высокой конкуренцией — «Недвижимость». В надежде обмануть систему они добавляют новые фотографии и придумывают разные описания.
Для модерации изображений используются нейронные сети. Они находят фотографии одного товара, снятого по-разному. Однако повсеместно эту технологию использовать нельзя. Очевидно, что разные пользователи могут продавать одинаковые вещи.
Пропустить объявление на сайт?
Анализируя текст, система одновременно вникает в смысл и ищет ключевые слова. Смысл важно распознавать, чтобы можно было отличить повторное объявление с переписанным описанием от объявления о продаже товара с похожими характеристиками. Через ключевые слова система находит запрещённые на Авито товары, к примеру, оружие или книги, входящие в перечень экстремистской литературы, как в объявлении выше.
Более 90% объявлений
обрабатываются автоматически
Как устроена ручная премодерация
Система никогда не оценивает нарушения категорично — она вычисляет их вероятность. Если по всем критериям вероятность нарушения ниже значения Х, объявление проходит на сайт. Если хотя бы по одному критерию вероятность превышает значение Y — блокируется.
В некоторых случаях возникает пограничная ситуация — показатель вероятности нарушения вписывается в небольшой диапазон от X до Y. Тогда объявление отправляется на ручную проверку.
Ручная премодерация разделена на две линии. Первая работает с нарушениями на уровне объявления, вторая — на уровне аккаунта автора.
Сотрудники первой линии проверяют те компоненты объявления, которые система отметила как подозрительные. Исключение составляют случаи, когда приходит жалоба. Жалоба — это сигнал, что система, возможно, дала сбой. Слепо верить таким сигналам нельзя, иначе конкуренты заваливали бы друг друга жалобами — нужно полностью проанализировать объявление.
Пропустить объявление на сайт?
Модераторы поделены на команды по рубрикам сайта. Кто-то проверяет бытовую технику, кто-то — автомобили, кто-то — животных. Такой подход позволяет увеличить скорость премодерации: не приходится держать в голове громадное количество нюансов, достаточно быть экспертом в своей теме.
Скажем, модераторы, работающие с животными, почти наизусть знают виды, занесённые в Красную книгу. К ним относится и дальневосточная черепаха из нашего примера. Продажа таких животных на Авито запрещена. Иногда модераторы всё же обращаются к встроенному в интерфейс справочнику. Например, чтобы узнать название вида на латыни.
До 300 версий объявлений
проверяет один модератор первой линии за час
Премодерация на второй линии происходит как минимум вдвое медленнее, чем на первой, поскольку нужно проверить не только само объявление, но и его контекст. Спамеров вычисляют, используя множество различных приёмов.
Как пресекают нарушения
К нарушителям применяют три вида санкций. Самая лёгкая — отклонение объявления — используется, когда нарушения не критичны и их можно исправить. К примеру, пользователь выбрал неправильную категорию.
Система сможет автоматически перенести объявление не более чем в половине случаев. Дело в том, что в каждой категории есть своё дерево параметров, и для переноса нужен корректный маппинг — соответствие данных.
Если человек случайно разместил объявление о продаже собаки в категории «Кошки», проблем не возникнет. А если сумку, объявление придётся отклонить, поскольку для описания сумок предусмотрены другие параметры. В таком случае пользователю придёт сообщение с причиной отклонения и объяснением, как исправить ошибку.
Пропустить объявление на сайт?
Объявление о продаже щебня нельзя пропускать на сайт из-за неверно указанной категории. Некоторые пользователи считают продажу услугой и размещают свои товары в категории «Предложения услуг», хотя на самом деле для этого есть категория «Для дома и дачи» / «Ремонт и строительство» / «Стройматериалы».
Когда нарушение невозможно устранить, следует блокировка объявления. Чаще всего такое случается из-за повторной подачи. На сайте остаётся только одно объявление, а все дубликаты блокируются.
Если пользователь систематически пренебрегает правилами, допускает много серьёзных нарушений или занимается мошенничеством, его учётную запись блокируют. Чтобы он не мог подать объявление с нового аккаунта, служба модерации работает с контекстом: отслеживает связи между учётными записями, используя сотни различных параметров.
Ошибок мало, но они неизбежны
Мошенники постоянно ищут пути обхода блокировок, поэтому приходится усложнять правила размещения. Это приводит к тому, что честным пользователям становится сложнее соблюдать правила. Порой это вызывает недовольство, но другого пути нет.
Процент ошибочных решений колеблется в пределах статистической погрешности. Это естественно, что пользователи замечают именно ошибки в то время, как работа по выявлению тысяч нарушений в день остаётся в тени. Например, в случае с этим объявлением о продаже iPhone X модератор заблокировал заведомо контрафактный товар: такой смартфон стоит намного дороже девяти тысяч.
В случае блокировки объявления пользователь может обратиться в службу поддержки. Если выясняется, что была допущена ошибка, площадка предлагает компенсацию: объявление появляется вверху выдачи, а автор получает бонусные баллы, которые можно потратить на платные услуги.
Источник: Авито
На Авито большое внимание уделяется вопросам безопасности и честности сделок. Для этого платформа разработала правила модерации и проверки объявлений. Благодаря им пользователи могут быть уверены в высокой надежности и прозрачности сделок, а также защищены от мошенничества и недобросовестных продавцов.
В статье мы подробно рассмотрим, как Авито проверяет объявления: распространенные причины отклонения и блокировки, а также сроки модерации и можно ли их ускорить.
Оглавление
- Как работает модерация на Авито
- Почему объявление могут отклонить
- Неверная категория товара
- Неподтвержденный номер телефона
- Некорректное название объявления
- Нерелевантные ключевые слова в описании
- Неподходящее фото
- Неправильная цена
- Несколько товаров в одном объявлении
- Почему объявление могут заблокировать
- Повторное размещение
- Товар продан
- Товар или услуга запрещены на Авито
- Как долго длится проверка объявления
- Возвращают ли деньги при отклонении и блокировке
- Заключение
Как работает модерация на Авито
Система проверки объявлений на Авито работает так:
- автоматическая модерация — компьютер проверяет текст, заголовки, описания и фотографии на соответствие правилам;
- ручная модерация — специалисты платформы проверяют объявления и профили.
Если нарушены правила, например текст скопирован из другого источника или содержит запрещенный контент, объявление могут отклонить или заблокировать. При этом, если объявление отклонено, продавец может исправить его в течение семи дней и повторно отправить на проверку. Если же оно заблокировано, восстановить и отредактировать его уже не получится.
Ниже детально разбираемся, за что объявления на Авито блокируют, а также перечисляем причины, почему их отклоняют.
Если вы только начинаете продавать на Авито, начните со статьи «Как подать объявление на Авито – пошаговая инструкция для бизнеса».
Почему объявление могут отклонить
Если с размещением возникают какие-то проблемы, скорее всего, вы случайно нарушили одно из правил платформы. В зависимости от категории, под которую попадает ваше объявление, причины могут разниться. Так, для «Авто и транспорта» важно проверить правильность указанной марки, модели, VIN-кода и госномера, а для «Работы» нужно убедиться, что не были выставлены дискриминирующие требования вроде «Только до 35 лет» или «Только холостым».
Ниже собрали причины отклонения, которые применимы ко всем категориям, будь то частные или бизнес-объявления любой тематики.
Неверная категория товара
Объявление на Авито может быть отклонено, если выбрана неправильная категория. Например, если вы продаете шпаклевку, но поместили ее в «Личные вещи», а не в «Строительные смеси», ваше объявление отправят на доработку.
Помимо того, что такая путаница неудобна для пользователей, бизнесу это тоже невыгодно: товар просто не будет выпадать при поиске и его не увидят заинтересованные покупатели. Бывает, что товар с одним и тем же названием может подходить под несколько совершенно разных категорий, и указав неверную, вы снижаете шансы на продажу:
Что касается самого Авито, то на площадке действуют лимиты на бесплатное размещение объявлений в одной категории. Например, для автомобилей с пробегом — 1 штука, для электроники — 2, а для одежды — 20. Поэтому, если продавец пытается поместить свой товар «не туда», это может расцениваться как попытка обойти систему и не платить за объявление.
Неподтвержденный номер телефона
Авито активно борется со спамом, и платформе важно, чтобы пользователи использовали реальные номера телефонов. Если указанный номер не был ранее подтвержден системой, скорее всего объявление отклонят.
Но это легко исправить:
- С указанного номера позвоните на бесплатный 88006007664;
- Дождитесь, пока система сбросит звонок;
- Повторно разместите объявление.
Можно проверить в личном кабинете, подтвержден ли ваш номер телефона, нажав «Профиль» → «Управление профилем»:
Некорректное название объявления
Опытные авитологи это прекрасно знают, а вот новички могут быть не в курсе, что объявление отклонят, если в заголовке используются:
- слова, привлекающие внимание — речь про маркетинговые штучки вроде «акция», «скидка», «выгодно» и др.;
- контактная информация — номер телефона, имя менеджера, ник в мессенджере и др.;
- указание цены — ее необходимо прописывать только в специальном поле;
- слишком общие термины — например, вместо «телевизор» написать «электроника», а вместо «самокат» — «средство передвижения».
Заголовок объявления должен быть понятным и конкретным, и в нем можно указать:
- модель, бренд;
- уникальные характеристики: цвет, сорт, серию и др.;
- размер или размерный ряд;
- принадлежность (мужское, женское или детское);
- сроки и географию: например «Чистка диванов за 1 час» или «Перевозка груза по всей России».
Нерелевантные ключевые слова в описании
Ключевые слова сами по себе не под запретом — они только улучшают качество поиска. Другое дело, когда в погоне за количеством просмотров предприниматели на Авито используют теги, не имеющие прямого отношения к продаваемому товару. Как итог, объявление высвечивается как по релевантным, так и по нерелевантным запросам, что затрудняет пользователю поиск нужного товара.
Например, репетитор по химии и биологии может использовать в тексте подходящие ключевые слова — часто их размещают внизу объявления списком:
Неуместные теги для такого объявления: репетитор по математике, подготовка к ГИА, готовые домашние задания и др.
Если вам хочется, чтобы объявление увидело не просто много людей, а заинтересованные пользователи, необязательно прибегать к таким сомнительным методам, как спам тегами. Вместо этого можно запустить качественную рекламу на Авито через рекламную экосистему click.ru, используя вспомогательные инструменты: генератор объявлений, сбор фраз и ассоциаций, маркировщик рекламы и др.
Неподходящее фото
На Авито невозможно разместить объявление без фотографии — это обязательное условие. И к изображениям есть ряд правил, нарушение которых может привести к отклонению. Какие ошибки могут быть?
- Фото содержит запрещенные элементы. Не должно быть контактов, скриншотов личной переписки, неприемлемых и провокационных изображений, нецензурных надписей.
- Неправомерное упоминание Авито. Например, фото не должно содержать прифотошопленных значков «Авито рекомендует», «Лучшая цена на Авито» и др.
- Неоригинальное фото. Нельзя размещать стоковое фото или из другого объявления.
- Неподходящий размер и формат. Допустимы только jpg, jpeg, png и gif до 25 Мб.
Кроме того, есть определенные требования к заглавному фото: на нем должно быть хорошо видно товар, без посторонних элементов, которые могут ввести пользователя в заблуждение.
Неправильная цена
Цена на Авито имеет такое же значение, как ценник в магазине. Поэтому платформа стремится, чтобы в объявлениях указывалась реальная стоимость. Если при разговоре с продавцом покупатель выясняет другую цену, это снижает его доверие к магазину на Авито и к сервису в целом.
Объявление отклонят и отправят на доработку, если:
- пользователь пожалуется в «Поддержку», что продавец запрашивает другую сумму;
- стоимость указана не в рублях;
- указан диапазон цен, вместо конкретного числа;
- указана цена в сумме за несколько единиц товара, которые продаются поштучно;
- в описании объявления стоит другая цена;
- предлагается цена в рассрочку.
Несколько товаров в одном объявлении
На площадке действует правило: один товар — одно объявление. Это создает прозрачность сделки и позволяет пользователям легко оформить заказ с доставкой. Однако часто продавцы размещают несколько разных товаров в одном объявлении, объединяя их общим заголовком:
Таким образом, нарушается сразу два правила Авито: помимо нескольких товаров, в разделе «Цена» указана неактуальная информация. Все это затрудняет пользователям поиск, ведь часто они фильтруют результаты именно по цене, то есть на основе тех данных, которые указываются в соответствующей графе, а не в описании.
К сожалению, иногда такие объявления остаются незамеченными системой и все-таки проходят модерацию. Исправить ситуацию могут сами пользователи, пожаловавшись на нарушение в «Поддержку»:
Почему объявление могут заблокировать
Блокировка — эта крайняя и необратимая мера при нарушении правил Авито. За что и почему могут заблокировать объявление, рассказываем далее.
Повторное размещение
Если продавец повторно размещает товар (услугу), который уже продает в другом объявлении, этого сделать не получится. Даже если попытаться это сделать с другого профиля. Если хотя бы частично скопировать текст из другого своего активного объявления или использовать фото оттуда, такой номер тоже не пройдет.
Также считается нарушением, если у продавца есть несколько объявлений на разные товары и услуги, а в новом он попытается обобщить информацию. Или наоборот, если сначала создает общее объявление на разные товары, а потом хочет выложить отдельное объявление для каждого из них.
Кроме того, за нарушение засчитается, если продавец досрочно снял или удалил старое объявление, а потом создал новое на этот же товар.
Товар продан
Если вы продали товар через Авито Доставку и покупатель его уже получил, объявление автоматически закрывается без возможности его восстановить. Это необходимо, чтобы активными оставались только актуальные предложения с имеющимися в наличии товарами.
Поэтому, если вы продаете не единственный в своем роде товар и у вас есть несколько единиц, укажите это при размещении объявления. Тогда при продаже система не закроет его, а только уменьшит количество на остатке:
Товар или услуга запрещены на Авито
Есть ряд категорий, которые Авито запрещает продавать на своей площадке. Пытаться разместить объявления с ними бесполезно, а если пробовать слишком часто, заблокировать могут целый профиль.
К таким товарам и услугам относятся:
- запрещенные законом к продаже;
- не запрещенные законом, но являющиеся частым инструментом мошенников;
- не поддающиеся проверке на достоверность;
- общественно признанные как негуманные;
- нелегальные услуги под видом разрешенных;
- опасные для здоровья и жизни;
- микродоли менее 6 м2.
Итого, под запрет попадают медицинские услуги, лекарственные средства, табак и алкоголь, редкие и охраняемые животные и растения, финансовые услуги, интеллектуальные права и др. Подробнее со списком запрещенных на Авито категорий товаров и услуг можно ознакомиться на специализированной странице.
Не так страшна блокировка объявления, как блокировка профиля. Рассказываем, как этого избежать, в статье «За что могут заблокировать профиль на Авито: 7 причин».
Как долго длится проверка объявления
Обычно проверка проходит быстро — в течение пары минут, но в отдельных случаях может занять до двух суток. Ускорить этот процесс никак не получится, поэтому не стоит:
- писать в поддержку с просьбой поторопиться или дать ответ на вашему объявлению;
- удалять и заново размещать объявление;
- дублировать объявление;
- бесконечно редактировать объявление, находящееся на модерации.
Возвращают ли деньги при отклонении и блокировке
Отдельно остановимся на случаях, когда при размещении продавец тратит деньги.
Если подключены услуги продвижения. Продвижение начинает действовать сразу после нажатия «Опубликовать», даже если объявление еще на проверке. Если модерация затянется, деньги за услугу все равно будут списываться согласно тарифу. И даже если его заблокируют, потраченные средства уже не вернутся. Поэтому дополнительные услуги лучше подключать после того, как объявление пройдет проверку.
Если это платное объявление. Деньги за размещение списываются, как только вы отправили объявление на проверку. Далее начинается модерация. Если объявление пропустили и опубликовали, но через время заблокировали, например на него пожаловался пользователь за нарушение правил площадки, деньги за размещение не возвращаются. Если же объявление заблокировали до того, как оно стало активным, деньги вернутся на счет.
Заключение
Авито тщательно проверяет объявления, используя автоматическую модерацию и ручную проверку. Модераторы оценивают соответствие правилам, а также проверяют историю профиля, чтобы исключить дублирование и мошенничество. Чтобы ваши объявления не отклонялись и не блокировались, ознакомьтесь с требованиями для своих категорий товаров (услуг). Предоставляйте только достоверную информацию и избегайте нарушений правил платформы. Это поможет успешно продавать на Авито и поддерживать доверие пользователей к вашему профилю.
Модерация на Авито. Как не попасть в БАН.
Модерация на Авито. Как не попасть в БАН.
Прежде всего, чтобы не попасть в бан и ваше объявление успешно прошло модерацию, вам нужно внимательно изучить правила подачи объявлений на Авито.
Виды модерации на Авито бывают двух типов:
- Ручная
- Автоматическая (робот)
В течение от 30 минут до нескольких часов (зависит от модераторов Авито) со времени подачи объявления, Авито проверяет его на наличие нарушений, после чего объявление появляется в поиске.
1. Ручная модерация – это общая аналитика аккаунтов. Проверка живыми людьми.
- Услуги
- Недвижимость.
- Объявления с явными нарушениями
Нарушения при ручной модерации выявляют следующее:
- Масспостинг
- Лояльность
- Легальность товаров или услуг (не запрещены ли она не территории РФ)
- Действительность предоставления товара/услуги.
2. Автоматическая. Проверка машинами. Используется для товаров.
- Текст (нет ли в них ссылок на другие ресурсы, номеров телефонов, перечисления товаров или услуг и прочих нарушений)
- Повторная подача
- Заголовок объявления
- Картинка/фото
- Общее содержание
Сотрудники авито, часто делают прозвон по объявлениям, выявляя продавцов товаров и услуг, которые предоставляют не соответствующие данные в размещаемых ими объявлениях и пытающихся обманным путём, предложить какую-либо услугу или продать какой-нибудь другой вид товара.
Если объявление не соответсвует действительности-они будут вынуждены его забанить и заблокировать аккаунт.
__________________________________________
Причины блокировки объявлений:
- Изучите раздел “Помощь” на сайте.
- Нарушение правил Авито.
- Повторная подача.
- Жалобы конкурентов либо клиентов. (Если вы например демпингуете по цене или продаёте фальсификат под видом настоящего товара)
Как не попасть в БАН:
- Прописывать разные Артикулы (используются при массовом размещении товаров)
- Должны быть только уникальные фотографии (фоны, цвета, различные моменты)
- Использовать в описании товара различные технические характеристики товара
Как разблокировать объявления:
- Исправить причину БАНА.
- Позвонить или написать в тех.поддержку, чтобы объявление перевели из раздела “Заблокированные” в раздел “Отклоненные”, чтобы можно было его исправить.
- Написать в техническую поддержку и попросить их вернуть объявление с учётом исправления ваших ошибок
- Создать новый аккаунт после множества блокировок или заменить (при желании сделать из аккаунта — магазин)
__________________________________________
Чтобы звонки с Авито и ваши продажи были постоянными и не доводилось мучатся с модерацией — доверьте размещение объявлений на Авито, нашей команде в «Amediatex». И вы получите самое высокое качество исполнения по доступным ценам.
Amediatex — это надёжный сервис и эффективность от постинга на Авито, с гарантией результата.
Модерация на Авито
Категория: Авито.
Модерация на авито построена на взаимодействии двух систем — это автоматическая модерация с помощью робота, а также дополнительный контроль со стороны обычных, живых людей. Обо всем порядку.
Автоматический Алгоритм (Модератор-робот)
Система, которая следит за тем, чтобы:
- Пользователи не использовали несколько учетных записей. Для этого система проверяет IP адреса, куки и юзер-агенты всех посетителей сайта и при обнаружении подозрительных сходств блокирует учетную запись. Чтобы такого не случилось, нужно всегда менять IP адрес , главное, чтобы они не совпадали на разных учетных записях, а также не использовать один и тот же браузер или же полностью очищать его перед заходом в другую учетку
- Пользователи не дублировали свои объявления и тем самым не засоряли выдачу. Система сканирует объявления как в рамках одной учетной, так и в рамках всего сайта, что иногда порождает неприятные казусы, о которых позже. Что же проверяет система: Заголовки, тексты и фото на уникальность. При обнаружении 100% совпадения объявление сразу же отправляется в бан. Если аккаунт молодой, то десяток нарушений отправляют в бан и его. Но все это легко решается самой простейшей уникализацией — замена одной буквы в заголовке или тексте или одного пикселя на фото и вуаля — у вас все уникально. К сожалению, это все обход робота, человек конечно же сразу заметит такую подмену
- Касательно казусов, о которых я обещал рассказать: Если подать на 100% одинаковое объявление, слизанное у конкурента, то есть шанс, что и ваша учетная запись и аккаунт конкурента улетят в бан за “использование нескольких учетных записей”. В последнее время это не редкость. Можно использовать для того, чтобы потопить конкурента, но крайне не рекомендую. Я за честную конкуренцию.
Живые модераторы
Отдельно стоит поговорить про живых модераторов, о которых в интернете слагают настоящие легенды. Во первых, стоит упомянуть, что система модерации индивидуальная на каждый регион или даже город, если он большой. Также модераторы разбиты по категориям и каждый следит за своей. Это крайне важный момент, который важен в том контексте, что бывают адекватные модераторы, а бывают не очень адекватные…
Тут стоит сделать лирическое отступление и рассказать про такое явление как “Краснодарские модераторы”. Я не знаю почему, но за 4 года, которые я посвятил сайту авито, я выявил очевидную закономерность — в Краснодаре самая жесткая и беспощадная модерация во всей России. Именно в этом регионе у меня больше всего объявлений улетает в бан, больше всего проблем при постинге и несколько раз именно тут мне банили “белые” аккаунты целиком с 3000-5000 объявлений на борту. Не могу сказать, с чем это конкретно связано, но просто знайте — что с этими ребятами шутки плохи.
Возвращаясь к принципу их работы стоит понимать следующее — в крупных городах, поток объявлений просто гигантский и даже огромный штат авито не успевает просматривать все 100% объявлений. Именно из-за этого может получиться, что в объявлении пройдет какая то хитро замаскированная ссылка или еще что-то, что запрещено правилами, но чаще всего, “косячное” объявление все же находят по следующей причине.
Возвращаясь к модерации роботом, стоит упомянуть еще один интересный механизм, который присущ системе:
— Во первых, существует система “репортов” или жалоб на объявления. Любой из вас может “настучать” на объявление и после примерно 3-5 жалоб на него обратит внимание живой модератор. И если там действительно есть нарушения ( а исходя из размытости правил авито, нарушения можно найти в 90% всех объявлений), то объявление улетит в бан
— Но помимо стукачей, есть еще одна запара — существует также некая система “тревожности”. Существует набор факторов, который добавляет вам что-то типа очков, при накоплении которых ваш аккаунт попадает под более пристальное наблюдение. Примеры активностей: стоп слова (например фразы ру, рф, которые часто присутствуют в ссылках) или большие объемы однообразного цвета на фото (рамки, уголки) — такие объявления не банит робот, они даже проходят модерацию, но со временем объявление все равно блокируют , причем явно с подачи человека.
Важный момент: если по началу, у чистых акков модерация объявлений в автоматическом режиме занимает 10-15 минут, то если аккаунт скомпрометировать вышеуказанными маркерами, то можно заметить, что автоматическая модерация начинает длиться примерно 30 минут. На мой взгляд, это прямое доказательство, что авито “метит” подозрительные аккаунты и в будущем старается проверять их более досконально.
Основные причины блокировки объявлений
Помимо причин, которые я озвучил выше, есть еще и другие нарушения, за которые можно словить блокировку или бан объявления:
- Использование запрещенных, кричащих (привлекающих внимание) или не тематически слов в заголовках. Слова типа “дешево”, “недорого”, “акция”, а так же мат и много чего другого, ведь правила авито довольно размытые и позволяют причислить почти любое слово к “не тематическим”. За это редко банят, часто просто отправляют в “отклоненные”
- Привлечение внимания на фото (использование ярких рамок, цветных уголков или надписей, логотипов. Частая причина для придирки, которая часто отправляет в бан даже вполне себе безобидные фотографии
- Размещение ссылок на фото или в тексте. Авито очень не любит ссылки и банит объявления при обнаружении всего, что хотя бы издали похоже на ссылку, порой до маразма
- Ключевые слова в тексте. В последнее время очень сильно придираются к блокам ключей, которые я уже давно практикую, но все лечится органичным вплетением их в текст, а не тупым перечислением
- Еще одна частая причина, с которой стоит смириться — так захотел модератор. Да, бывает что объявление забанено по причине, что модератор нашел на фото пару пикселей, похожих на логотип или же перечисление преимуществ объявлении — это ключевые слова в описании.
Обход ограничений авито
Итак, теперь мы знаем с чем мы боремся. Вопрос — как сделать так, чтобы забыть про баны навсегда? Ответ на самом деле очень прост:
- Использовать 1 аккаунт
- Использовать уникальные фотографии, заголовки, тексты
Как мы запустили автоматическую модерацию видео в объявлениях Авито
Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров6.4K
Привет! Я Владимир Морозов, senior DS engineer в команде модерации Авито: в основном занимаюсь автомодерацией видео, но развиваю и другие проекты.
В статье рассказываю, с какими трудностями мы столкнулись при модерации видео в условиях небольшого количества данных, и как их решили. Думаю, материал будет полезен всем, кто занимается похожими задачами в крупных продуктовых компаниях.
Что внутри статьи:
Зачем Авито следить за видео и какие воообще есть подходы к модерации
Какой была наша первая система модерации видео и с какими проблемами мы столкнулись
Как мы собрали данные для автоматической модерации
Какие технологии используются в модерации сейчас — разбираю по доменам данных
Как мы анализируем работы модели автомодерации
Вместо выводов
Зачем Авито следить за видео и какие вообще есть подходы к модерации
Модерация в Авито — это выявление проблем в объявлениях, которые люди публикуют на площадке. Размещения проверяют на соответствие правилам сервиса и могут отклонить их, если что-то не так.
Сейчас в объявления можно добавлять видео — это помогает покупателям быстрее выбирать товары, а продавцам — подтолкнуть заинтересованных людей к сделке. Но видео тоже нужно модерировать, ведь там могут быть нарушения.
Подходы к модерации бывают разные, и их выбор зависит от задачи. Например:
Премодерация или постмодерация. Если риски нарушений большие, а модерация проходит быстро — лучше проверять объявления перед публикацией. А если рисков мало, то можно делать использовать постмодерацию.
Ручная или автоматическая модерация. Ручную модерацию проще запустить: достаточно привлечь людей, чтобы они начали искать нарушения. Но тут есть сложности: например, нужно следить, чтобы они работали добросовестно.
У автоматической модерации тоже есть свои минусы — о них подробнее расскажу ниже — и её сложнее запустить. Но в сравнении с ручным подходом у неё много преимуществ, которые помогают быстро масштабироваться: такая модерация дешевле, быстрее и даёт более предсказуемый результат.
Какой была наша первая система модерации видео и с какими проблемами мы столкнулись
Видео — новый домен, с которым в Авито раньше не работали. К тому же быстро построить автоматическую модерацию проблематично. Поэтому на первом этапе мы сделали такую систему:
Суть подхода: если в самом объявлении нет нарушений, мы публикуем его, но сначала без видео. Затем ролик проходит премодерацию и ручную модерацию. Если всё в порядке — он появляется в объявлении. Мы сделали так для того, чтобы не увеличивать время модерации из-за возможности добавить видео.
Теперь поговорим о нарушениях, которые мы ищем во время модерации. В задаче можно выделить две составляющие:
-
причина нарушения — например, люди на видео просят людей переходить на другой сайт;
-
домен нарушения — в кадрах видео, его качестве, в аудио или в связи публикации и ролика. Например, если в объявлении о продаже квартиры добавляют видео с котиками.
Так как все видео раньше проходили только через ручную модерацию, то проявились все недостатки такой системы. А именно:
-
Затраты на ручную модерацию. Чем сложнее объект, тем дороже модерация, и видео требует больше затрат, чем изображения.
-
Сложно управлять потоком модерации. Если количество контента вырастет, придётся нанимать новых сотрудников. А если его станет меньше, освободившихся людей нужно будет чем-то занять.
-
Человеческий фактор. Ручную модерацию нужно очень качественно проверять, но это не всегда получается — иногда бывают конфликты.
-
Время проверки. Ручная модерация в разы медленней автоматической.
Поэтому мы решили начать постепенный переход на автоматическую модерацию.
Как мы собрали данные для автоматической модерации
Когда к нам в отдел пришли за созданием автоматической модерации видео, мы думали, что у нас будет много данных хорошего качества и с явной разметкой, — так что мы сможем легко обучить модели. Реальность оказалась сложнее и вот почему:
-
Данных было мало. На тот момент возможность добавить видео внедрили совсем недавно, ей мало пользовались, нарушений в большинстве роликов не было. Поэтому поиск данных для обучения моделей оказался непростой задачей.
-
Разметка была шумной, потому что в первую очередь предназначалась для оценки работы ручной модерации. Например, не было разметки на домены или подробной разметки на причины нарушений.
-
По правилам хранения, видео с нарушениями удалялись спустя несколько дней после замены на исправленные версии, поэтому важные данные не накапливались в значительном объеме.
Поэтому для большого количества задач нам пришлось использовать открытые датасеты, парсить YouTube и разные видео-стоки.
Встречались забавные датасеты — например, датасет на насилие, где пара людей в комнате разыгрывали разные сцены. Но по реакции было непонятно, насилие это или нет: один изображал, что бьёт второго палкой, а при этом оба смеялись.
Какие технологии используются в модерации сейчас — разбираю по доменам данных
В итоге мы собрали видео и разбили их на домены, о которых я писал выше: видеоряд, аудио, метаданные и информация из объявления. Расскажу про каждый.
Модерация видеоряда. Вот как работает наша модель:
-
Выбираем фреймы из видео. Эту задачу можно решать по-разному: например, брать случайно, брать каждый N-й, ключевые фреймы или проводить кластеризацию. Главное учитывать, что некоторые методы можно легко взломать (привет, 25 кадр).
-
Преобразуем фреймы для классификации. В качестве энкодера можно использовать CNN/CLIP/BLIP. Третий по нашим бенчмаркам показывает лучшее качество, но можно начать и с CLIP, что мы и сделали.
-
Агрегируем фреймы в один эмбеддинг с помощью Joint Net. В качестве бейзлайна всегда можно взять усреднение или максимум, а потом постепенно перейти к нейронкам. Для коротких видео это весьма качественный бейзлайн, который даёт хорошие метрики.
-
Обучаем классификационные головы под каждую из причин. Получается, что у нас много голов под разные задачи, их легко добавлять и трекать качество, а самая тяжёлая часть — получение эмбеддинга видео — считается всего один раз. Всё прекрасно.
Тут мы не используем никакие дополнительные фичи, например аудио, потому что на старте проекта это значительно усложняет разработку.
Но иногда бывает, что данных нет вообще — как и времени их собирать. Например, хочется быстро покрыть какую-то не очень важную причину. Скажем, отклонять видео, если на них появляется кальян.
Тогда можно использовать, например, Zero Shot-подход для CLIP, так как он обучался на сопоставление текста и изображений. Мы кодируем промпты для поиска и фреймы, а затем вероятность класса вычисляется как максимальный скор между промптом и перебором всех фреймов:
Но на самом деле, связь между фреймами не всегда важна, в основном это action recognition или какие-то сложные уловки нарушителей. Так что если у вас в компании есть картиночные классификаторы для нахождения нарушений, то можно попробовать и их.
Также большой пласт нарушений кроется в логотипах — например, недобросовестные пользователи могут уводить на видео людей к конкурентам. Такие проблемы мы тоже научились находить, используя детектор и потом векторный поиск по базе логотипов:
С выявлением лиц немного сложнее — их тоже важно находить, потому что недобросовестные пользователи могут, например, нарушать авторские права и брать чужие фото. Тут мы прогоняем кадры через какой-то легковесный классификатор, который точно говорит, есть ли на фрейме изображение. Оставляем только фреймы, где точно есть нарушение, и сравниваем картинки с лицами, которые есть у нас в базе:
Модерация текстов в видео. Большой пласт нарушений кроется в текстах на видео — например, там могут быть оскорбления или попытка увести на сайты конкурентов.
Здесь на помощь приходит OCR, который может дать нам весь текст из видео, а дальше нужно найти в этом тексте нарушения. В качестве бейзлайна, — особенно когда у вас нет данных, но вы знаете, что хотите находить, — можно использовать регулярочные модели:
Модерация аудио. Здесь работа похожа на ту, что происходит с OCR, только мы используем транскрибатор для аудио. В качестве бейзлайна мы взяли Whisper — он мультиязычный и весьма хорошо работает, — и дообучили на данных Авито. Далее схема такая: аудио поступает на вход, мы транскрибируем его через Whisper и прогоняем через всевозможные текстовые классификаторы для поиска нарушений:
Ещё часть нарушений в аудио можно найти не в речи, а по звукам — например, громкие посторонние шумы. Для покрытия таких кейсов мы используем аудио-классификатор Audio Spectrogram Transformer, который прекрасно находит разные нарушения в звуках.
Модерация качества видео. Чтобы исключить ролики совсем плохого качества, можно проанализировать метаданные видео: смотреть на битрейт или FPS (frames per second). Битрейт показывает, сколько битов меняется при изменении нового фрейма, а FPS — сколько фреймов меняется за секунду. На метаданных можно обучить какой-то базовый классификатор, чтобы он предсказывал качество видео.
Проверка: подходит ли видео для объявления. Здесь мы тоже решили не изобретать велосипед и переиспользуем CLIP: получаем эмбеддинги для всех фреймов, то же самое делаем для картинок и текста в объявлении. Потом все эти эмбеддинги аггрегируем и прогоняем через классификационную голову, которая подсказывает, есть нарушение данного типа или нет:
Что в итоге: общая схема автомодерации. Это не одна большая модель, а скорее множество моделей разной сложности — они взаимодействуют и вместе говорят, есть нарушение в видео или нет.
Сейчас большинство роликов проходят автомодерацию и публикуются на сайте гораздо быстрее, чем раньше, когда всё работало в ручном режиме. Сейчас ручную проверку проходят только те видео, где автоматическая модерация обнаружила нарушения, а это небольшой процент роликов.
Как мы анализируем работу модели автомодерации
Обычно смотрят на два типа метрик:
-
Бизнес-метрики. Например, уровень автоматизации или доля ошибок.
-
ML-метрики: Recall, Precision в целом и в разных разрезах — по доменам, по моделькам.
Чтобы оценить ML-метрики, мы ввели два основных изменения: поменяли инструкцию по разметке видео и добавили небольшой сэмплер, который кидает часть видео, где мы не нашли нарушения, на ручную модерацию.
Если автомодерация нашла нарушение, мы можем найти True positive и False positive. Если автомодерация ничего не нашла, основная часть видео публикуется на сайт, и какой-то сэмпл отправляется на ручную модерацию, из которого мы достаем False negative и True Negative для оценки ML-метрик.
Вместо выводов
В итоге благодаря грамотной декомпозиции задач и использованию уже существующих решений нам удалось покрыть все ключевые причины нарушений в видео без необходимости «изобретать велосипед». Это помогло оптимизировать процессы модерации видео — повысить их эффективность и снизить затраты.
Помимо модерации сложных доменов вроде видео, у нас в команде есть и другие амбициозные проекты. Например, автоматическое исправление нарушений за пользователя, применение методов few-shot для текстов и изображений, блокировка дублей и всё это — в высоконагруженной системе с большим влиянием на всю компанию.
Спасибо за уделенное статье время! На любые вопросы о нашем опыте в модерации видео я с радостью отвечу в комментариях или же пишите мне, контакты для связи:
-
Telegram: @vladitm
-
LinkedIn: Vladimir Morozov
А если вам интересны подобные задачи, приглашаем вас присоединиться к нашей команде — скучно точно не будет! О том как это сделать — по ссылке.