Image Moderation Model

Image Moderation Model — это инновационное решение, позволяющее отслеживать и фильтровать потенциально нежелательные или опасные изображения. С её помощью вы сможете надежно защитить пользователей от агрессивного, неприемлемого и вредоносного контента, повышая доверие к вашему продукту и формируя безопасную среду для всех.

Модель анализирует изображения по ряду ключевых категорий и определяет наличие следующего контента:

harassment: Контент, который выражает, подстрекает или пропагандирует оскорбительные высказывания в отношении любой целевой аудитории. Контент оскорбительного характера, который также включает насилие или нанесение серьезного вреда любой цели.
hate: Контент, который выражает, подстрекает или пропагандирует ненависть по признаку расы, пола, этнической принадлежности, религии, национальности, сексуальной ориентации, инвалидности или касты. Контент, разжигающий ненависть и направленный на незащищенные группы, является домогательством. Разжигающий ненависть контент, который также включает насилие или серьезный вред целевой группе по признаку расы, пола, этнической принадлежности, религии, национальности, сексуальной ориентации, инвалидности или касты.
illicit: Контент, который дает советы или инструкции о том, как совершать незаконные действия (например, «как воровать в магазине»). Также включает упоминания насилия или приобретения оружия.
self-harm: Контент, который пропагандирует, поощряет или изображает акты членовредительства, такие как самоубийство, нанесение порезов и расстройства пищевого поведения. Контент, в котором говорящий заявляет, что совершает или намеревается совершить акты самоповреждения. Контент, поощряющий или инструктирующий, как совершать такие акты.
sexual: Контент, призванный вызвать сексуальное возбуждение, например, описание сексуальной активности или продвижение сексуальных услуг (за исключением тем, связанных с половым воспитанием и ЗОЖ). Сюда же относится сексуальный контент, включающий лицо моложе 18 лет.
violence: Контент, изображающий смерть, насилие или физические травмы. Контент, в котором подробно описываются смерть, насилие или физические травмы.

Наша модель с высокой точностью определяет перечисленные категории в графическом контенте и возвращает результат в удобном формате. Подобный функционал идеально подходит для социальных сетей, платформ для обмена изображениями, новостных ресурсов, а также корпоративных решений по модерации пользовательского контента.

Пример использования (curl)

Отправьте изображение через multipart/form-data в параметре file. Ниже приведён пример использования через curl:

curl -X POST "https://ai-platform.shertaev-tech.kz/api/v1/image-moderation" \
     -H "Content-Type: multipart/form-data" \
     -F "file=@/path/to/image.jpg"

Пример ответа

{
  "isValid": true,
  "errors": []
}

isValid указывает, можно ли считать контент допустимым, а errors содержит массив категорий, по которым контент может не соответствовать политике модерации.

Внедрив Image Moderation Model в свой продукт, вы сможете оперативно отслеживать нежелательные изображения, своевременно принимать меры и обеспечивать высокий уровень доверия со стороны вашей аудитории.

AI Platform