#модерация контента

Вы могли заметить новость, что эпол начал сканировать фотографии на айфонах на предмет детского порно.

Официальная новость на сайте Apple следующая:

2. ... Если вы американский пользователь и хотите загрузить свои фотографии в iCloud (включили облачное хранилище фотографий) — то перед загрузкой, прямо на телефоне, алгоритм проверит, если ли на фотографии известное силовикам детское порно. В случае, если машина считает, что порно есть — фото смотрят глазами сотрудники Apple и после этого пересылают американским спецслужбам. ...

—

Цифровые активисты жутко возбудились, многие медиа написали про это статьи.

Я понимаю идею «не пяди земли врагу», в смысле «не пустим большого брата следить за нами», но реальность следующая: уже многие годы, американские спецслужбы поддерживают национальный архив детского порно. Каждый раз, когда вы загружаете фотографию в соцсеть или на облачное хранилище, специальный алгоритм проверяет, не является ли ваша фотография копией из той самой папочки. Если является — товарищ майор оперативно об этом узнает. Я точно знаю из личных разговоров, что такой алгоритм есть у фейсбука (и это публичная информация), а у гугла даже есть специальное API для этих задач, и они сканируют все фотки, до которых доберутся руки, с 2008 года.

Даже больше, инстаграм и другие сервисы сканируют все ваши фотографии на своих серверах, причем не просто сравнивают их с известным детским порно, а используют алгоритмы машинного обучения, которые «угадывают», что на фото «голые дети».

Пример из жизни: у моей жены есть закрытый инстаграм (ни у кого кроме неё нет доступа), где она ведет свой небольшой архив семейных фотографий. Так вот, инстаграм блокирует фотографии, на которых есть голые груди моих 3-5 летних дочек.

Apple только сравнивает фотографию с базой данной известного порно, никаких попыток угадать, что на фото. Причем делают это внутри телефона, чтобы не обрабатывать наши фотографии на своих серверах.

—

1) Удивительно, что Apple начала делать это только сейчас. 2) Apple — большие молодцы, из всех крупных игроков они делают это с наименьшим вторжением в нашу частную жизнь.

Я отсмотрел 5000 фотографий профилей в Pure за 3 часа и нашёл среди них несколько пенисов и вульв.

Важное различие магазинов мобильных приложений Apple AppStore и Google Play в том, что каждое обновление всех приложений в AppStore проходит ручную проверку модераторами Apple. Правила достаточно подробные и написаны понятным языком, но при этом напирают на здравый смысл, а не на следование букве текста. Например, про порно они раньше приводили знаменитую цитату судьи конституционного суда США «узнаю, когда увижу» (сейчас цитируют определение из словаря). При этом то, к чему придерется один модератор, может пропустить другой. Гуглу всё фиолетово.

Новую версию нашего приложения недавно задержали в ревью AppStore из-за голого тела в ленте, так что держать ленту чистой от органов — важная задача.

Книжная цензура в царской России и СССР была в режиме премодерации, цензоры читали каждую книгу до печати; Роскомнадзор работает по схеме постмодерации, блокирует уже публичный контент. У нас гибридная модель: при загрузке фото его рассматривает наш алгоритм и при необходимости сервис машинного зрения Amazon Rekognition. Если они не находят голого тела, то картинка становится публичной и её с большой вероятностью посмотрит наш модератор и может удалить постфактум.

Наши модераторы работают в стандартной джанго-админке, из-за чего часть фотографий оставалась непросмотренной. Я провел в ней три часа. За эти три часа я успел просмотреть 5 тысяч фоток и хорошенько обдумать, что главное в новой админке — возможность одним кликом отмечать плохие фотки и мгновенно переходить к следующей пачке фотографий для просмотра. Очевидно хочется, чтобы все дубликаты однажды забаненной фотки банились автоматически. Главная метрика качества системы — сколько времени голая фотка провисит в ленте до удаления (хочется как можно меньше).

Наткнулся после этого экспириенса на разговор Марка Цукерберга и техдира фейсбука и удивился, что они там говорят про то же самое «улучшение детекта дубликатов в модерации». Правда у них другая большая проблема — всякая рачлененка и прочая жесть, от просмотра которой полный рабочий день 30 тысячам модераторов фейсбука очень плохо, а некоторые даже кончают жизнь самоубийством. Для борьбы с этим они собираются машинно блюрить части «жестких» картинок или переводить их в чб, чтобы смысл оставался понятен, а урон психике модераторов был поменьше. Слава богу у нас такого нет.

Очень интересно, как устроена система модерации во Вконтакте и у Одноклассников. Это ведь целый мир, гиганская сложная машина. Мне рассказывали, что у фейсбука есть отдельная система модерации приватных групп, в которых никто ни на что не жалуется. В этих группах сидят педофилы и довольные обмениваются детским порно, пока их не засекает сам ФБ и не сдает правоохранителям. Хочется похожие кулстори от ВК и Одноклассников послушать. Сколько платят модераторам? Какой рабочий день? На что странное жалуются пользователи? Интересно!

А админкой новой похвастаюсь как запустим, уже скоро.

P.S. После длительного просмотра фоток на самом деле больше ничего не хочется. Жаль, что приходится людям это делать.

Сходил утром на часовое выступлении-интервью (fireside chat, буквально переводится беседа у камина) интервью Мэтью Принца. Мэтью дико интересный. Заглянул потом на Linkedin интервьювера Эндрю Маклафлина и сижу поднимаю челюсть. 5 лет директор в Google, Execute Vice President в tumlr, 2 года CEO в Digg и так далее и тому подобное.

Помните статью, которую Мэтью написал после того выпилил сайт Daily Stormer? Он там говорил, что его беспокоит власть, которую он имеет над свободой слова в интернете. Сегодня он в основном говорил о том, что радикальная свобода слова — чисто американская тема, а вот «власть закона» — гораздо более универсально принятое в мире понятие. В контексте интернет-компаний, она состоит из двух компонент: прозрачность — правила должны быть известны, а прогресс процесса видим и универсальность — все равны перед законом.

Что там с прозрачностью правил, по которым Google и Facebook блокирует контент? Что с равенством, когда у тебя есть знакомый или когда ты поднимаешь достаточно громкий хайп в новостях? Вот и я о том же.

Я задал Мэтью один вопрос — что вы будете делать, если РКН потребует заблокировать какой-то сайт для русских пользователей и будет угрожать заблокировать весь Cloudflare целиком? Ответ: «мы пока с таким не сталкивались». Удивительно.

Кстати, если вы делаете медиа и всё ещё не используете анти-DDoS защиту от Cloudflare — самое время её включить. Лучше не дожидаться, пока ваш сайт положат или он сам сломается в пик популярности. Включите Cloudflare и спите спокойно. Ах да, ещё сайт начнет открываться быстрее для всех пользователей, даже вне атак. Вам скорее всего хватит бесплатного режима, а для платных фич существует программа поддержки медиа Galileo. Если вы медиа и вам нужна техническая помощь — не стесняйтесь, пишите в личку.

Попробуйте заменить в предыдущем сообщении первую фразу на «Медиум борется с неправильными идеями на своей платформе».

Медиум борется с фашистами на своей платформе.

Вот посмотрите, какие были правила:

Medium exists for people to share their opinions, thoughts, and ideas, and to move conversation forward. We support vigorous debate of substantive issues. Inevitably this will lead to disagreements and heated discussions. Sometimes this will enlighten. Other times it will frustrate. In all cases, we ask that our users treat each other with respect.
Medium is a free and open platform for anyone to write their views and opinions. As such we don’t vet or approve posts before our users publish them. We believe free expression deserves a lot of leeway, so we generally think the best response to bad ideas is good ideas, not censorship.

И какие стали

We welcome discussion from the broad spectrum of viewpoints. Nevertheless, to maintain a safe and welcoming environment for a wide range of people to engage in meaningful conversations, we prohibit certain conduct. Each participant in our community is responsible for maintaining these standards.
In deciding whether someone has violated the rules, we will take into account things like newsworthiness, the context and nature of the posted information, and applicable privacy laws.

Дальше там длинный абзац про hate speech и про то, что учитывается, что автор делает на других платформах. То есть условно медиум смотрит, что ты пишешь плохое про девочек в твиттере и всё, привет.

Медиум уже заблочил по этим правилам некоторых популярных нациков.

Никогда бы не подумал, но «починить стремный контент» в соцсетях (fake news, расизм, сексизм, террористы и toxic content for children) собирается Unilever (Lipton, Rexona, Domestos, Calve: это пятая по размеру FMCG компания в мире). Они пугают Google и Facebook, что откажутся от рекламы на их площадках, если те не решат проблему трешового user generated content.

А что, они ведь платят деньги и являются настоящими клиентами Google и Facebook (в прошлом году Unilever потратил 2.4 миллиарда долларов на онлайн-рекламу).

http://www.latimes.com/business/technology/la-fi-tn-unilever-ads-google-facebook-20180212-story.html