кнопка почта ru

Время на прочтение

Привет, Хабр! Сегодня я хочу рассказать вам про наш относительно недавно созданный сервис капчи. Этот сервис отличается от аналогичных тем, что нашу капчу

чаще всего вообще не требуется разгадывать. Как известно, капча негативно влияет на конверсию — не все могут быстро ее разгадать, особенно если она неоправданно сложная, а часть пользователей уходят с ресурса. И я не знаю таких людей, которые любят ломать глаза и получают удовольствие от процесса разгадывания. Поэтому если избавить пользователя от необходимости вводить еще одно дополнительное поле, то это сделает его немножечко лояльнее.

Вряд ли кто-то сможет разгадать эту капчу 🙂

Как это выглядит для пользователя

Сервис задумывался с той целью, чтобы человеку приходилось вводить капчу максимально редко, в идеале — никогда. Для пользователя Некапча представлена в виде виджета, который может располагаться в любом месте формы. Виджет может находиться в одном из двух состояний: верифицированном и неверифицированном.

Неверифицированное состояние, требуется ввести капчу.

Виджет будет находиться в неверифицированном состоянии, если алгоритм посчитал, что пользователь является автоматизированным скриптом. В этом случае необходимо правильно ввести капчу. Если рисунок плохо читается, то его можно обновить. В рисунке капчи мы постарались достигнуть баланса читаемости и сложности.

Верифицированное состояние, проверка капчей не нужна.

Если алгоритм Некапчи с большой долей вероятности определил, что пользователь является человеком, то виджет будет находиться в верифицированном состоянии.

Как это выглядит для вебмастера

Встроить Некапчу обычно не составляет большого труда. Для начала необходимо зарегистрировать свой домен на сайте Некапчи (поддерживаются IDN). Домену ставятся в соответствие два ключа: публичный и секретный. Публичный ключ нужен для генерации капчи, а секретный — для проверки.

API сервиса очень простое и состоит из двух вызовов:

На страницу добавляется ссылка на скрипт:

Виджет добавляет два новых поля в форму:

В зависимости от метода запроса либо отрисовывается форма, либо выполняется обработка отправленной формы. После встраивания обработчик незначительно изменяется:

Добавились константы ключей, которые используются для отображения формы и проверки капчи. Перед отображением формы генерируется тег со ссылкой на скрипт Некапчи, в которую передается публичный ключ. До обработки полей формы выполняется запрос на проверку капчи. В зависимости от ответа сервиса обработчик может либо продолжить работу, либо проинформировать пользователя о непройденной анти-бот проверке и попросить повторить ввод. В этом примере используются вспомогательные функции из PHP-модуля, о котором будет чуть подробнее рассказано ниже.

Вот так схематично выглядит диаграмма сообщений, когда пользователь заходит на страницу с формой, которая использует Некапчу:

А так выглядит диаграмма сообщений, когда пользователь отправил заполненную форму:

Настройка виджета

Виджет поддерживает локализацию. С помощью параметра lang задается один из двух доступных языков: русский или английский. По умолчанию используется русский язык.

Также можно задать tabindex поля для ввода капчи, чтобы обеспечить непрерывный ввод данных и корректное переключение по TAB между полями формы. Для этого используется параметр tabindex.

Документация и вспомогательные модули

Мы постарались составить хорошую и полную документацию о том, как встраивать Некапчу, как она работает и как пользоваться ее API. Она доступна по адресу.

Кроме этого, были реализованы небольшие вспомогательные модули для двух языков — PHP и Python. Они расположены на github, доступны для скачивания, изучения и использования в любых проектах. В этих модулях есть несколько примеров, которые помогут разобраться с тем, как пользоваться их функциями. Также на основе исходного кода модулей можно легко написать свои собственные библиотеки для других фреймворков.

Надеюсь, наш новый сервис придется вам по вкусу, и ваши пользователи оценят его преимущества. 🙂

Текстовые капчи легко распознаются нейронными сетями глубокого обучения

Нейронные сети глубокого обучения достигли больших успехов в распознавании образов. В тоже время текстовые капчи до сих пор используются в некоторых известных сервисах бесплатной электронной почты. Интересно смогут ли нейронные сети глубоко обучения справится с задачей распознавания текстовой капчи? Если да то как?

Что такое текстовая капча?

Капча, как правило, используется на странице регистрации для защиты от ботов рассылающих спам.

Полносверточная нейронная сеть

Если буквы “слиплись”, то их обычно очень трудно разделить эвристическими алгоритмами. Следовательно, нужно искать каждую букву в каждом месте картинки. С этой задачей справится полносверточная нейронная сеть. Полносверточная сеть — сверточная сеть без полносвязного слоя. На вход такой сети подается изображение, на выходе она выдает тоже изображение или несколько изображений (карты центров).

Количество карт центров равно длине алфавита символов использованных в определенной капче. На картах центров отмечаются центры букв. Масштабное преобразование, которое в сети происходит из-за наличия пуллинг слоев, учитывается. Ниже показан пример карты символа для символа “D”

В данном случае используются сверточные слои с паддингом так, чтобы размер изображений на выходе сверточного слоя равнялся размеру изображений на входном слое. Профиль пятна на карте символа задается двумерной гауссовой функцией с ширинами 1.3 и 2.6 пикселей.
Первоначально полносверточная сеть была проверена на символе “R”:

Для проверки применялась небольшая сеть с 2мя пуллингами, натреннированная на CPU. Убедившись, что идея хоть как то работает, я приобрел б/у видеокарту Nvidia GTX 760, 2GB. Это дало мне возможность тренировать более крупные сети для всех символов алфавита, а также ускорило обучение (примерно в 10 раз). Для тренировки сети использовалась библиотека Theano, на текущий момент уже не поддерживаемая.

Тренировка на генераторе

Разметить большой датасет вручную казалось делом долгим и трудозатратным, поэтому было решено генерировать капчи специальным скриптом. При этом карты центров генерируются автоматически. Мною был подобран шрифт, используемый в капче для сервиса Hotmail, сгенерированная капча визуально была похожа по стилю на реальные капчи:

Финальная точность тренировки на сгенерированных капчах, как оказалось, в 2 раза ниже, по сравнению с тренировкой на реальных капчах. Вероятно, такие нюансы как степень пересечения символов, масштаб, толщина линий символов, параметры искажения и т. п., важны, и в генераторе эти нюансы воспроизвести не удалось. Сеть тренированная на сгенерированных капчах давала точность на реальных капчах около 10%, точность — какой процент капч распознался правильно. Капча считается распознанной, если все символы в ней распознаны правильно. В любом случае этот эксперимент показал, что метод рабочий, и требуется повысить точность распознавания.

Тренировка на реальном датасете

Для ручной разметки датасета реальных капч был написан скрипт на Matlab с графическим интерфейсом:

Здесь кружочки можно расставлять и двигать мышкой. Кружочком отмечается центр символа. Ручная разметка занимала 5-15 часов, однако есть сервисы, где за не большую плату размечают вручную датасеты. Однако, как оказалось, сервис Amazon Mechanical Turk не работает с российскими заказчиками. Разместил заказ на разметку датасета на известном сайте фриланса. К сожалению, качество разметки было не идеальным, поправлял разметку самостоятельно. Кроме того, поиск исполнителя занимает время (1 неделя) и также это показалось дорого: 30 долларов за 560 размеченных капч. От данного способа отказался, в итоге пришел к использованию сайтов ручного распознавания капч, где самая низкая стоимость 1 доллар за 2000 капч. Но полученный ответ там — это строка. Таким образом, ручной расстановки центров избежать не удалось. Более того, исполнители в таких сервисах допускают ошибки или вовсе действуют недобросовестно, печатая произвольную строку в ответе. В итоге приходилось проверять и исправлять ошибки.

Более глубокая сеть

Очевидно точность распознавания была недостаточна, поэтому возник вопрос подбора архитектуры. Меня интересовал вопрос “видит” ли один пиксель на выходном изображении весь символ на входном изображении:

Таким образом, мы рассматриваем один пиксель на выходном изображении, и есть вопрос: значения каких пикселей на входном изображении влияют на значения этого пикселя? Я рассуждал так: если пиксель видит не весь символ, то используется не вся информация о символе и точность хуже. Для определения размера этой области видимости (будем называть ее так), я провел следующий эксперимент: установил все веса сверточных слоев равным 0.01, а смещения равным 0, на вход сети подается изображение, в котором значения всех пикселей равны 0 кроме центрального. В результате на выходе сети получается пятно:

На рисунке можно представить, что это вид на изображения с боку или, что у нас высота изображений равна 1. Каждый из пикселей A и B имеет свою зону влияния на выходном изображении (обозначены синим цветом): для А это D-C, для B это C-E, на значения пикселя C влияют значения пикселей A и B и значения всех пикселей между A и B. Расстояния равны: AB = DC = CE (с учетом масштабирования: в сети присутствуют пуллинг слои, поэтому входное и выходное изображения имеют разные разрешения). В итоге, получается следующий алгоритм нахождения размера области видимости:

Чтобы посмотреть какие признаки сеть использует, провел следующий эксперимент: в тренированную сеть подаем изображение капчи, на выходе получаем изображения с отмеченными центрами символов, из них выбираем какой-нибудь задетектированный символ, на изображениях-картах центров оставляем ненулевой только ту карту, которая соответствует рассматриваемому символу. Такой выход сети запоминаем как

— входное изображение сети,

— выходные изображения сети,

— некоторая константа, которая подбирается экспериментально (

). При такой минимизации вход и выход сети считаются переменными, а веса сети константами. Начальное значение переменной

это изображение капчи, является начальной точкой оптимизации алгоритма градиентного спуска. При такой минимизации мы уменьшаем значения пикселей на входе изображения, при этом сдерживаем значения пикселей на выходном изображении, в результате оптимизации на входном изображении остаются только те пиксели, которые сеть использует в распознавании символа.
Что получилось:
Для символа “2”:

Для символа “5”:

Для символа “L”:

Для символа “u”:

Изображения слева — исходные изображения капч, изображения справа — это оптимизированное изображение

Было проведено много экспериментов с архитектурой сети, чем более глубокая и широкая сеть, тем более сложные капчи она может распознавать, самой универсальной архитектурой оказалась следующая:

Синим цветом, поверх стрелок, показано количество изображений (feature maps). c- сверточный слой, p — max-pooling слой, зеленым цветом внизу показаны размеры ядер. В сверточных слоях используются ядра 3×3 и 5×5 без strade, пуллинг слой имеет патч 2×2. После каждого сверточного слоя есть ReLU слой (на рисунке не показан). На вход подается одно изображение, на выходе получется 24 (количество символов в алфавите). В сверточных слоях паддинг подобран таким образом, чтобы на выходе слоя размер изображения был таким же как и на входе. Паддинг добавляет нули, однако это никак не влияет на работу сети, потому что значение фонового пикселя капчи — 0, так как всегда берется негативное изображение (белые буквы по черному фону). Паддинг лишь незначительно замедляет работу сети. Так как в сети 2 пуллинг слоя, то разрешение изображения на выходе в 4 раза меньше разрешения изображения на входе, таким образом каждый пуллинг уменьшает разрешение в 2 раза, например, если на входе у нас капча размером 216×96 то на выходе будет 24 изображения размером 54×24.

Улучшения

Переход от решателя SGD к решателю ADAM дал заметное ускорение обучения, и финальное качество стало лучше. Решатель ADAM импортировал из модуля lasagne и использовал внутри theano-кода, параметр learning rate ставил 0.0005, регуляризация L2 была добавлена через градиент. Было замечено, что от тренировки к тренировке результат получается разный. Объясняю это так: алгоритм градиентного спуска застревает в недостаточно оптимальном локальном минимуме. Частично поборол это следующим образом: запускал тренировку несколько раз и выбирал несколько самых лучших результатов, затем продолжал их тренировать еще несколько эпох, после из них выбирал один лучший результат и уже этот единственный лучший результат долго тренировал. Таким образом удалось избежать застревания в недостаточно оптимальных локальных минимумах и финальное значение функции ошибок (loss) получалась достаточно малым. На рисунке показан график — эволюция значения функции ошибок:

По оси x — число эпох, по оси y — значение функции ошибок. Разными цветами показаны разные тренировки. Порядок обучения примерно такой:

1) запускаем 20 тренировок по 10 эпох
2) выбираем 10 лучших результатов (по наименьшему значению loss) и тренируем их еще 100 эпох
3) выбираем один лучший результат и продолжаем тренировать его еще 1500 эпох.

Это занимает около 12 часов. Конечно, для экономии памяти, данные тренировки проводились последовательно, например, в пункте 2) 10 тренировок проводились последовательно одна за другой, для этого провел модификацию решателя ADAM от Lasagne, чтобы иметь возможность сохранять и загружать состояние решателя в переменные.

Разбиение датасета на 3 части позволяло отслеживать переобучение сети:

1 часть: тренировочный датасет — исходный, на котором сеть обучается
2 часть: тестовый датасет, на котором сеть проверяется в процессе тренировки
3 часть: отложенный датасет, на нем проверяется качество обучения после тренировки

Датасеты 2 и 3 небольшие, в моем случае было по 160 капч в каждом, также по датасету 2 определяется оптимальный порог срабатывания, порог который устанавливается на выходное изображение. Если значение пикселя превышает порог, то в данном месте обнаружен соответствующий символ. Обычно оптимальное значение порога срабатывания находится в диапазоне 0.3 — 0.5. Если точность на тестовом датасете значительно ниже, чем точность на тренировочном датасете — это значит что произошло переобучение и тренировочный датасет необходимо увеличить. В случае, если эти точности примерно одинаковы, но не высокие, то архитектуру нейронной сети нужно усложнять, а тренировочный датасет увеличивать. Усложнять архитектуру сети можно двумя путями: увеличивать глубину или увеличивать ширину.

Предварительная обработка изображений также повышала точность распознавания. Пример предобработки:

В данном случае методом наименьших квадратов найдена средняя линия повернутой строки, производится поворот и масштабирование, масштабирование проводится по средней высоте строки. Сервис Hotmail часто делает разнообразные искажения:

Эти искажения необходимо компенсировать.

Неудачные идеи

Всегда интересно почитать про чужие неудачи, опишу их здесь.

Существовала проблема малого датасета: для качественного распознавания требовался большой датасет, который требовалось разметить вручную (1000 капч). Мной предпринимались различные попытки каким-то образом обучить сеть качественно на малом датасете. Делал попытку обучать сеть на результатах распознавания другой сети. при этом выбирал только те капчи и те места изображений, в которых сеть была уверена. Уверенность определял по значению пикселя на выходном изображении. Таким образом можно увеличить датасет. Однако идея не сработала, после нескольких итераций обучения качество распознавания сильно ухудшилось: сеть не распознавала некоторые символы, путала их, то есть ошибки распознавания накапливались.

Другая попытка обучиться на малом датасете — использовать сиамские сети, сиамская сеть на входе требует пару капч, если у нас датасет из N капч, то пар будет N2, получаем гораздо больше обучающих примеров. Cеть преобразует капчу в карту векторов. В качестве метрики сходства векторов выбрал скалярное произведение. Предполагалось что сиамская сеть будет работать следующим образом. Сеть сравнивает часть изображения на капче с некоторым эталонным изображением символа, если сеть видит, что символ тот же с учетом искажения, то считается, что в данном месте качи есть соответствующий символ. Сиамская сеть тренировалась с трудом, часто застревала в неоптимальном локальном минимуме, точность была заметно ниже точности обычной сети. Возможно проблема была в неправильном выборе метрики сходства векторов.

Также была идея использовать автоэнкодер для предварительного обучения нижней части сети (та, что ближе к входу), чтобы ускорить обучение. Автоэнкодер — это сеть, которая обучается выдавать на выходном изображении то же что и подается на вход, при этом в архитектуре автоэнкодера организуют узкий участок. Тренеровка автоэнкодера есть обучение без учителя.

Пример работы автоэкодера:

Первое изображение — входное, второе — выходное.
У обученного автоэнкодера берут нижнюю часть сети, добавляют новых необученных слоев, все это дотренировывают на требуемую задачу. В моем случае применение автоэнкодера никак не ускоряло обучение сети.

Также был пример капчи, которая использовала цвет:

На данной капче описанный метод с полносверточной нейронной сетью не давал результата, он не появился даже после различных предобработок изображения повышающих контрастность. Предполагаю что, полносверточные сети плохо справляются с неконтрастными изображениями. Тем не менее, данную капчу удалось распознать обычной сверточной сетью с полносвязным слоем, получена точность около 50%, определение координат символов осуществлялось специальным эвристическим алгоритмом.

Результат

Можно было бы сделать автоматическую разметку центров символов. Сервисы ручного распознавания капч выдают лишь распознанные строки, поэтому автоматическая разметка центров помогла бы полностью автоматизировать разметку тренировочного датасета. Идея такова: выбрать только те капчи, в которых каждый символ встречается один раз, на каждый символ натренировать отдельную обычную сверточную сеть, такая сеть будет отвечать лишь на вопрос: есть ли в данной капче символ или нет? Затем посмотреть какие признаки использует сеть, используя метод минимизация значений пикселей входной картинки (описано выше). Полученные признаки позволят локализовать символ, далее тренируем полносверточную сеть на полученных центрах символов.

Выводы

Написано в капмонстре, что 90% успешность разгадывания капчи mail.ru. По моим подсчётам не больше 10%.

Последнее редактирование: 30.09.2018

Icealex

Все нормально гадает. Просто возможно у вас после разгаданной капчи все равно сбрасывает на стартовую страницу, то есть почта не регистрируется.

Я могу 10-ки скринов сейчас сюда отправить и показать, что капмонстр чепуху присылает. Софт делает у меня скрины перед отправкой.

PS: гадаю капчу в браузере.
Возможно вы гадаете через мобильную или еще какую то версию реггера где немного видоизмененная капча.

Админы, вот вам скрин капчей и результаты от капмонстра. Вообще уже не решает

Administrator

Админы, вот вам скрин капчей и результаты от капмонстра. Вообще уже не решает
Посмотреть вложение 33292

Каким модулем распознаются капчи? Приложите скриншот активности в капмонстре.

Каким модулем распоются капчи? Приложите скриншот активности в капмонстре.

Отправляю изображение на капмонстр и больше ничего особенного не провожу.

Нужно модулем mailru её распознавать. А не универсальным.
Попробуйте добавить размеры капчи, которая у вас отправляется в модуль.

Вложения

Последнее редактирование: 30.10.2018

Прощу прощения, что потревожил ваш сон! Всё теперь работает, как часики! Можно эту тему закрыть и удалить.

Sipe

у меня не гадает

отпишись как настроить, у меня в настройках принудительно капча только майл ру и разрешение стоит

Default

в настройках капмонстра или в настройках шаблона?
т.к. речь думаю шла о том, чтобы в самом шаблоне в кубике разгадки капчи, во вкладке дополнительно указать название модуля, через который гадать.

Название можно взять из капмонстра правой кнопкой мыши, в 8ом посте есть скрин.

Как головоломки мешали людям

С тех пор как капча из поля для ввода размытых слов и цифр превратилась в точку, куда нужно просто кликнуть мышью, мы стали забывать о мучениях, вызванных необходимостью распознавать крайне нечеткие символы.

Капча — как много в этом слове для человека, которому приходилось встречаться с ней каждый день. В какой-то момент, не так уж давно, казалось, что спастись от ботов поможет только защита, с которой едва ли справится обычный человек. Это убеждение породило множество UX-монстров, о которых пойдет речь в статье.

Видеокапча

Стартап Are You a Human с помощью технологии PlayThru предлагает сыграть в мини-игру, в которой человеку необходимо выбрать нужный объект из ряда присутствующих и поместить его в определенное место. Хотя такой способ казался пользователю более понятным (и логичным), его также периодически подвергают попыткам взлома. Эта капча неэффективна, потому что не имеет достаточного количества элементов, чтобы предотвратить возможность перебора вариантов. Кроме того, высока вероятность получить правильный ответ, просто случайно угадав нужную последовательность действий. Каждый раз, когда капча пытается сделать что-то «приятное» и увлекательное для пользователя, возникает дыра в безопасности.

Художественная капча

Сайт треш-графики geee.net не мог обойтись без капчи, которая одним своим видом пугала бы посетителей. Пользователей просят нарисовать то, что они видят на картинке. Художественную капчу нельзя считать полноценным инструментом защиты — это шутка, призванная привлечь внимание, но юмора в ней не больше, чем правды. Капчу при должном старании пройти можно.

Маткапча

Пережив бурный расцвет, математическая капча быстро сошла в ноль, поскольку ответить на вопрос, сколько будет «3 + 3» для ботов не составляет никакого труда. Хитрость здесь в том, чтобы найти головоломку, которая оказалась бы трудна для ботов, но решаема для людей. Капчу, как на примере выше, можно решить, имея под рукой учебник по математическому анализу или доступ к WolframAlpha, но сколько людей готовы тратить свое личное время на поиски ответа?

Программерская капча

Codecha — программерская капча, для решения которой требуется написать тело функции, решающей поставленную задачу на одном из выбранных языков программирования. Защищает не только от ботов (частично), но и от всех людей, не знакомых с программированием (полностью).

Нечитабельная капча

Пример китайской капчи с сайта 12306.com, на которой нужно отметить картинку (или картинки) с изображением агата. Сложность в том, что картинка имеет низкое качество и размер — на иллюстрации выше можете оценить в оригинальном виде.

Радиотехническая капча

Капча с ныне умершего радиотехнического форума flyback.org.ru использовалась при регистрации нового пользователя. В капче предлагается решить задачу на определение энергии, накопленной в конденсаторе. Описание задачи: трансформатор имеет коэффициент трансформации

Ом. Все элементы схемы идеальны, падение напряжения на диоде равно нулю. Входное напряжение: синусоидальное 50 Гц, с действующим значением 58 В. Определите, сколько Дж энергии будет накоплено в конденсаторе

С такой задачей вряд ли справятся нанятые за копейки индусы, с ходу разгадывающие любые символы на картинках стандартных капчей. Она также отпугнет всех пользователей, не обладающих достаточным уровнем знаний.

Передвижная капча

Графическая капча

Интерактивная капча

Интерактивная капча. Четыре разных ползунка должны быть установлены в правильное положение для публикации комментария в блоге — цвет ползунка нужно выбрать соответственно заданному полю.

Геометрическая капча

Эта геометрическая капча примерно на одном уровне с математической — одинаково сложные задачи для человека и в равной степени неэффективные перед ботами. Если вы отвечаете случайным образом, у вас 15-процентная вероятность (1 шанс из 6) дать правильный ответ, что, конечно, не позволяет обеспечить хороший уровень безопасности. Для того чтобы ответить на вопрос капчи, у вас есть только 30 секунд.

Полиязычная капча

Капча с сайта sveit.com (ныне заброшен) была основана на смешении сразу нескольких языков.

Скрытый код

А вот капча hidden-3d.com живее всех живых. Вам всего лишь нужно найти скрытый код в изображении.

Трехмерное изображение

3D капча. На самом деле ничего сложного, если вы знаете программирование.

Логические загадки

Логическая загадка, а не капча. Пример взят из подборки, и на каком сайте использовался данный вид капчи, сейчас определить трудно.

Считывание точек

Это не капча для слепых, как можно было подумать, а первая в мире капча, сделанная по системе Брайля. Ныне заброшена и нигде, к счастью, не используется.

Нотная капча

Музыкальная капча для сайта музыкантов. На сервере генерируется картинка из (псевдо)случайно выбранных четырех картинок нот и пауз. Имена картинок — цифры от 0 до 13 — соответствуют номеру позиции ноты на нотном стане, начиная от нижней добавочной. Ключ тоже случайный — басовый или скрипичный.

Капча, которую мы потеряли

Поскольку находятся способы взломать каждое новое поколение капч, алгоритмы машинного обучения дают компьютерам все больше и больше возможностей постигать окружающий мир. В какой-то момент капчи стали использоваться для обучения ИИ, который начинает действовать на тех же принципах, на которых работает наш мозг.

Эволюция капчи — это свидетельство прогресса ИИ. Первые надежные головоломки, которые использовались для защиты от ботов десять лет назад, теперь могут быть решены автоматически с помощью компьютеров в 99,8 % случаев. В то время как компьютеры становятся все лучше и лучше в решении головоломок, люди могут доказать свою человечность, выполняя другие типы задач.

Кроме того, появилось много сервисов для разгадывания капч, которые обслуживают тысячи живых пользователей, готовых за небольшие деньги разгадать любую поддающуюся их пониманию капчу.