[Нил Эфферсон]

Очень красивый и любопытный проект: атлас активаций. Позволяет заглянуть внутрь нейросети и увидеть, как она распознаёт объекты.

Почему это важно? Потому что одно из слабых мест нейросетей — их непрозрачность. Они хорошо умеют классифицировать данные, но не умеют объяснять свои решения. Это может создавать проблемы. К примеру, банковский алгоритм, оценивающий риски, может отказать потенциальному клиенту в кредите без каких-либо объяснений. По закону банк обязан обосновывать такие решения. Так же сложно будет пациенту согласиться на операцию, если это совет без объяснений от алгоритма-черного ящика. А ещё черный ящик сложнее отладить.

Так вот, по ссылке можно посмотреть, что видит нейросеть во время распознавания различных образов. Есть над чем залипнуть.

Что ещё почитать по теме:
Как открыть "черный ящик" ИИ
Заглянуть внутрь генеративной нейросети
Ещё одна красивая визуализация нейросети
Как обмануть нейросеть, распознающую предметы
— с помощью поворота изображения
— с помощью нескольких пикселей
— с помощью 3D-принтера

Источник - тут.

@темы: статьи, технологии