Компания Midjourney прекращает бесплатное использование своего ИИ генератора изображений после того, как пользователи создали громкие фейки с помощью этого инструмента. Генеральный директор Дэвид Хольц сообщил в Discord, что компания прекращает бесплатное тестирование из-за «чрезвычайного спроса и злоупотребления пробными версиями». По словам Хольца, новые меры предосторожности оказались «недостаточными» для предотвращения злоупотреблений во время пробных периодов. В настоящее время за использование технологии придется платить не менее 10 долларов в месяц.
В последние недели Midjourney оказалась в центре нежелательного внимания. Пользователи, полагаясь на искусственный интеллект компании, создали фейки Дональда Трампа, которого арестовали, и Папы Франциска в модном пальто. Хотя эти изображения были быстро идентифицированы как фальшивые, есть опасения, что недобросовестные пользователи могут использовать Midjourney, OpenAI DALL-E и подобные ИИ для распространения дезинформации.


В среду в чате с пользователями Хольц сказал, что ему сложно установить политику в отношении контента, поскольку ИИ позволяет создавать все более реалистичные изображения. Основатель Midjourney надеется усовершенствовать систему модерации ИИ, которая будет отсеивать злоупотребления, добавил он.
Некоторые разработчики прибегают к строгим правилам, чтобы предотвратить инциденты. Например, OpenAI запрещает любые изображения текущих политических событий, теорий заговора и политиков. Она также запрещает ненависть, контент сексуального характера и насилие. Однако другие AI придерживаются относительно свободных правил.
Искаженное содержание — не единственная проблема при создании изображений ИИ. Уже давно существуют опасения, что изображения являются крадеными, поскольку пользователи часто используют существующие изображения в качестве ориентиров. Хотя некоторые компании используют искусственный интеллект в своих продуктах, многие опасаются, что они привлекут нежелательное внимание.