Издательство «Манн, Иванов и Фербер» представляет книгу Кевина Руза «Устойчивы к будущему. Девять правил для людей в эпоху машин» (перевод Ольги Дихтер).
Машины уже здесь. Искусственный интеллект вышел далеко за пределы научных лабораторий и Кремниевой долины. Алгоритмы влияют на всё вокруг, и пока мы обсуждаем, уничтожит ли автоматизация рабочие места, более важный вопрос остается за кадром: что значит быть человеком в мире, который всё больше формируется машинами и для машин? Технологический колумнист The New York Times Кевин Руз предлагает прагматичный взгляд на то, что нужно делать людям в эпоху машин, чтобы быть незаменимыми. Он рассказывает о секретах людей и компаний, успешно справляющихся с технологическими изменениями, и объясняет, какие правила помогут защитить свое будущее.
Предлагаем прочитать фрагмент книги.
До сих пор мы главным образом говорили о внешних формах автоматизации: промышленных роботах, алгоритмах машинного обучения, бэк-офисных программах с использованием технологий ИИ. Но есть и другая автоматизация, внутренняя, происходящая в глубине личности и в чём-то куда более опасная. Она просачивается в мозг и влияет на наш внутренний мир, на то, что мы думаем, к чему стремимся, кому доверяем. И когда этот процесс идет вразнос, это стоит нам не просто потери работы, а куда дороже.
В последние годы, рассказывая в The New York Times о новостях соцсетей, я встречал множество примеров такой автоматизации. Я брал интервью у последователей экстремистских интернет-движений вроде QAnon и видел, как алгоритмы и стимулирующие социальносетевые механизмы превращают нормальных, уравновешенных людей в съехавших с катушек сторонников конспирологических теорий.
В аудиосериале Rabbit Hole, где я был одним из рассказчиков, я исследовал, как разработчики технически добились от платформ вроде YouTube и Facebook того, чтобы они при помощи ИИ заманивали пользователей в персонифицированные ниши, заполненные ровно той информацией, которая, скорее всего, будет удерживать их внимание. Часто это оборачивается тем, что пользователям демонстрируют версию реальности более экстремальную, разъединяющую и менее объективную, чем мир за пределами экранов.
Рассуждая об ИИ, мы нечасто упоминаем такие явления, как дезинформация в социальных сетях и онлайн-радикализация. Однако они тесно связаны друг с другом. Именно ИИ ответственен за то, что социальные сети так затягивают. И его способность точно вычислять, что именно будет держать нас на крючке и заставлять кликать, смотреть, прокручивать ленту, по сути, и создает возможности для манипуляций.
Я уже какое-то количество лет позволяю машинам в неприлично большой мере управлять моей жизнью. Я доверял виртуальным помощникам вести свой календарь, покупал роботизированные пылесосы и подключаемые к Wi-Fi термостаты, чтобы у меня дома было чисто и поддерживалась нужная температура, подписывался на сервисы «Гардероб в коробке», вычисляющие при помощи хитроумных алгоритмов, какая одежда будет лучше всего смотреться на моей фигуре.
На работе я ради экономии времени посылал куцые готовые электронные письма и полагался на функцию автоматически генерируемых ответов Gmail. («Да!», «Точно, это сработает!», «Нет, не могу».) Я много лет просто соглашался с мнением алгоритмов: заказывал товары, которые предлагал мне Amazon, проигрывал автоматически сгенерированные плейлисты в Spotify, смотрел шоу, которые рекомендовал Netflix.
Долгое время такая автоматизация моей жизни казалась мне безобидной. Но в конце концов я почувствовал: из-за того, что я позволяю машинам принимать за меня повседневные решения, я не становлюсь ни счастливее, ни продуктивнее. И, между прочим, превращаюсь в другого человека — более поверхностного, с более статичным распорядком и образом мыслей, — и моя повседневная жизнь стала почти механически предсказуемой.
Я стал называть это состояние «машинным дрейфом»; впервые я заметил его у себя несколько лет назад. В то время я работал редактором на сайте цифровых новостей и должен был среди прочего следить, чтобы мой раздел выполнял месячный план по трафику. В конце каждого месяца, если выяснялось, что мы отстаем, я лихорадочно старался состряпать парочку забойных текстов, которые привлекли бы большой трафик с Facebook или Google. У меня это неплохо получалось. Один из моих постов, банальный обзор дискуссии в Reddit, сорвал банк по количеству кликов на Facebook и набрал несколько миллионов просмотров. Другой текст, привлекший еще несколько миллионов посетителей, состоял всего из четырех предложений и имел заголовок «Энн Коултер запостила неудачный твит».
Эти заметки конца месяца выполняли свою задачу, но всякий раз, когда я их писал, я чувствовал себя скорее не журналистом, а рабочим на заводе, подбрасывающим в топку уголь. Я не делал ничего оригинального и ничего не созидал. Я просто скармливал парочке алгоритмов то, что им требовалось, и попутно сам начинал походить на алгоритм.
Я испытывал состояние машинного дрейфа и вне работы. Я чувствовал, что становлюсь более жестким и политически крайним и многие мои предпочтения превратились в твердые, железные убеждения. Всё больше моих мыслей облекалось в форму коротеньких, как твит, острот, и мне всё труднее становилось непредвзято выслушать мнение оппонента в споре.
Когда я связал эти ощущения с пользованием технологическими новинками, то начал критически оценивать себя задним числом. Мне действительно понравились те кожаные кеды, которые я купил на Amazon, или я доверился алгоритму больше, чем собственному вкусу? Я действительно разозлился на того венчурного инвестора, чей тупой твит мне попался в ленте сообщений, или ввязался в общую свару просто потому, что знал: твиттеровский алгоритм вознаградит меня за едкую шутку лайками и ретвитами? Я действительно люблю готовить или мне просто нравится, каким я кажусь гармоничным, уравновешенным и взрослым человеком, когда выкладываю в Instagram фотографии блюд, приготовленных мною дома?
Какие из моих убеждений и предпочтений действительно мои, а какие — внушены машинами?
***
В 1990 году двое ученых из исследовательской лаборатории Xerox PARC, что в Пало-Альто, придумали, как решить досаждавшую им проблему избытка электронных писем. Электронная почта тогда была еще новой технологией, и папки входящих в Xerox PARC пухли от неактуальных и ненужных писем. Каждый день специалисты лаборатории тратили часы на чтение и удаление сообщений от разнообразных новостных групп, на которые были подписаны, и это мешало работе.
Однажды у младшего научного сотрудника Дуга Терри родилась идея. Что, если бы почтовая программа выводила письма не в порядке поступления, а в порядке значимости? А список новостей, который вы видите, отчасти определялся тем, какие из них уже были прочитаны другими и им понравились? Он призвал на помощь еще одного разработчика, Дэвида Николса, и они приступили к созданию программы The Information Tapestry («Информационный гобелен»), которая должна была помочь навести порядок в почтовых ящиках.
Прежде всего нужно было создать систему автоматического ранжирования для обычных, личных сообщений. Терри и Николс разработали набор «оценщиков» — алгоритмов, которые должны сканировать входящие письма и присваивать каждому из них баллы в зависимости от значимости, которая определялась такими факторами, как имя отправителя, тема и число получателей. Письма от руководителя Терри, адресованные только Терри, получали 99 очков, высший балл из возможных, и всегда попадали в самый верх папки входящих. Ниже можно было разместить письма с ключевыми словами средней важности, например «Apple» (это был один из главных конкурентов Xerox PARC) или «бейсбол» (Терри больше всего любил этот вид спорта). Письма от незнакомых отправителей, не содержавшие значимых ключевых слов, получали низкие баллы и появлялись в самой нижней части почтового ящика.
Затем нужно было придумать, как рассортировать сотни писем не личного характера, которые ежедневно горами сыпались в ящики, — сообщения от новостных групп и тематические подборки. Терри с Николсом изобрели систему «совместная фильтрация», позволявшую пользователям расставлять сообщения в порядке важности на основе рекомендаций других пользователей, по сути, превращать коллег в фильтрующий алгоритм.
Система совместного фильтрования работала так: в конец каждого сообщения из новостной группы добавлялось две кнопки. На одной было написано «Мне нравится!», на другой — «Ужасно!». В зависимости от того, на какую кнопку нажимал пользователь, письмо поднималось выше или опускалось ниже в ящиках других пользователей. Каждый мог индивидуально настроить у себя фильтрацию сообщений, подписавшись на рекомендации определенных людей, или определенные темы, или определенные группы, и все эти фильтры можно было сцепить друг с другом в персональную рекомендательную систему. («Показывай мне заметки, рекомендованные Джоном Смитом, по теме „Yankees“ из группы comp.misc.baseball».)
Еще около полугода Терри с Николсом и двое других специалистов, которых они привлекли к работе, доводили «Гобелен» до ума. А потом представили его коллегам. Несколько десятков сотрудников решили попробовать. Так родилась рекомендательная система.
Сегодня на рекомендательных системах держится весь мир. Прямо сейчас, когда вы это читаете, миллиарды людей по всему миру следуют сгенерированным алгоритмами рекомендациям, выбирая, что на себя надеть, куда поехать, на какую вакансию откликнуться, какие продукты купить, какого водопроводчика пригласить, в какие акции вложиться, какую передачу посмотреть, какому ресторану отдать предпочтение, какую музыку послушать и какому человеку назначить свидание. Всё наше информационное пространство опирается на рекомендательные системы, двигатели социальносетевых платформ вроде Facebook, Twitter и YouTube.
Мы полагаем, что алгоритмы подскажут нам, к кому стоит прислушаться, какие истории прочесть и что заслуживает нашего внимания. Наша политическая и культурная жизнь и даже личные взаимоотношения тесно связаны с рекомендациями этих систем и ухищрениями людей, пытающихся их перепрограммировать и обмануть.
Внедрение алгоритмических рекомендаций во все сферы жизни в целом проходило незамеченным, но, если задуматься, какую долю ежедневных решений мы доверяем машинам, трудно не прийти к выводу, что на наших глазах происходит историческая трансформация целого вида.
«Рекомендательные системы всё больше влияют на то, что люди собой представляют, о чём они мечтают и какими хотят стать», — пишет Майкл Шраге, научный сотрудник Массачусетского технологического института и автор книги о рекомендательных системах. «Будущее „я“, — добавляет он, — это будущее рекомендаций».
Нынешние рекомендательные системы на порядки мощнее той, что была разработана Дугом Терри и Дейвом Николсом для фильтрации электронных писем. В распоряжении современных IT-компаний — огромные вычислительные мощности, позволяющие генерировать детальные модели поведения пользователей, и методы машинного обучения, дающие возможность выявлять закономерности в гигантских массивах данных, например изучить, что и как покупает в интернете сотня миллионов человек, и установить, что люди, приобретающие собачий корм определенной марки, по статистике чаще голосуют за республиканцев.
Еще одно существенное различие — в том, что рекомендательные системы прошлого предназначались для экономии нашего времени, а многие современные направлены на то, чтобы его у нас красть. Facebook, Instagram, YouTube, Spotify и даже The New York Times используют их, чтобы подстраивать под пользователей ленту новостей, показывать им то, что, по подсчетам машин, будет максимально долго поддерживать их интерес.
Эти алгоритмы порой потрясающе эффективны. YouTube утверждает, что более 70 % времени пользования его сайтом посетители проводят на нём из-за рекомендаций. По оценкам аналитиков, рекомендации причастны к 30 % просмотров страниц на Amazon, и за год эта цифра может приносить компании десятки миллиардов долларов. Алгоритмически генерируемые плейлисты Spotify под названием Discover Weekly стали полноправными хитмейкерами в музыкальном бизнесе; по некоторым данным, в месяц на них приходится больше половины прослушиваний композиций восьми тысяч с лишним музыкантов. Netflix сообщил, что 80 % просмотров фильмов на его сервисах связано с рекомендациями, и подсчитал, что они экономят ему миллиард долларов в год.
Мощное психологическое воздействие рекомендаций наглядно продемонстрировало исследование, проведенное в 2018 году под руководством профессора Миннесотского университета Гедиминаса Адомавичюса.
Исследование включало в себя три эксперимента. Участникам первого дали список песен, каждой из которых был присвоен рейтинг от одной до пяти звездочек. (Рейтинги присваивались произвольно, но испытуемым сказали, будто это делалось на основании их музыкальных предпочтений.) Участникам дали возможность прослушать небольшой фрагмент каждой песни, если они того желали; затем их спросили, сколько бы они заплатили за каждую.
Во втором эксперименте участникам показали реальные рекомендации по песням, сгенерированные алгоритмом наподобие тех, что используются стриминговыми сервисами вроде Pandora и Spotify. Исследователи, однако, подделали рейтинги: одним песням добавили звездочек, а у других убавили. Как и в первом эксперименте, участники, прежде чем назначить цену за каждую песню, могли прослушать маленький фрагмент.
В третьем эксперименте исследователи вновь присвоили рейтинги песням произвольно, но на этот раз участники, прежде чем оценить песни, должны были прослушать их целиком.
В результатах первых двух экспериментов не было ничего неожиданного. Участники доверяли рейтингам, даже когда те не отражали их предпочтений, и выше оценивали песни с более высоким рейтингом.
Но результаты третьего эксперимента исследователей поразили. Они ожидали, что, попросив участников прослушать каждую песню целиком перед оценкой, они нейтрализуют воздействие рейтингов. (Они рассуждали так: ощущения от песни, когда ты ее действительно послушал, — гораздо более точный показатель того, нравится она тебе или нет, чем оценки алгоритма.) И всё-таки участники были готовы выложить значительно больше денег именно за песни с более высоким рейтингом. Иначе говоря, случайные предпочтения алгоритмов затмили их собственные ощущения. «Потребители предпочитают не то, с чем они познакомились и что им, по их оценке, нравится, — сделали вывод исследователи. — Они предпочитают то, что им должно понравиться по мнению системы».
В наилучшем своем варианте рекомендательные системы — прекрасное подспорье для потребителей, способ превратить мощные машины в личных ассистентов, прочесывающих необъятные просторы интернета ради того, чтобы подарить нам впечатления на наш вкус.
В наихудшем — они похожи на напористых торговцев, сующих нам под нос то, что нам не нужно, и пытающихся нами манипулировать в надежде, что мы уступим. Мы теоретически можем держать ситуацию под контролем. (Всё-таки мы люди, у нас есть свобода выбора и воли.) Но воздействие, которое эти системы на нас оказывают, не всегда сродни ненавязчивому дружескому совету. Часто они принуждают нас поворачивать, куда им нужно, создавая условия для выбора, делая предпочтительные варианты более заметными и отодвигая нежелательные на несколько кликов в глубину меню. Многие рекомендательные системы подключены к облегчающим взаимодействие функциям вроде автовоспроизведения или оформления покупки в один клик — и всё для того, чтобы мы приняли решение поскорее, не останавливаясь и не задумываясь, совпадают ли предпочтения машины с нашими собственными.
Источник:
