«Алекса, ты вторгаешься в мою личную жизнь?» — темная сторона наших голосовых помощников

Многие из нас уже не просто познакомились с голосовыми помощниками, но и активно их используют. Почему нет? Это так просто и так удобно! О! значит вы еще не сталкивались с их «темной стороной»!

Когда житель Лондона по имени Мартин пришел домой с работы, он услышал его Амазонку — голосового ассистента Echo Dot. Она произносила фрагментарные команды, по-видимому, основанные на его предыдущих взаимодействиях с устройством. Похоже, это были бездумные просьбы: забронировать билеты на поезд для уже предпринятых им поездок и записать телепередачи, которые он уже смотрел. Мартин не произносил команды, чтобы привести устройство в режим «бодрствования». Более того, голосовые команды, которые должны были остановить «Алексу» не работали.

Это было особенно интересно, потому что Мартин (не настоящее имя) раньше был сотрудником Amazon. Три года назад он вызвался сидеть в комнате, произнося явно бессмысленные фразы в микрофон. Для чего это нужно было, для него оставалось тайной. Только когда Amazon выпустил Echo в США в 2014 году, мужчина понял, над чем работал. Он купил Dot, более дешевую, меньшую модель Echo, после того, как она была выпущена в 2016 году, и нашел устройство достаточно полезным. Так было до этого дня. Когда «непослушное устройство» замолчало, Мартин просто выключил его и положил в мусорное ведро. «Я чувствовал себя немного глупо», — говорит он. «Поработав в Amazon и увидев, как они используют данные людей, я понял, что не могу им доверять».

Итак, голосовые помощники часто делают вещи, которые они не должны делать. Можно сказать, они занимаются «амоуправством». В прошлом году клиент Amazon из Германии по ошибке со своим Echo отправил около 1700 чужих аудиофайлов, предоставив достаточно информации, чтобы назвать и найти несчастного пользователя и его подругу. Amazon списал это на «несчастный случай».

В Сан-Франциско Шон Киннер заявил, что его «Эхо» активировалось, и радостно сказало фразу, от которой владельцу устройства стало не по себе: «Каждый раз, когда я закрываю глаза, все, что я вижу, это умирающие люди». В Портленде, штат Орегон, женщина обнаружила, что ее «Эхо» приняло собственное решение отправить записи личных разговоров с одним из сотрудников ее мужа . В заявлении Amazon говорится, что «Эхо» должно было неправильно услышать слово «пробуждение», неверно услышать запрос на отправку сообщения, неверное имя в списке контактов, а затем неверно услышать подтверждение отправки сообщения, и все это во время разговора о паркетных полах! Плохо. Алекса! Свсем не хорошо!

Технология часто вызывает двойственное отношение: мы понимаем, что Facebook и Google слишком много знают о нас, но продолжаем пользоваться их услугами, потому что они чертовски удобны. Мнения о голосовых помощниках, однако, необычно поляризованы. Одни люди считают их зловещими и агрессивными, а поклонников этй темы самодовольными и даже ленивыми и недальновидными. Другие в восторге от этой технологии, считают голосовых помощников полезными и доброжелательными, а скептиков параноидальными технофобами. То есть, «любовь» взаимна.

Но есть один вопрос, который связан с более серьезными проблемами в наших отношениях с технологической индустрией: стоит ли пускать Алексу в свой дом?

В январе старший вице-президент Amazon по устройствам Дэвид Лимп объявил, что компания продала более 100 млн устройств с поддержкой Alexa . В прошлом году в США, где каждый пятый взрослый владел домашним голосовым помощником, у Алексы было 70% рынка США, по сравнению с 24% в Google Assistant. Таким образом, это лучшее место для того, чтобы стать тем, что Шошана Зубофф в своем описывает в бестселлере, «Эпоха капитализма наблюдения» , называет «Один голос»: доминирующая экосистема, которая дала бы ее оператору «возможность предвидеть и монетизировать все моменты всех событий». Люди во все дни».Автор называет рождение Алексы «пороговым событием».

Однако Alexa выросла в эпоху растущего скептицизма по поводу власти и морали «большой пятерки» технологических компаний: Amazon, Apple, Facebook, Google / Alphabet и Microsoft . Такие события, как утечки Эдварда Сноудена и скандал с Cambridge Analytica, бросили тень на утопические обещания Силиконовой долины. Главные исполнительные директора менее склонны тривиализировать проблемы конфиденциальности. Технические журналисты чаще становятся критиками, чем болельщицами. Политики более склонны привлекать компании к ответственности.

Этот год был особенно сложным. За последние шесть месяцев Bloomberg, Guardian, Vice News и бельгийский новостной канал VRT постепенно показали, что все большая пятерка использует «человеческих подрядчиков» для анализа небольшого процента записей голосовых помощников. Хотя записи являются анонимными, они часто содержат достаточно информации, чтобы идентифицировать или, при желании даже шантажировать пользователя — особенно, если они подслушивают конфиденциальную медицинскую информацию или непреднамеренную сексуальную запись. Откровения были последней каплей для многих скептиков. «Мы живем в технодистопии нашего собственного производства. Если у вас все еще есть Alexa или какой-либо другой голосовой помощник в вашем доме, вас предупредили », — написал писатель Мэтт Новак.

Поработав в Amazon и другой компании «большой пятерки»,Мартин считает, что такое отношение к этим компаниям вполне оправдано. «Они, на мой взгляд, не заинтересованы в том, чтобы узнать, какое влияние окажут эти продукты. Относиться к ним как к людям, обладающим этой властью, — смешная ситуация, которую мы не допустили бы ни в одной другой отрасли. Они, честно говоря, не являются надежными хранителями данных, которые собирают каждый день без нашего ведома ».

Голосовое управление впервые охватило общественное воображение в 60-х годах с помощью HAL 9000, разумного компьютера в 2001 году: космической одиссеи и бесконечно полезного компьютера Starship Enterprise в Star Trek. Последний был основным ориентиром для команд, которые разработали Amazon Echo и Google Assistant.

В реальном мире распознавание голоса не стало обычным явлением до тех пор, пока Apple не запустила в 2011 году своего голосового помощника Siri для телефона. Alexa идет намного дальше, колонизируя дом пользователя.

Три десятилетия назад ученый-компьютерщик Марк Вайзер назвал эту экосистему без стеснения « вездесущими вычислениями ». В 2015 году Эрик Шмидт из Google предвидел день, когда интернет будет «частью вашего присутствия постоянно», делая ваше поведение в реальной жизни таким же «читабельным», как и то, что вы делаете на своем ноутбуке или телефоне. Вы никогда больше не будете «в автономном режиме».

Редактор Gizmodo Адам Кларк Эстес (Adam Clark Estes) был изначально очарован первой крупной аппаратной новинкой со времен Apple iPad четырьмя годами ранее. Однако чем больше он узнавал о технологии, тем меньше она ему нравилась. Его собственное Эхо проснулось бы без всяких усилий. Записи стали появляться в качестве доказательств в судебных делах. ФБР отказалось подтвердить или опровергнуть, что оно использовало Alexa для целей наблюдения. «Мне становилось все яснее, что сторожевые псы были правы», — говорит он. «По сути, это устройство прослушивания телефонных разговоров».

Голосовые помощники олицетворяют собой противоречие между эффективностью и конфиденциальностью. Технология все еще глубоко несовершенна; в более чем одном из 10 транскриптов, проанализированных одним из источников Bloomberg, Алекса проснулась случайно. Точная интерпретация голосовых команд с учетом разных языков, акцентов, тонов, контекстов и степеней помех окружающей среды требует гораздо больших вычислительных мощностей, чем может содержать одно устройство. Таким образом, большая часть работы выполняется в облаке, что позволяет собирать и анализировать голосовые записи. «Вы создаете инфраструктуру, которая впоследствии может быть использована нежелательными способами крупными транснациональными корпорациями и государственными системами наблюдения и подвергнута риску со стороны злоумышленников», — говорит доктор Майкл Веал.

Не все голосовые помощники равны. Apple , чья прибыль не зависит в первую очередь от сбора данных, использует больше вычислений и шифрования в устройстве с обеих сторон. «Apple является лучшим в области конфиденциальности», — говорит Эстес. «В то же время, я думаю, что все согласны с тем, что Сири — отстой». Amazon Echo и Google Assistant гораздо надежнее, потому что бизнес-модели этих компаний зависят от того, что вы знаете о вас гораздо больше, для того, чтобы направить рекламу на микроуровне. Им нравится подавать сбор данных под видом и в качестве средства для улучшения услуг, одновременно преуменьшая огромные коммерческие выгоды.

Google и Amazon могут, конечно, решить улучшить технологию, заплатив людям за ее тестирование. Именно такую работу Мартин выполнил в 2012 году. Но вместо этого, они предпочитают рассматривать своих клиентов как бесплатную базу данных исследований и разработок. «Это должно быть на коробке», — говорит д-р Джереми Джилла, директор проекта в Electronic Frontier Foundation, группе, которая выступает против неправомерного использования технологий. Щедрая интерпретация мотивов технологических компаний — это безрассудный утопизм, но Джилла утверждает, что если бы они были действительно наивны в отношении последствий своих технологий, то не пошли бы по пути сокрытия этой информации. «Я сомневаюсь, что они думали, что никто не будет волноваться по этому поводу. Я думаю, что они пытались хранить молчание, потому что если бы пользователи знали, что происходит, они могли бы перестать покупать устройства».

В ответ пресс-секретарь Amazon говорит: «Доверие клиентов лежит в основе всего, что мы делаем, и мы очень серьезно относимся к конфиденциальности клиентов. Мы постоянно пересматриваем наши практики и процедуры, чтобы гарантировать клиентам наилучшие впечатления и выбор конфиденциальности. Мы предоставляем клиентам несколько элементов управления конфиденциальностью, в том числе возможность просматривать и удалять их голосовые записи. Чтобы помочь улучшить Alexa, мы вручную просматриваем очень небольшую выборку запросов Alexa, чтобы подтвердить, что Alexa все правильно поняла и ответила. Клиенты могут отказаться от включения их голосовых записей в этот процесс изучения».

Тем не менее, снова и снова демонстрируется, что в своих рекламных и проницательных формулировках политики конфиденциальности технические компании постоянно скрывают масштабы и характер сбора данных. «Google и Amazon показали нам, что они склонны брать столько, сколько могут, пока кто-то не схватит их за руку, запущенную «в банку с печеньем»», — говорит Эстес. «Я не люблю драматизировать, но думаю, что мы вряд ли сможем чувствовать себя в безопасности, в связи с их практикой сбора данных».

Правительство США неохотно действует. В июле 2015 года Электронный информационный центр конфиденциальности (Epic), давно созданная некоммерческая организация, занимающаяся «демократическими ценностями в информационную эпоху», призвала провести расследование в отношении устройств «всегда на связи», включая голосовых помощников. Они пока даже не получили ответ. «Рыночные решения не работают в этой области, потому что компаниям разрешено скрывать недостатки своих собственных продуктов», — говорит Марк Ротенберг, исполнительный директор Epic. Он добавляет: «Если бы вы или я разместили устройство в чужом доме с возможностью захвата их личных сообщений, мы бы нарушили Федеральный закон о прослушивании телефонных разговоров».

В Европе у регуляторов более острые зубы. Недавно Йоханнес Каспар, грозный комиссар по защите данных Гамбурга, заставил Google приостановить транскрипцию голосовых записей по всему ЕС, в то время как Apple и Facebook одновременно приостановили транскрипцию во всем мире. (Amazon просто позволил пользователям отказаться от человеческого мониторинга) Офис британского информационного комиссара расследует, не нарушает ли человеческий контроль Общее положение о защите данных. «У нас уже есть существенное регулирование в этой области, но ключом является правоприменение», — говорит Веал. «Как и все европейские органы по защите данных, Офис Уполномоченного по информации недостаточно финансируется и перегружен, он нуждается в значительных инвестициях и поддержке для защиты основных прав граждан».Без эффективного регулирования нет защиты от более агрессивной эксплуатации голосовых помощников. По определению всегда, даже когда они не активны, устройства постоянно прослушивают, хотя, может быть и не всегда передают данные. Джиллула говорит, что нет никаких технических препятствий для того, чтобы позволить неактивным устройствам, например, отслеживать телевизионный просмотр пользователей, реагируя на высокие сигналы, встроенные в шоу и рекламу, или определять, кто находится в доме в любой момент времени. «По сути, это становится постоянным наблюдением», — говорит Джилла. «Хотелось бы верить, что компании никогда не пойдут по этому мрачному пути, но я видела, как они говорили:«О, это возможность: узнай, когда твои дети дома!» Привлекательная возможность — то, как начинается большинство столь неоднозначных вещей».

Сегодня голосовые помощники не являются самой серьезной угрозой для конфиденциальности только потому, что они являются необязательными. Сканер распознавания лиц может шпионить за вами в общественных местах, но Алекса, как вампир, должна быть приглашена в ваш дом.

Единственная действительно эффективная сила, которую вы можете использовать над этой технологией, — это не использовать ее. Но осознанный выбор ставится под угрозу из-за вводящего в заблуждение маркетинга и подрывается усилиями Amazon по внедрению Alexa в бесчисленные продукты, в том числе автомобили, телевизоры, наушники, микроволновые печи, термостаты и часы, при подписании сделок с компаниями, занимающимися строительством домов и гостиничными сетями, и все это с расчетом на став одним голосом «Голосовое управление заставляет потребителей глотать, нравится им это или нет», — говорит Эстес.

Технологические компании полагаются на миф о технологической неизбежности, чтобы скрыть принятые ими бизнес-решения и возможность использования других моделей. Бросить вызов им — значит бороться с будущим? Чепуха, говорит Кавенна. «Это неизбежное следствие технологий? Нет, это идеологическое применение технологий. Если вы строите здание, вам не нужно строить паноптикум. Это не должно быть тем, что мы имеем сейчас. Они часто утверждают, что если вы против этого, вы неолуддит. Этот миф позволил многим людям стать невероятно богатыми».

Тем не менее возможно разработать устройство, которое будет предоставлять самые популярные услуги при соблюдении конфиденциальности пользователя, когда вычислительная мощность увеличивается, внутри устройства. Но, конечно, это будет означать утрату этих сочных, монетизируемых данных. «Многие вещи, которые вы действительно хотите сделать, не должны требовать интернета, и как только вы отключите доступ к облаку, проблемы конфиденциальности исчезнут», — говорит Эстес. «Всегда есть потенциал для улучшения».

Похожие новости