Vanitas vanitatum

Наш мир стремительно движется к тотальной цифровизации всех сфер нашего существования, и это совершенно логичный и последовательный шаг в развитии человеческой цивилизации.

Цифровизация — это интеграция цифровых технологий в повседневную жизнь путём оцифровки всех окружающих человека и общество вещей и событий.

Свои национальные программы по развитию искусственного интеллекта принимают всё больше стран. Активно развивается технология различных интернет-вещей и систем наподобие умного дома. Первые зачатки тотальной цифровизации экономики начали проявляться с появлением первых криптовалют. Затем о планах перевода своих национальных валют в цифру заявили множество стран.

• Например, в Китае уже идёт тестирование цифрового юаня, правда пока в ограниченных рамках.
• Тестирование цифрового рубля начнётся уже в январе 2022 года, на базе сразу двенадцати крупнейших банка России.

Более подробно о цифровизации рубля и последствиях от этого я писал в статье «Тихий переворот: идёт цифровизация экономики России».

Тренд очевиден и понятен: через 20-30 лет человечество вступит в информационную эру, цифровизация станет неотъемлемой частью нашей цивилизации, а каждый человек будет обладать своим собственным цифровым местом в этой системе и оставлять свой след от любых действий.

Всякого рода страшилки (типа появления зловредного искусственного интеллекта, восстания машин против людей и т.п.) являются слишком умозрительными, а скорее даже фантастическими.

Существует угроза куда более реальная и зловещая, чем события, показные в художественном фильме «Терминатор».

Наверное, каждый продвинутый пользователь ПК сталкивался с ситуацией, когда совершенно исправный компьютер мог внезапно зависнуть, перезагрузиться или вообще отключиться. На мониторе внезапно появляется «синий экран смерти», а в играх и программах выскакивают разного рода баги.

В 99% случаев это ошибка программного обеспечения, либо несовершенство кода. Однако в 1% случаев это ни от чего не зависящая и более не повторяющаяся аномалия.

Подобная аномалия – сбой абсолютно рабочего устройства, в случае которого выявить причину ошибки невозможно на программном уровне. А следовательно, невозможно проследить какую-либо закономерность её проявления и предотвратить возникновение подобной аномалии в будущем.

С подобными аномалиями микроэлектронная промышленность начала сталкиваться ещё в 1970-х годах, когда интегральные схемы достигли критически малых размеров. Практически сразу стало очевидным, что источниками подобных сбоев являются высокоэнергетические частицы космического излучения. Попав в интегральную схему, частица может полностью вывести её из строя, наведя в отдельных элементах схемы вторичную радиацию (но всё же, к счастью, в абсолютном большинстве случаев частицы пролетают схему насквозь, не причинив физического вреда).

Чаще всего космические лучи изменяют потенциал ячеек памяти микросхемы, например, заменяя один бит информации с ноля на единицу.

Этот эффект именуют как «расстройство одиночного события» (SEU).

В зависимости от того, где конкретно и какое воздействие частица оказала на микросхему, разнятся и последствия этого «одиночного сбоя». Программа может либо просто выдать критическую ошибку данных, либо автоматически перезагрузиться, попытавшись восстановить свою работоспособность, а может продолжить работать, выдавая уже ошибочные данные, чем может спровоцировать каскадный эффект набора ошибок.

И хорошо, если эта программа будет изолирована (инверсированный бит можно переписать на правильный). А если она открыта для общего доступа и будет служить источником данных для выполнения прочих программ или подпрограмм, отвечающих, например, за безопасное выполнение опасных для человека или общества процессов?

Ситуация ещё больше усугубляется с уменьшением размеров интегральных схем. Так, в схемах, выполненных по технологии 22 нм, частота возникновения «одиночных эффектов» увеличена на порядок по сравнению со схемами, основанными на техпроцессе 130 нм. При размерности 22 нм одиночная космическая частица способна поражать уже не один, а сразу несколько логических элементов схемы. Частота случаев необратимого повреждения микросомы также резко возрастает.

Самый дорогой и высокотехнологичный ровер в мире — марсоход «Perseverance», совершивший посадку на Марс 18 февраля 2021 года, — использует вычислительный комплекс на базе процессора «RAD750» 2001 года выпуска, созданного по технологии 250-150 нм. Процессор получился на удивление очень радиационно-стойким, ничего более совершенного на сегодня нет.

Особо остро данная проблема сегодня стоит в космической отрасли. Самая частая причина, по которой спутники выходят из строя, – это отказ бортовой электроники.

Наша бортовая электроника вообще не подходит для работы в космосе, она отказывает практически в 100% случаев в течение короткого срока. Спутникам же нужно работать по несколько лет. Поэтому вся космическая электроника изготовлена по особым стандартам, она максимально защищена и продублирована несколькими параллельными процессами. Именно поэтому её цена нереально высока и не походит под массовое распространение и применение.

Например, в наших российских спутниках применяются интегральные схемы на основе технологии «КНС» (кремний на сапфире), обеспечивающей радиационную стойкость в условиях космоса.

Рассмотрим самые социально значимые случаи компьютерных сбоев из-за самопроизвольного изменения бита:

• В 2003 году, во время голосования в Бельгии: тогда «однократное расстройство» вследствие воздействия ионизирующей частицы изменило один бит информации с «0» на «1», что присвоило кандидату дополнительные 4096 голосов, приплюсовав их к реальным 514 голосам.
• В 2008 году частица ионизирующего излучения изменила бит информации в блоке инерциальной навигации и управления полётом самолёта «Airbus A330», что привело к неверным данным об угле атаки, высоте и скорости полёта. Автопилот самолёта отреагировал на это резким рывком вниз такой силы, что 119 пассажиров получили травмы разной степени тяжести. Кроме того, ошибка вызвала каскадный отказ в работе нескольких бортовых систем, что не позволило безопасно продолжить полёт.

За более чем 30 лет активного изучения этой проблемы надёжного способа защитить электронику от одиночных высокоэнергетических частиц так и не было найдено.

Подобный сбой может случиться где и когда угодно. Например, наиболее опасной, на мой взгляд, может стать появление ошибки в коде программы искусственного интеллекта, которая спровоцирует отмену важных программных блокировок (помните те самые законы робототехники Айзека Азимова?). Ошибка в банковской системе, способная привести к обнулению личного банковского счета, тоже будет весьма неприятным сюрпризом.

А что если автономное такси будущего из-за системного сбоя врежется с пассажирами в столб? Спишут на судьбу?

С конца 2018 года автономный транспорт постепенно начал выходить на коммерческую эксплуатацию в США, Китае и России. Так, коммерческая эксплуатация беспилотных автомобилей в Москве начнется в конце 2021 года, в остальных регионах — в 2023 году.

Всеобщая цифровизация — как новый эволюционный этап общества — может быть одним из этапов «великого фильтра».

Великий фильтр – высказанная в 1996 году Робином Д. Хенсоном гипотеза, призванная разрешить парадокс Ферми, который исходит из отсутствия видимых следов деятельности инопланетных цивилизаций, которые по всем расчётам должны были расселиться по вселенной за время её существования.

Все эволюционные скачки — как физиологические, так и технологические — являются разновидностью «Великого фильтра», который цивилизация либо преодолевает, либо перестаёт дальше развиваться. Что является самым серьёзным барьером в виде основного «Великого фильтра» — науке сегодня неизвестно. Возможно, цифровизация разумной цивилизации — это и есть тот самый барьер.

Представьте себе общество, которое уже на протяжении как минимум 50 лет живёт в цифровом мире, виртуальной среде и информационном пространстве. И тут вдруг где-то рядом (в космических масштабах) вспыхивает сверхновая звезда, ионизирующее излучение которой полностью уничтожает привычный для человека мир...

Для нас такой сверхновой может оказаться звезда «Бетельгейзе», которая, к слову, может взорваться в любой момент. Для биологической жизни на Земле взрыв этой звезды не будет представлять особую угрозу, чего не скажешь о современной электронике.

https://zen.yandex.ru/media/dbk/skrytyi-bag-v-strukture-vsemirnoi-cifrovizacii-sposoben-unichtojit-vsiu-chelovecheskuiu-civilizaciiu-6134b3c77ce5df20427c7635

Есть ещё хорошие программисты. Они могут встроить небольшую подпрограмму и цивилизации не стало. Обнулить ОЗУ любого компьютера может одна команда косвенной адресации. Обнулить устройства памяти я думаю команд 10 в машинном коде хватит... Так что цивилизация при цифровой цивилизации грохнется не случайно. Искусственный интеллект это бред безграмотных не понимающих слово интеллект. Но вероятность того что программист не увидит всех возможностей своей программы очень высока. И тогда берегись, вселенная...

Про выборы пример особо прикольный. Если по какому-то участку «случайно» туда-сюда тысячи голосов гуляют, то это ионы из космоса, никто не виноват.