Наверх

Заходи к нам, у нас интересно! :-)

Удивительные места

Искусственный разум

От начала своего развития и распространения до современности, за последние 10-20 лет информационные технологии совершили огромный технический скачек, заняв уже в настоящем, важное место в жизни отдельно взятого человека, общества в целом и цивилизации. Несмотря на то, что развитие этой прикладной области очень важный и нужный этап развития человечества, который позволит вывести нашу цивилизацию на новый уровень развития, как и многое, созданное человеком в угоду себе, оно может обратиться против него самого.

Сейчас никого уже не удивишь сюжетами апокалипсиса с участием разумных машин, которые впрочем, берут свое начало из классической фантастической литературы. Так известный американский писатель-фантаст, популяризатор науки и ученый Айзек Азимов, в своих многочисленных произведениях не раз затрагивал подобную картину развития событий. Но если ранее это воспринималось скорее как художественный вымысел или же просто как события далекого будущего, то начиная с сегодняшнего дня и в особенности в дни грядущие, эта тема перестает быть столь иллюзорной.

Причина этому довольно банальна и проста по своей сути — технический рост информационных технологий, их развитие, увеличение объема возможностей и постоянная интеграция в жизнь современного общества. В таких условиях, когда жизнедеятельность социума сильно зависит от данных технологий, любой сбой в их работе вполне может привести к краху цивилизованного мира. Конечно, сейчас это может показаться еще не столь актуальным, но уже через какие-то 10-15 лет данная тема будет востребована и жизненно необходима любому разработчику автоматизированного программного обеспечения и, в особенности, разработкам искусственного интеллекта.

В этой небольшой и лаконичной публикации, я постарался скомпилировать свои соображения на тему будущего развития информационных технологий, проблематики создания искусственного интеллекта, и принципов социальной безопасности общества в условиях интеграции вычислительных автоматов. Прошлое, настоящее и будущее информационных технологий, или когда оживают фантазии писателей. Опять-таки возвращаясь к замечательному творчеству Айзека Азимова, а также других известных писателей-фантастов, хочется заметить проницательность, с которой эти мастера слова и мысли заглядывали за горизонты будущего, так точно описывая события прошлого, настоящего и будущего информационных технологий. При этом особенным контекстом через многие произведения проходит красной нитью тема проблематики создания искусственного интеллекта, его интеграции в человеческое общество и вероятные результативные последствия такой интеграции.

Не зря в середине прошлого века, все тот же Айзек Азимов, сформулировал «Три закона робототехники», так точно предвидя трагические последствия внедрения мыслящих машин в не столь отдаленном будущем. И хотя пока преждевременно говорить о столь высоком развитии аппаратно-программных технологий, о которых писал автор, но уже в современности есть удачные примеры создания подобных машин (механические андроиды, различные роботизированные машины). И стоит однозначно заметить, что в условиях современных темпов развития технического и технологического прогресса, подобные достижения сулят человечеству не только огромные перспективы, но также и огромную, но пока иллюзорную опасность, социальной и физической направленности.

Однако, главным моментом в данной тематики является и тот факт, что озвученная проблема безопасности человечества пред лицом разумных машин, остается актуальной и при менее фантастическом развитии технического прогресса, и даже, в условиях современности. Очевидно, что совершенно не обязательно наличие сверхразумных андроидов, чтобы привести к краху человеческое общество или цивилизацию, или по крайней мере чтобы привести к масштабной трагедии. Для этого достаточно иметь лишь социальную инфраструктуру общества при которой доля критично важных автоматизированных процессов превысит долю ручного управления этим процессами. Речь идет здесь не только и не столько о непосредственном выполнение тех или иных физических или числительных работ, сколько о процессах принятия решений и дальнейшим распоряжении производственными и техническими мощностями.

А ведь уже сегодня, человек смело поручает управления некоторыми критичными для его существования процессами различным вычислительным машинам и автоматам. Ошибки и сбои в их работе, могут безусловно привести к плачевным последствиям. Но если сейчас это ошибки скорее технического характера, напрямую зависящие от человеческого фактора на различных этапах создания таких автоматизированных систем, то в будущем (не столь далеком) эти ошибки будут носить свершено иной характер своего возникновения, который будет сопряжен с автономностью подобных систем и наличием у них аналогов искусственного интеллекта (ИИ). При этом не стоит забывать и отмахиваться от темы создания ИИ, как нечто маловероятное и возможное лишь в очень далеком будущем. На самом деле, те же современные автоматизированные экспертные системы, системы принятия решений и т.п., вполне могут возложить на себя функции ИИ, со всеми вытекающими последствиями. Тем более, что этап проектирования социальной безопасности для человечества, нужно сформировать уже сейчас на примере предтеч таких систем будущего. Это необходимое условие вытекает из принципа эволюционного развития технического уровня, когда для формирования будущих эволюционных конструкций строится фундамент из логических принципов решений теоретических задач в настоящем. Таким образом, вполне очевидно, что задумываться над защитой от апокалиптических сценариев развития информационных технологий будущего нужно уже сейчас на этапе их формирования, а не тогда, когда их интеграция в нашу жизнь исключит возможность безболезненного исправления ошибок прошлого поколения.

Однако, прежде чем рассуждать на тему безопасности человека перед лицом наступающего века господства и преобладания информационных технологий, нужно понять и постараться предугадать все этапы развития таких технологий, а также те виды опасности которые оно сулит.

Как я уже писал несколькими абзацами ранее, в произведениях многих мастистых фантастов, переводится вполне правдивая картина развития человечества и его технического прогресса. Так, если уж не по форме, то по своему содержанию, в этих книгах вполне четко описывается прошлое, настоящее, будущее развития сферы информатизации и автоматизации жизнедеятельности человека. Нестанем рассматривать прошлое, то есть этап становления информационных технологий, как этап, завершенный и пройденный в рамках современной истории нашей цивилизации. Заострим свое внимание лишь на настоящем и, в особенности, на будущем. Словно сошедшие со страниц фантастических романов, многие аспекты нашей с вами жизни обрели материальные очертания. Так сегодня практически не возможно представить современное общество без прочно обосновавшихся сетевых и вычислительных технологий, которые нашли свое применение в очень многих сферах жизни человека. И несмотря на то, что пока это однозначные и по сути своей зависимые от человека технологии и устройства работающие на их принципе, уже сейчас они смогли фактически подчинить своей работе некоторые моменты нашей жизни. При этом речь идет не только о личной и частной жизни индивидуума, но и о деятельности объединений таких личностей, групп, компании и целых государств.

Давайте только представим, чтобы было, если бы на несколько суток прекратила свою работу сеть Интернет в глобальных масштабах. Даже сложно представить, к каким социальным и финансовым катастрофам может привести такое событие. А чтобы было бы если эта инфраструктурная сеть стала работать не правильно, к примеру подтасовав информацию в глобальных масштабах? Думаю, последствия были бы куда еще более плачевны. Все дело в том, что современный человек, очень сильно зависим от автоматизированных технологий, и привык существовать в условиях информационного океана и подчинятся информационным его потокам.

Но речь здесь следует вести не только о чисто информационных технологиях, таких как сетевая инфраструктура Интернет, а также об множестве иных автоматизированных методах и технологиях: производственные линии, автоматизированные рабочие места, автономные технические устройства. Это все то, без чего не может существовать современное общество. Как я уже упоминал, пока технический уровень развития автоматизации, позволяет создавать продукты лишь с определенным набором функций и сферой их применения. При этом такие программные и аппаратные продукты так или иначе жестко подчинены в своей деятельности воле и целям человека. Они за редким исключением, пока не могут принимать самостоятельных решений или же готовых решений, заранее заложенных в них человеком.

Но уже не за горами время, когда удастся воплотить мечту многих фантастов и создать ИИ. И совершенно не важно, будет ли он в форме самостоятельного андроида или же ключевой экспертной системы (это уже уровень современности, а не далекого будущего) на каком-нибудь жизненно важном объекте человеческой жизнедеятельности. Важной особенностью такого продукта является то, что он может принимать самостоятельные решения на основе исходных данных, и такие решения фактически будут мало зависеть от изначальных установок разработчика. При том чем сложнее, универсальнее и совершеннее такая экспертная система или даже ИИ, тем меньше будет описанная зависимость. В итоге, если дать полную свободу воли такой машине, то ее итоговые решения даже определенного круга задач могут сильно разнится от изначальных целей разработчика или оператора. Грубо говоря, следуя модным сценариям фантастических фильмов, робот может принять решение, идущее в ущерб человеку. Чтобы избежать подобного развития событий, следует придерживаться еще на этапе создания таких технологий принципов озвученных в «Трех законах робототехники», перенесенных на реальную действительность. Однако, чтобы сформировать такие принципы в реальных условиях современности и будущего, придется пройти этап глубокого и сложного анализа, впрочем вполне очевидного.

Скрытые и явные угрозы позитронных мозгов.

Продолжая последнюю мысль предыдущей главы, хочу сразу выделить два типа угроз для будущего человечества, исходящего от неконтролируемого развития информационных технологий. Это явные угрозы, непосредственно связанные с деятельностью таких технических решений, и скрытые, которые являются косвенным продуктом их деятельности. При этом я намеренно не озвучиваю здесь всем нам хорошо известную проблему злонамеренного воздействия человека на такие системы (то есть хакинг, взлом, заражения вирусами и т.п.). Причина такого хода моих мыслей, связана с тем, что, несмотря на то, что эта проблема также актуальна и представляет опасность, ее решение выходить за тематику данной публикации, а причины ее возникновения кроются в совершенно иных – социальных аспектах существования нашей цивилизации.

Тем ни менее, как это не парадоксально звучит, в будущем именно сами такие вычислительные технологии будут представлять не меньшую опасность, чем современные хакеры, но в отличие от последних, человечество не сможет отказаться от их использования в своей жизни. Тем более что такое использование, будет жестко связано с остальными сферами технического роста и развитии нашей цивилизации.

Итак, как я уже сказал существует два типа угроз: явные и скрытые. К явному типу угроз относится все то, что непосредственно связано с работой автономных вычислительных мощностей, то есть с работой ИИ или логических систем автоматического принятия решений. Это и проблемы доступности исходных данных и их объема, алгоритмизации процессов принятия решений на основе полученных исходных данных, объема свобод принятия решений и их исполнения на практике, объем доступных к эксплуатации и управлению технических и производственных мощностей. И только баланс безопасности для конечного потребителя в решении всех этих проблем может стать залогом успешного развития таких технологий.

Представим на секунду, вполне современную картину, уже довольно распространенную в нашей жизни. Так автоматизация бытовой деятельности человека давно не является плодом фантастики, и многие бытовые приборы уже давно обзавелись своими вычислительными автономными мощностями (встроенными компьютерами). И хотя пока они обладают лишь примитивным программным функционалом, способным выполнять лишь заложенные в него разработчиками четко определенные и хорошо контролируемые функции, притчей в устах является история о холодильнике заказавшим из-за алгоритмической ошибки (которую легко решить), несколько десятков ящиков пива пиво на пару тысяч долларов. А теперь представим, что может натворить простой бытовой холодильник, снабженный собственным ИИ с большей свободой действий и гибким алгоритмом решения задачи о приобретении продуктов питания, да в добавок имеющим связь со всей инфраструктурой быта человека. Вполне очевидна, картина, при которой умный холодильник стал бы кормить его владельца вредной для него пищей, дабы соблюсти его экономические возможности или же наоборот разорив его на фастфуде. При этом как видно, может пострадать одновременно и здоровье владельца и его финансы. Конечно, озвученный пример ни коем образом не раскрывает всей сути проблемы и ее масштабов. Проще, наверное, объяснить, что при наличие ИИ и отсутствие четкой логики в принятии решений конечных задач, а также растущих объемах баз данных и свободой их манипулирования, растет и плотность ошибок в действиях такого ИИ.

При этом такие ошибки не будут уже носить чисто технический или программный характер, а скорее будут связаны со смысловыми ошибками и ошибками естественной логики, при которых формально все технические и программные этапы решения задачи будут выполнены безупречно, но выходной продукт будет далек от поставленных целей. Несмотря на сложность осознания такого положения вещей, оно становится довольно очевидно, если представить, что описываемый ИИ, это некое подобие разумного живого существа, способного решать поставленные задачи, но вольного в преподнесении итогового результата. К примеру, в той же психиатрии известен очень широкий ряд заболеваний, при котором человек может осознавать поставленный вопрос, мыслить логически, но отвечать на него совершенно неподходящие вещи. Про такого человека часто говорят что он сумасшедший. А если ИИ будет обладать схожими функциями мышления, то где гарантия, что однажды он просто не сойдет с ума? Есть и другой вариант событий. К примеру, убийца, убивающий свою жертву ради наживы, вполне разумен и вменяем. Он отдает полный отчет своим действиям и несмотря на то, что идет против устоев морали и общества, действует в своих корыстных интересах.

Почему же тогда ИИ, не может изничтожить человека для сохранения, скажем своей целостности или при преследовании иных выгодных ему целях. Все эти проблемы автоматически накладываются на любой процесс инжиниринга и реализации ИИ и от их решения, будет зависеть не только успешность конкретного продукта, но и зачастую человеческие жизни.

К иному типу угроз относятся так называемые скрытые угрозы, возникающие не вследствие прямой деятельности таких автоматизированных систем, а лишь как косвенные последствия применения таких систем в целом. Ранее, в предыдущих публикациях и статьях в сети Интернет, я уже поднимал тему эволюционной проблематики внедрения ИИ. Ее смысл сводится к тому, что при развитии информационных технологий и создания машин с ИИ, которые будут внедрены в физическую жизнедеятельность человека, возможна деградация последнего и вымирание в ходе эволюционного отбора. Проще говоря, более совершенные машины могут занять нишу человека в современной экосистеме нашей планеты. В популярной литературе и кинематографе этот сюжет обыгрывался уже не раз. И если одно дело, когда более совершенные чем человек роботы и киборги порабощают или уничтожают нашу цивилизацию силой прямого воздействия, совершенно иное дело, когда человек сам уступает своем место более
сильному виду.

В этом плане, опят таки пример с автоматизацией бытовых процессов, но уже в глобальном масштабе, вполне подходит для описание подобной проблемы, которая потенциально может привести к деградации человечества. Так полная автоматизации деятельности человека, может легко привести к его малоподвижности, уменьшению потенциала мыслительной деятельности, и как следствие деэволюции до более примитивных видов, если не в плане физиологии, то уж точно в психологическом аспекте.

Как ни странно, но именно эти неочевидные типы угроз наиболее опасны и требуют дополнительной проработки в условиях становления развития технологий ИИ. Решение же этих проблем так или иначе сводится в самом общем случае к разработки правил призванных защищать человечество от подобных опасностей и контролировать развитие автоматизированных технологий. Однако, как я писал ранее, для их выработки необходим анализ текущего состояния данной сферы знаний человека и прогнозирование ее дальнейшего развития. Именно такие тенденции развития информационных технологий я и постараюсь рассмотреть в следующей главе, а также приведу свой анализ текущего и грядущего состояния уровня внедрения озвученных технологий в социальную жизнь общества и цивилизации. Коротко о настоящем и будущем умных роботов.

Я часто люблю повторять, что прогнозирование и анализ тех сфер науки, которые имеют в настоящем слабое или нечеткое развитие, процесс довольно сложный и в общем то схожий с гаданием на кофейной гущи. Речь, конечно, не об информационных технологиях, которые уже давно четко идентифицируются в истории технического развития общества, речь идет о проблематики создания ИИ. Но даже не располагая современными исходными данными о готовом ИИ, я попытаюсь провести параллель между современным состоянием автоматизации инфраструктуры деятельности человека и его будущей картиной.

Для начала окинем взглядом, современное положение вещей в рассматриваемой области. Сегодня информационные технологии все более плотно внедряются в жизнь человека, заняв уже некоторые его области. Так уже сейчас популярно автоматизированное управление многими производственными, социальными процессами. Широкое развитие сетевых технологий диктует курс на совершенствование информационных систем, которые становятся взаимосвязанными, глобальными и внедряются одновременно в различные сферы деятельности, объединяя их в одну сложную систему.

Автоматизированный обмен данными, облачные технологии, предрекают развитие систем распределенных вычислений и резкое возрастание вычислительных мощностей в ближайшее время. Все это говорит о сильной зависимости современного общества от функционирования вышеописанных систем, и как следствие критичность их отказоустойчивости для развития и существования общества в целом. Но как я уже упоминал в предыдущих главах, пока эти технологии обладают лишь четкой логикой в принятии решений задач, определенных целями создания таковых систем. То есть, фактически пока человек может всецело управлять информационной инфраструктурой общества, доверяя ей автоматизированную самостоятельную деятельность лишь под своим присмотром, выраженным хотя бы в определении списка поставленных задач и т.п. Однако, такая тенденция и технические потребности человечества, являются прямым предпосылками к появлению вожделенного ИИ и гибких экспертных систем, которые смогут сами определять, в том числе и задачи решение которых необходимо для достижении определенных человеком целей. Но очень скоро после этого, вероятно, появятся системы способные уже думать за человека, определяя свои цели.

Подобная тенденция очевидна и необходима для достижения высот технического прогресса, а также решения сопутствующих задач, но в месте с тем, развитие ИИ и подобных систем, способных к самостоятельному формированию списка задач, подвергает человечество опасности, главная из которых это переход из роли управляющих, в роль управляемых машинами.

Исходя из современных тенденций развития сетевых и информационных технологий, главным образом это отразится на психологическом аспекте существования будущего человека, направление мыслей и эмоциональное развитие, которого будет положение вещей, быстро приведет к утрате самостоятельности и превращению сознательной части человечества, в «рабов» машин. Что примечательно, для такого сценария развития истории, вовсе нет необходимости в наличие у этих самых машин прямого умысла в порабощении или даже разума как такового. Все куда проще, человек сам придумает себе машину, выполняющую за него работу и контролирующую его жизнь, при этом последующие поколения людей, уже не смогут обойтись без таковых механизмов и будут всячески поддерживать работу и совершенствовать их, лишь все более погружаясь в зависимость.

Именно глобальная зависимость от автоматизированных технологий является основной проблемой будущего, когда человек перестанет думать, предав эту функцию машине, тем самым впав в глубокую зависимость от нее.

Что же касается инфраструктурного распределения автоматизированных технологий и ИИ, то оно будет выглядеть приблизительно так:
более чем на 80% будет автоматизировано потоковое производство, включая циклы промежуточного контроля;
полная автоматизация финансовой деятельности;
большая часть бытовой инфраструктуры, включая и информационную сферу, также будет управляется различными ИИ. Впрочем, ИИ найдет свое применение и в иных отраслях, такое как военное дело, медицина и обучение.

Как видно из этого анализа, практически во всех сферах своей жизни человек, будет зависим от автоматизированных машин, тем самым очень уязвим перед угрозами исходящими от «позитронных мозгов». Решение же проблемы защиты от этих угроз кроется в грамотной политики социальной безопасности в условиях интеграции информационных технологий, начало которой было положено Айзеком Азимовым в его знаменитых «Трех законах робототехники». Три исторических закона робототехники и множество современных.

Я не стану цитировать здесь всем хорошо знакомые с детства «Три закона…», любой желающий сможет найти их в литературе или в сети Интернет. Однако, я упомяну, что они как нельзя лучше отображают суть принципов безопасности человека перед лицом умного робота. Но, хотя и проницательность автора поражает своей точностью, все таки данные законы более справедливы для самой фантастической формы реализации ИИ. В современных условиях и условиях недалекого будущего, данные законы требуют большей конкретизации.

В этой главе я попытаюсь вывести основные из них в форме некого плана концепции или политики социальной безопасности общества от угроз исходящих от интегрированного ИИ и автоматизированных экспертных систем. Я ни в коме разе не берусь утверждать, что озвученные далее правила, являются верными или полными, они лишь призваны выразить личную точку зрения и направить ход мыслей читателя в нужное русло.

И первое правило, которое мне приходит на ум, заключается в том, что множество исходных задач решаемых ИИ (далее под этой аббревиатурой подразумевается и автоматизированные экспертные системы), а также множество исходных данных, необходимых для их решения, должно строго определятся, либо постоянно контролироваться, человеком. Это правило вытекает из необходимости контролировать объем полномочий и возможностей ИИ, дабы избежать возможный случай его превышения, когда распределенный разум ИИ будет способен оказать влияние на процессы, выходящие за его компетенции.

Второе правило, гласит о том, что взаимосвязь и способность передачи данных, а также техническими мощностями, между различными ИИ должна быть строго ограничена рамками целей возложенных на них человеком. Это правило, позволяет регулировать объем передаваемой информации между различными инфраструктурами ИИ, тем самым ограничивая объем их полномочий и возможностей.

Третье правило касается важного аспекта любого полноценного ИИ, который я ранее не упомянул в тексте, а именно – возможности самообучения и развития. Правило гласит: любой ИИ должен быть ограничен в своем саморазвитие лишь тем направлением и объемом исходных данных, которые соответствуют целям его эксплуатации, определяемыми человеком. Такое правило является защитой от угрозы самопознания окружающей действительности и применения полученных знаний вне рамок возложенных задач на ИИ.

Правило номер четыре, основывается на том факте, что наиболее безопасным является такое распределение центров ИИ, при котором участки инфраструктуры разбиваются на отдельные участки, определенными актуальными на них задачами, которые контролируются отдельными небольшими ИИ, связанными между собой. Другими словами, иерархия построения инфраструктуры ИИ должна быть линейной, а не вертикальной, когда отсутствует единый центр управления всей инфраструктурой. Такое правило позволяет избежать захват управления целой инфраструктурой отдельным глобальным ИИ, а также уменьшает вред нанесенный ошибками в работе отдельно взятого ИИ.

Пятое правило предполагает наличие альтернативных систем простой логики в любой критичной инфраструктуре ИИ, на которые можно в экстренной ситуации переключить систему. Данное правило позволяет в любой момент времени, при неправильной работе ИИ отключить его от критично важной системы, тем самым исключить ее неправильное функционирование.

Наконец, шестое правило, гласит, что автоматизация не должна затрагивать те жизненные процессы человека, в которых он испытывает наибольшую психологические самореализацию и самовыражение. Примером такого самовыражения и самореализации, должно быть творчество, свобода мыслей и чувств. Очень важно давать человеку возможность хотя бы иногда давать принимать самостоятельные решения. Такое правило защищает человеческую психику от деградации, что является очень важным аспектом в социальной безопасности.

Седьмое правило стоит особняком и заключается в строгом запрете, на разработку механизмов и алгоритмов достоверной эмуляции психологический чувств у носителей ИИ, особенно это касается человекообразный анроидов. Этот пункт в списке правил призван также защитить человеческую психологию от привыкания и «одушевления» мыслящих машин, которое в будущем может только ускорить деградацию человечества и увеличить его зависимость от ИИ.

Пожалуй, я ограничусь набором лишь этих правил, предоставляя возможность домыслить недостающие из них, а также дать возможность обдумать имеющиеся, самому читателю. И в правила робототехники Айзека Азимова также остаются в силе, но будут справедливы для каждого отдельного и полнофункционального самостоятельного носителя ИИ (то есть, к примеру, к конкретному роботу).

Что-то вместо заключения.
В заключении, которое я решил сделать очень лаконичным, я бы хотел сказать о том, что, безусловно, человечество ждет светлое и прогрессивное будущее, которое сулит ему грядущий век развития информационных технологий. Однако, чтобы этот век закончился для нашей цивилизации новыми перспективами и совершенством наших жизней, необходимо со всей серьезностью отнестись к реализации такой, казалось бы безобидной информационной технологии как ИИ, в действительности же таящей в себе немало грядущих опасностей для всего человечества.
С уважением к читателям, Иван Петров.

Всеми авторскими правами на книгу владеет только ее автор – И. Б. Петров. Все права не предоставленные здесь явно, сохраняются за автором.
Copyright © 2013 И.Б.Петров. Все права защищены.

ИСПОЛЬЗОВАНИЕ И РАСПРОСТРАНЕНИЕ:
Данная книга, распространяется в качестве бесплатного продукта. При этом следует учесть следующие обязательное условие: Продажа данной книги строго запрещена. Она может и должна распространятся только на некоммерческой основе, с обязательным условием неизменности PDF-документа.

ГАРАНТИИ:
Эта книга распространяется как “чистая информация” (information only) — автор, не дает никаких гарантий и обязательств. Автор пытается обеспечить как можно более точной информацией относительно рассматриваемых вопросов. Он не несет ответственности за ошибки, опечатки и неправильные интерпретации описываемых здесь вопросов. Автор книги, также, не дает каких-либо гарантий и обещаний по поводу изложенного материала, который следует воспринимать исключительно как художественный вымысел! Также автор не отвечает за вред, причинённый её исполнением здоровью, имуществу, правам и законным интересам, Читателя, а также вред здоровью, имуществу, правами законным интересам третьих лиц, нанесенным в связи с какими-либо действиями Читателя. Вся ответственность за использование данной программы целиком и полностью ложиться на Читателя!
Свидетельство о публикации №213020401944

Понравился материал? Отблагодарите автора вниманием
поделитесь ссылкой с друзьями: