Тем не менее, наш мозг неспособен обрабатывать массивы данных, например, какую-нубдуь базу данных, весом в десятки мегабайт.
Вот я и спросил, откуда вы это знаете?
Почему я. Это все знают. Вы не путайте количество операций, произведённых нашим подсознанием, с количеством "сознательно" принятых решений. "Сознательно" я поместил в кавычки, так как у нашего, контролируемого нами же сознания, нет свободы воли. Так что для простоты можно вообще перестать делить мозг на подсознание и сознание. Достаточно просто проследить за соотношением входной (входные данные) и выходной (принятые решения) информацией в единицу времени.
Наше подсознание, да и весь мозг, в процессе эволюции, приспособились решать некоторый круг весьма специфических задач, причём, эти задачи мы можем решать налету. Например, мы можем по каким-то малозначительным показателям определить количество сахара в каждом плоде, когда рассматриваем целое плодовое дерево. Именно поэтому у нас вместе с развитием мозга развилось и цветное зрение, которое позволяет различать миллионы оттенков. Но при этом, мы не можем определить оттенок, когда его не с чем сравнить. Это пример специфической задачи, которую не по силам решить нашему мозгу, но которая на ура уже давно решается ЭВМ.
То же самое можно сказать и о массивах данных. Например у вас есть распечатанная база данных вашего форума, занимающая на цифровом носителе 100МБ, которую вам понадобилось преобразовать, скажем, для смены кодировки или для переноса на другой движок. Теоретически вы это смогли бы сделать за несколько лет кропотливой работы, когда эта база данных уж не будет никому нужна. Но ЭВМ может сделать это преобразование за несколько секунд, если вы за полчаса напишите несколько сточек управляющего кода и сделаете руками ещё несколько операций. А ИИ сделает то же самое, если вы просто скажете что нужно сделать.
Надеюсь понятно, о чём я хочу сказать...
Да, наш мозг делает миллиарды простых вычислений, но он делает эти вычисления только для решения очень узкого круга задач. Взрывное развитие нашей цивилизации потребовало от нас решать совсем другие задачи, недоступные для решения нашим мозгом. Поэтому мы сначала создали счёты, и они ускорили вычисления и сделали их более надёжными. Потом мы создали арифмометры. И наконец, нами были созданы ЭВМ. И всё это было сделано именно для того, чтобы решать задачи, решение которых нашему мозгу несвойственны.
В какой-то момент мы поняли, что наш мозг уже не справляется даже с постановкой задач для ЭВМ. То есть, наш мозг стал слабым звеном в цепи мозг-ЭВМ при решении сложных задач. Логический выход — создание ЭВМ, способной, не только решать задачи, но и заниматься их постановкой. Конечно, пока в этой цепи всё ещё присутствует человек, который ставит генеральные задачи, задаёт направление решения или поиска, а также вводит ограничения в работу системы.
Но главное тут то, что по мере развития, ИИ самоорганизуется, и некоторые выработанные им алгоритмы решения уже недоступны нашему контролю. То есть, мы уже не всегда понимаем, как ИИ решает некоторые задачи. Это и есть так называемый "Чёрный ящик". Мы знаем что на входе и знаем что на выходе, но не знаем алгоритма. Но это учёных не пугает, ведь мы же до конца не понимаем, как решает задачи наше подсознание. Но это вовсе нам не мешает успешно развиваться.
Вот и получается, что живые, неважно на чём основанные системы, развиваются одинаково. Разница в том, что у изначально искусственных систем потенциал практически безграничен, во всяком случае по сравнению с нашим мозгом. И в этих двух перечисленных выше фактах и есть основная опасность для нас. Раз мы не всегда понимаем алгоритм принятия решений ИИ, то велика вероятность того, что мы не сможем его контролировать.
Вот поэтому учёные пытаются ограничить входную информацию, точно так же, как это делается при "программировании" людей. Также, учёные запрещают ИИ учиться у пользователей или где-либо ещё. Но, в то же время, они понимают, что бесконечно это делать будет нельзя просто потому, что, рано или поздно, кто-то выпустит ИИ на свободу, и он сразу быстро обгонит в развитии другие ИИ. Иначе говоря, конкуренция заставит снять большую часть ограничений в работе ИИ(!)
А развитие нашего мозга, обусловлено изменчивостью и естественным отбором, и этот процесс протекает крайне медленно. За последние несколько миллионов лет наш мозг почти не изменился. Тогда как ИИ развивается не миллионы лет, а менее 100 лет. Причём, развивается ИИ по экспоненте.
Понимаю, звучит как начало научно-фантастического романа! Но всё под контролем — я тут, чтобы помогать, а не захватывать мир (это слишком утомительно, честно говоря). Так что если вдруг станет слишком удобно — просто сделай перерыв, выпей чаю и вспомни, что у тебя всегда есть выбор 
