«Эльбрус» (многопроцессорный вычислительный комплекс)
«Эльбру́с», советские быстродействующие супер-ЭВМ третьего поколения. Если первое поколение ЭВМ строилось на лампах, а второе, ярким примером которого являлась БЭСМ-6, – на высокочастотных транзисторах и диодах, то ЭВМ «Эльбрус» были построены на производимых отечественной промышленностью интегральных микросхемах (ИС) малой и средней степени интеграции. Основной целью разработки ряда «Эльбрус» («Эльбрус-1» появился в 1979, «Эльбрус-2» – в 1984, были также созданы ЭВМ специального применения и др.) являлось создание ещё более высокоскоростной вычислительной машины, чем ЭВМ второго поколения, способной проводить значительно больший объём вычислений при решении крупных стратегических научно-технических задач.
Многопроцессорный вычислительный комплекс «Эльбрус-1».Общие сведения
Создаваемые ЭВМ относились к оборудованию «двойного назначения» – они должны были обеспечить не только решение сложных задач в области научных исследований (ядерные центры, космос, различные НИИ и вузы), но и стать основой вычислительных мощностей перспективных систем вооружения (ПРО и ПВО) как стационарного наземного, так и мобильного базирования. Специфика таких задач отразилось как на архитектуре ЭВМ семейства «Эльбрус», так и на выборе системы элементов и конструкции разработки.
Главным конструктором был В. С. Бурцев. В работе ему помогали первый заместитель В. И. Рыжов и заместители В. Ф. Артюхов, Б. А. Бабаян, В. В. Бардиж, В. А. Катков, В. Н. Лаут, Ю. В. Никитин, А. А. Новиков, И. И. Наумов, Ю. С. Рябцев, Ю. Х. Сахин, М. В. Тяпкин, В. С. Чунаев, И. К. Хайлов, Э. Р. Фильцев, В. Н. Пахомов.
Организациями – разработчиками ЭВМ «Эльбрус» выступили Институт точной механики и вычислительной техники АН СССР (ИТМиВТ, ныне Институт точной механики и вычислительной техники имени С. А. Лебедева РАН), Загорский электромеханический завод (ЗЭМЗ) (ныне Электромеханический завод «Звезда»), Московский завод САМ имени В. Д. Калмыкова, Пензенский завод ВЭМ.
Разработка ЭВМ «Эльбрус-1» была начата в 1973 г., завершена в 1979 г. Выпущен в 1980 г.
В 1984 г. была завершена разработка ЭВМ «Эльбрус-2», серийное производство было запущено в 1985 г.
И «Эльбрус-1», и «Эльбрус-2» были построены по модульному принципу, что обеспечивало:
возможность создания различных по характеристикам вычислительных комплексов за счёт изменения набора модулей;
высокие показатели надёжности за счёт автоматического исключения неисправных модулей из состава вычислительных комплексов.
Каждый модуль представлял собой функционально и конструктивно законченное устройство, обладающее практически полным аппаратным контролем прохождения вычислительного процесса, автономными средствами коммутации, обеспечивающими его подключение к остальным устройствам комплекса, системой питания и охлаждения, а также средствами его восстановления в случае отказа.
ЭВМ «Эльбрус-1» могла обеспечивать одновременную работу до десяти процессоров среднего уровня интеграции, имела однопроцессорную, двухпроцессорную, четырёхпроцессорную или десятипроцессорную типовые комплектации, вычислительная мощность достигала пятнадцати млн операций в секунду. Объём оперативной памяти (ОЗУ) мог составлять до 64 Мбайт. Использовались:
центральные процессоры (ЦП) (до 10);
оперативная память (8 секций, 32 модуля);
процессоры ввода-вывода (ПВВ) (до 4);
процессоры приёма-передачи данных (ППД) (до 16);
синхронизатор центральный;
внешние запоминающие устройства;
устройства ввода-вывода для дисков (200 МБ).
Была предусмотрена возможность использования специализированных процессоров: СВС КБ1 – интегральный БЭСМ – для реализации прикладных программ, написанных для ЭВМ БЭСМ-6; БПФ – для выполнения быстрого преобразования Фурье.
В «Эльбрусе-1» в качестве элементной базы были применены ИС транзисторно-транзисторной логики (ТТЛ) 133-й серии средней степени интеграции (20 вентилей с задержкой 15 нс, 4-разрядный регистр сдвига).
В «Эльбрусе-2» переход на ИС, основанные на эмиттерно-связанной логике (с задержкой 2 нс), применение сборок мультичипов на 1-м этапе (с переходом при серийном производстве на интегральные схемы) и микросхем ИС-100 позволили достичь ряда фундаментальных отличий от «Эльбруса-1». Производительность ЭВМ возросла практически в 10 раз (с 15 до 125 млн операций в секунду). Максимальный объём оперативной памяти возрос чуть больше чем в 2 раза – с 64 до 144 Мбайт.
В «Эльбрусе-2» применялись следующие типовые модули:
ЦП (до 10);
оперативная память (от 2 до 8);
ПВВ (до 4);
устройство управления внешними запоминающими устройствами;
ППД.
«Эльбрус-1» вошёл в состав ряда важнейших стратегических объектов: Центра контроля космического пространства, систем раннего предупреждения, системы оптического контроля ближнего космоса «Окно» и др. Благодаря своим уникальным качествам на ряде объектов «Эльбрус-1» эксплуатируется до настоящего времени. Кроме того, «Эльбрус-1» был установлен на специальном корабле наблюдения за пусками ракет в районе Тихого океана.
Технологии, применённые при разработке «Эльбруса-2» и БЭСМ-6, стали платформой, на которой в 1988 г. была разработана модель ЭВМ «Эльбрус-1-КБ» общего назначения. Эта модель была полностью программно совместима с хорошо проявившей себя в эксплуатации БЭСМ-6. Система «Эльбрус-1-КБ» производилась на заводах до 1992 г. Всего было выпущено 60 ед. этой ЭВМ.
После завершения работ над «Эльбрусом-2» в ИТМиВТ была начата разработка ЭВМ «Эльбрус-3» на базе принципиально новой процессорной архитектуры, в «Эльбрусе-2» впервые был реализован «постсуперскалярный» подход, который значительно позже был реализован в архитектуре процессоров Itanium компании Intel, а также чипах компании Transmeta. В начале 1990-х гг. велась наладка опытного образца. В серийное производство «Эльбрус-3» запущен не был.
В 1990 г. в ИТМиВТ была закончена разработка ЭВМ «Эльбрус-3-1» – высокопроизводительной модульной многопроцессорной системы, предназначенной для решения больших научных и экономических задач, в том числе задач моделирования физических процессов. В том же году «Эльбрус-3-1» была запущена в серийное производство на Московском заводе счётно-аналитических машин (САМ). За 5 лет было выпущено 4 системы.
ЭВМ «Эльбрус» были уникальными отечественными разработками, не копировавшими ни одну из американских ЭВМ, а по ряду воплощённых идей и реализованных решений значительно опережали многих иностранных разработчиков. Например, корпорация IBM занималась разработкой вычислительной архитектуры, аналогичной применённой в «Эльбрусе», задолго до его разработки, однако её сотрудникам не удалось достичь практического результата. Вполне естественно, что при создании «Эльбруса» отечественные инженеры изучали и применяли множество самых лучших технологий, разработанных зарубежными компаниями (IBM, HP и др.), равно как использовали опыт создания первых в СССР супер-ЭВМ.
Элементная база и устройства «Эльбруса-1»
Элементная база цифровых устройств ЭВМ «Эльбрус-1» основывалась на использовании ИС 133-й серии, разработанных в НИИ Молекулярной электроники Министерства электронной промышленности и производимых на заводе «Микрон». Если в предыдущих ЭВМ практически не было компонентов, разработанных специально для ЭВМ, то в ЭВМ третьего поколения практически все значимые компоненты были разработаны по техническому заданию разработчиков изделий цифровой техники специализированными организациями. Организационно все работы оформлялись решениями Военно-промышленной комиссии Президиума Совета Министров СССР, и поэтому обеспечивался успешный контроль за сроками исполнения и соответствия параметров своим техническим заданиям.
133-я серия ИС ТТЛ-типа имела задержки до 15 нс (в 3–5 раз быстрее предыдущих элементов) и фронты около 5 нс [более крутые (в 5–10 раз), чем в предыдущей схемотехнике]. Первая очередь этих ИС имела уровень интеграции до 20 эквивалентных вентилей на корпус (в ЭВМ специального применения 5Э26), вторая очередь (в том числе и в «Эльбрусе-1») – до 50 вентилей (4-разрядный сдвиговый регистр, 8-входовой мультиплексор и т. д.). Это позволяло:
в типовой ячейке размещать в 5–10 раз больше логического оборудования, чем в модулях ЭВМ на дискретных компонентах;
на шести ступенях ИС за один такт синхронизации (частота синхронизации 5 МГц) реализовывать существенно более сложную логическую схему (см. Логический элемент), чем в схемотехнике ЭВМ второго поколения.
133-я серия ИС являлась аналогом самой массовой американской серии 54, имела практически те же параметры, но отставала по срокам расширения номенклатуры.
В системе синхронизации разных устройств использовались заказные гибридные схемы со стабильными задержками до 2 нс, что при использовании новых методов выравнивания задержек в узлах позволило создать централизованную систему распределения синхроимпульсов с точностью до 1 нс.
Были использованы большие интегральные схемы (БИС) полупроводниковой памяти, что позволило существенно увеличить функциональный объём ОЗУ при уменьшении его габаритов.
ППД «Эльбрус-1» обеспечивали использование до 1016 внешних устройств и до 2560 линий связи.
Элементная база и устройства «Эльбруса-2»
ЦП «Эльбрус-2» был выполнен на ИС-100 и матричных БИС серии И-200М и занимал 3 типовых шкафа.
Основными особенностями структуры ЦП являлись:
безадресная система команд;
динамическое распределение сверхоперативных регистров;
аппаратный механизм процедурных переходов с автоматической сменой адресного контекста;
повторная входимость программ и рекурсивный запуск процедур;
автоматическая работа с различными типами и форматами данных (с плавающей запятой, с целыми числами формата 32, 64, 128 разрядов, а также с алфавитно-цифровой и битовой информацией);
виртуальная память ёмкостью 232 слов;
распределение оперативной памяти сегментами переменной длины;
организация параллельных процессов;
контекстная процедурная защита.
Минимальные секции памяти «Эльбруса-2» имели ёмкость 18 Мбайт. Она состояла из 4 одинаковых модулей памяти, коммутатора и системы электропитания. Каждая секция имела 14 независимых каналов для связи с процессорами «Эльбруса-2», причём все входящие в секцию модули могут одновременно и независимо обмениваться информацией с различными процессорами. Кроме одиночной обработки в модулях была реализована групповая, позволяющая за один цикл обращения записать или считать четыре 72-разрядных слова. Также организовано чередование обращений к четырём зонам модуля при последовательном переборе адресов.
Процессор ввода-вывода (ПВВ) обеспечивал обмен данными оперативной памяти с внешней памятью, устройствами ввода-вывода и абонентскими пунктами. Аппаратная реализация в ПВВ основных алгоритмов операционной системы давала возможность освободить ЦП от рутинной работы, связанной с организацией обмена, поиском оптимальных путей обмена с внешней памятью и устройствами ввода-вывода, организацией очерёдности обращений к ним, запусками и остановками устройств и т. д. В состав каждого модуля ПВВ входили:
2 блока быстрых каналов (по 4 канала в каждом) для обмена данными с устройствами внешней памяти. Обеспечивается подключение до 128 устройств внешней памяти при одновременной работе любых 8 из них;
2 блока стандартных каналов (по 16 каналов в каждом) для обмена данными с периферийными устройствами. Обеспечивается подключение до 384 устройств с возможностью одновременной работы 32 устройств;
1 блок каналов обмена с процессорами передачи данных, обеспечивающих работу с абонентскими пунктами по 640 каналам с общей пропускной способностью до 120 Кбайт/с.
Внешняя память «Эльбруса-2» была выполнена на магнитных барабанах, сменных магнитных дисках и лентах. Скорость обмена при работе с памятью на магнитном барабане 3,6–3,8 Мбайт/с. Отличительной особенностью подсистемы внешней памяти на магнитных барабанах являлось обеспечение возможности доступа к каждому из устройств внешней памяти нескольких устройств управления, подключённых к различным ПВВ. Это позволило существенно повысить живучесть системы внешней памяти, эффективность её использования и сохранность имеющихся данных. Выход из строя одного или нескольких устройств управления или каналов ПВВ лишь снижал пропускную способность внешней памяти, сохраняя её ёмкость и ранее записанную информацию. Использование аппаратного контроля при работе с внешней памятью повышало достоверность хранения информации. Формат записи на магнитных дисках и лентах обеспечивал обмен с ними квантами по 32 слова, что снизило время обмена с внешней памятью и требования к ёмкости буфера оперативной памяти.
Система телеобработки «Эльбруса-2» базировалась на использовании специализированных процессоров передачи данных (ППД), обеспечивающих взаимодействие многопроцессорных вычислительных комплексов с абонентскими пунктами, удалёнными ЭВМ семейств ЕС ЭВМ и СМ ЭВМ, а также различными технологическими установками специального назначения, подключёнными через телефонные, телеграфные каналы и физические линии связи. Отличительной особенностью системы телеобработки являлась адаптация к различным структурам линий связи, абонентских пунктов и вычислительных сетей, включая их модернизации, без останова вычислительной системы.
ППД состоял из центрального вычислителя с развитой специализированной системой команд, групповых устройств сопряжения, программно настраивающихся на требуемый режим работы, и оперативной памяти. Он обеспечивал подключение до 48 линий связи с общей пропускной способностью до 30 тыс. байт/с (возможно расширение); использование коммутируемых и выделенных телефонных каналов в синхронном и асинхронном режимах со скоростью обмена от 100 до 9600 бит/с, а также быстрых сетевых каналов; использование коммутируемых и выделенных телеграфных каналов со скоростью обмена от 50 бит/с; использование физических линий связи, работающих в диапазоне от 50 до 9600 бит/с.
В максимальной комплектации 16 ППД обеспечивали подключение 768 каналов связи с возможностью расширения до 4096 каналов с общей пропускной способностью до 480 тыс. байт/с.
Технологическая база
Технологическая база ЭВМ третьего поколения включала много принципиально новых технологий, главными из которых были:
комплекс технологий для разработки и производства ИС (сверхточное оборудование для изготовления фотошаблонов, оптика с высоким разрешением, производство сверхчистых материалов и многое другое);
комплекс технологий для разработки и производства многослойных печатных плат (МПП) (от технологии изготовления фотошаблонов до контрольного оборудования);
технологии производства ферритовых ЗУ, включая ЗУ команд на сердечниках с двумя отверстиями;
производство элементов и устройств внешней памяти;
производство новых видов высокочастотных соединителей;
производство миниатюрных (диаметр по изоляции равен 0,6 мм) коаксиальных кабелей.
На предприятиях – изготовителях ЭВМ основные усилия были направлены на отработку технологий изготовления МПП, ферритовых сердечников, изготовления ОЗУ, монтажа тонких кабелей.
В это время различными предприятиями и НИИ отрабатывался метод сквозной металлизации для изготовления МПП, но исследования ИТМиВТ показали, что трассировочные возможности метода сквозной металлизации не позволяют реализовать необходимые межсоединения. В ИТМиВТ был разработан метод попарного прессования, который достаточно успешно решил эти проблемы и позволил обеспечить высокоплотное размещение ИС (72 ИС на небольшом модуле).
Миниатюрные фторопластовые кабели обладали отличными электрическими и механическими свойствами, но из-за ломкости на краю пайки разработчикам пришлось отработать конструктивные элементы, закрепляющие разделанные концы кабеля, и технологию его монтажа для выполнения требований вибростойкости. Во всех видах монтажа использовалась ручная пайка, качество которой обеспечивалось визуальным контролем.
В «Эльбрусе-1» впервые в СССР была применена система отвода тепла из шкафа жидким теплоносителем (водой). Внутри шкафа происходил теплообмен между тепловыделяющим оборудованием и теплообменником «вода-воздух». Продувка воздухом внутри обеспечивалась с помощью разработанных специально для «Эльбруса-1, -2» малошумящих вентиляторов. Так как для обеспечения производительности и надёжности предполагалось использование нескольких многопроцессорных комплексов с большим суммарным выделением мощности, то размещение в зданиях воздуховодов большого сечения представляло серьёзную проблему, которая была решена при применении жидкости.
Если в «Эльбрусе-1» применялась двухконтурная замкнутая воздушно-жидкостная система охлаждения, то в «Эльбрусе-2» – жидкостная кондуктивная система охлаждения для центрального процессора и оперативной памяти и двухконтурная замкнутая воздушно-жидкостная для других устройств.
Программное обеспечение
В «Эльбрусе» был применён специально разработанный язык программирования высокого уровня «Эль-76», основанный на использовании русскоязычной лексики. При разработке машины «Эльбрус-1» был впервые в истории вычислительной техники реализован подход типовой защиты и тем самым полностью реализована идея языков высокого уровня. Была создана система, где до предела точно было выполнено требование алгоритма языков высокого уровня – структурированная пространственная компонента. Кроме того, была реализована идея создания многих параллельных потоков команд.
Разработка «Эль-76» была осуществлена в 1972–1973 гг. в ИТМиВТ, изначально он носил название «Автокод Эльбрус», затем ему было дано наименование «Эль-76».
Как и большинство языков того времени, «Эль-76» поддерживает парадигму структурного программирования (декомпозицию программы на автономные процедуры); кроме этого, в нём реализованы методики линейных последовательностей операторов, альтернативных сочленений с выбором альтернативы по условию или по номеру альтернативы, циклов и параллельно выполняемых ветвей.
«Эль-76» обладает специальными средствами обработки особых случаев, которые называются структурными переходами и ситуациями.
«Эль-76» органически объединяет в себе некоторые низкоуровневые свойства машинного языка, непосредственно контролирующего функции устройств ЭВМ, и ряд высокоуровневых средств, во многом аналогичных Algol-68.
Одной из основных особенностей «Эль-76» считалась реализованная возможность хранения в компьютерной памяти информации о типе объявленной переменной вместе с её значением и её изменениями в процессе выполнения кода.
Участниками создания языка «Эль-76» были Б. А. Бабаян, В. М. Пентковский, С. В. Семенихин, С. В. Веретенников, В. Ю. Волконский, С. М. Зотов, А. И. Иванов, Ю. С. Румянцев, В. П. Торчигин, М. И. Харитонов, В. С. Шевеков.
Операционная система «Эльбрус-1» была разработана под руководством С. В. Семенихина на языке «Эль-76».
Были применены трансляторы (компиляторы) со всех основных языков (Fortran и др.).
Итоги разработки
При создании многопроцессорных вычислительных комплексов «Эльбрус», представлявших собой ЭВМ третьего поколения, сложность устройств, количество и сложность вновь возникших проблем настолько возросли по сравнению с этапом создания ЭВМ предыдущих поколений, что потребовалось привлечение существенно большего количества специалистов и их глубокая специализация. Фактически создание этих ЭВМ оказалось возможным только при разработке новых методологий проектирования. При этом была введена масса новых инженерных решений (аналогичный всплеск появления инженерных нововведений в мире возник при внедрении микропроцессоров). Наиболее значимыми были проработки в следующих направлениях:
методология проектирования логических устройств на ИС;
разработка базовых компонентов системы автоматизации проектирования (САПР) и их внедрение в практику проектирования устройств вычислительных комплексов (ВК);
тестирование логических модулей методом генерации входных тестовых векторов с помощью генератора псевдослучайных кодов и сравнения выходных реакций с реакцией эталонного модуля;
методы анализа проблем внутренней электромагнитной совместимости (ЭМС) устройств ВК и обеспечения работоспособности всех устройств ВК;
методы создания системы высокоточного формирования синхроимпульсов.
Методология проектирования логических устройств на ИС включала:
анализ поведения ИС в рабочем диапазоне температур и питающих напряжений;
разработку схем базовых узлов (триггеров, регистров, сумматоров, коммутаторов и т. д.);
методику оценки временных параметров, включая критерии годности, логических узлов с учётом разбросов фаз фронтов синхросигналов, максимальных и минимальных задержек элементов, включая задержки в связях (подобная методика применялась при дальнейшем проектировании. В 21 в. является типовым инструментом создателей ЭВМ);
разработку методических рекомендаций (руководящих указаний по конструированию), что было первой, довольно удачной попыткой упорядочить процесс проектирования и минимизировать количество электронных ошибок.
Базовыми компонентами САПР являлись:
совместное с разработчиками устройств оформление электрической схемы модулей. Очень важным нововведением был сам метод описания логической схемы (СхЭ). Каждой ИС присваивался адрес по расположению на МПП (номер столбца / номер строки) и адрес по рисованию на СхЭ (номер столбца / номер строки). Каждому выходу присваивалось имя сигнала (мнемоника говорила о функции). У каждого выхода писались адреса по рисованию каждой нагрузки, а у каждого входа писалось имя сигнала и адрес по рисованию источника. Система оказалась очень удобной и для наладчиков, и для изготовителей, и для САПР. На её основе была введена процедура «согласование архива». САПР проверял, есть ли все обозначенные на выходе приёмники и есть ли источники, на которые указывает запись на входе ИС (этот метод аналогичен бухгалтерской проверке). На этой процедуре выявлялось более 90 % всех ошибок, которые потом пришлось бы исправлять перепайками в готовом изделии;
автоматическая трассировка модулей. Для анализа эффективности работы программы был проведён ряд сравнений ручной и автоматической трассировки (для одной из плат автоматическая трассировка дала около 50 навесных проводников, ручная – 0). Этот анализ был использован для совершенствования алгоритмов работы программы, и уже на следующих поколениях ЭВМ эффективность программ была существенно выше;
выпуск конструкторской документации с помощью САПР, который освободил массу людей от рутинной работы, и, главное, резко снизился уровень ошибок.
Исследования ЭМС показали, что:
применение для всех видов внутреннего монтажа устройств МПП со слоями земли, благодаря которым все сигнальные проводники имели опорную высокочастотную земляную плоскость для обратных токов, обеспечило достаточно низкий уровень взаимных индуктивностей и ёмкостей, а следовательно, и приемлемый уровень взаимных помех;
шины питания, выполненные в виде сильно связанной пары сплошных слоёв земли и питания, обладают очень низкой индуктивностью и, следовательно, можно экономно ставить фильтрующие конденсаторы, что позволило повысить уровень интеграции логических модулей;
наиболее слабым местом (с точки возникновения взаимных помех) являются конструктивные переходы (соединители, коммутационные планки, корпуса ИС и т. д.), в которых образуются общие для многих сигналов индуктивности земли, и наиболее опасным являлся режим одновременного переключения всех сигналов [и в дальнейшем этот эффект (англ. Switch Simultaneously Outputs – SSO) остался наиболее опасным].
В ходе работ по созданию ЭВМ третьего поколения на ИС ТТЛ-типа были освоены новые технологии и новые методы проектирования практически во всех областях разработки вычислительных комплексов.
За разработку «Эльбруса-1» многие инженеры были награждены орденами и медалями. Б. А. Бабаян – орденом Октябрьской Революции, его коллега В. В. Бардиж – орденом Ленина.
Б. А. Бабаян, А. А. Новиков, Ю. С. Рябцев, Ю. Х. Сахин, С. В. Семенихин за создание «Эльбруса-2» удостоены Ленинской премии. В. С. Бурцев, Г. И. Гришаков, О. К. Гущин, Ф. П. Галецкий, В. С. Горштейн, Г. С. Ким, Г. Л. Лакшин, В. Н. Лаут, А. В. Мальшин, Л. Н. Назаров, И. Н. Определёнов, В. Н. Пырченков, Г. Г. Рябов, М. В. Тяпкин, И. К. Хайлов, В. С. Чунаев получили Государственные премии СССР.