Вычислительный модуль М1Э3М/C

Вычислительный модуль М1Э3М/C – двухпроцессорный высокопроизводительный вычислитель. Основной компонент вычислительных комплексов на микропроцессорах архитектуры «Эльбрус». Представляет собой ячейку в конструктиве cPCI типоразмера 6U. Устанавливается в объединительную панель крейта CompactPCI с помощью стандартных соединителей и занимает в нём два слота.

Основной элемент модуля – печатная плата с установленными на ней интегральными микросхемами, соединителями cPCI и передней панелью.

В состав модуля М1Э3М/C входят:

• два микропроцессора «Эльбрус» CPU0 и CPU1;
• два коммутатора данных и контроллера памяти DCU0 и DCU1;
• 4 модуля оперативной памяти DDR2 (объёмом до 2 Гбайт каждый);
• системный контроллер «северный мост» NB, содержащий следующие контроллеры;
• контроллер шины PCI;
• контроллер шины IDE;
• два локальных контроллера прерываний L_PIC;
• контроллер канала межсистемного обмена RDMA;
• источники питания 1 В; 1,2 В; 1,8 В; 2,5 В, 3,3 В;
• кварцевый резонатор G1 14.318 MHz;
• ППЗУ BOOT;
• конфигурационные ППЗУ DCU0, NB, DCU1;
• ПЛИС системы сброса (рисунок 001.6 поз. 9);
• микросхемы системы синхронизации, в составе:
• частотного синтезатора;
• буфера размножителя синхросигналов.

Структура модуля М1Э3М/C

NB – системный контроллер ввода-вывода («северный мост»);
BOOT – ПЗУ начальной загрузки;
CPU – микропроцессор «Эльбрус»;
DCU – коммутатор данных и контроллер памяти;
DDR2 – модуль оперативной памяти;
LVDS – канал межмашинного обмена;
PIC – прерывания ввода-вывода;
Bit IDE – интерфейс IDE системы бинарной компиляции;
JTAG – интерфейс тестирования.

Микропроцессоры «Эльбрус» (1891ВМ4Я) – основной узел модуля. Выполнены на основе архитектуры с широким командным словом VLIW. Отвечают за выполнение арифметических, логических операций и операций управления в машинных кодах.

Системный контроллер («северный мост») NB содержит в одной ПЛИС коммутатор адреса и контроллер ввода/вывода. NB со стороны центральной системы взаимодействует с адресным коммутатором и коммутатором данных. Интерфейс с адресным коммутатором служит для приёма и выдачи заявок на выполнение транзакций, интерфейс с коммутатором данных – обслуживает приём и выдачу данных.

Адресный коммутатор направляет заявки (адреса) от двух процессоров (CPU0 и CPU1) либо в контроллеры памяти для доступа к модулям оперативной памяти DDR2, либо в контроллер ввода/вывода NB для доступа к устройствам ввода-вывода. Кроме того, он проверяет наличие копий данных, к которым идут обращения, в кэш-памятях процессоров и реализует протокол когерентности, т.е. поддержки соответствия состояний этих копий друг другу и содержимому памяти.

«Северный мост» NB разделяет заявки, направленные к шинам LVDS, PCI и IDE. Кроме того, к функциям «северного моста» относятся:

• формирование сигналов начальной установки системы;
• организация «раскрутки» миниОС «Эльбрус»;
• сбор прерываний и переадресация их процессорам (для этого в «северном мосту» размещены два локальных программируемых контроллера прерываний с расширенными возможностями LPIC, по числу процессоров в системе);
• организация обращений к внутренним регистрам чипсета.

Контроллер адресов запросов может направлять запросы в четыре независимых одноканальных контроллера памяти МС0, МС1, МС2, МС3, причём за один такт может выдаваться до двух запросов, один – в МС0 или МС2, находящиеся в одной микросхеме DCU, и второй – в МС1 или МС3, находящиеся в другой микросхеме DCU.

В состав NB входит контроллер межмашинного обмена – подсистема RDMA, которая состоит из двух модулей:

• Мост EdBus-RDMA;
• RDMA-контроллер.

Все основные модули подсистемы I/O объединены с помощью внутренней шины EdBus. Мост EdBus-RDMA предназначен для сопряжения внутренней шины EdBus подсистемы I/O с host-интерфейсом контроллера RDMA.

RDMA-контроллер выполняет функцию высокоскоростного DMA-канала для связи нескольких ВК. Высокая скорость обмена достигается за счёт использования LVDS-технологии.

Характеристики RDMA:

• настраиваемый полнодуплексный DMA-LVDS канал;
• внутренняя частота контроллера – 100 МГц;
• частота синхронизации LVDS-обмена – 100 МГц;
• пропускная способность контроллера в одном направлении – 200 Мбайт/c     
• общая пропускная способность контроллера – 400 Мбайт/c        
• 10 дифференциальных пар на приём и передачу по LVDS-линку;
• два режима работы: DMA и BUS;
• DMA режим предназначен для быстрого peer-to-peer обмена данными между вычислительными комплексами;
• режим BUS позволяет RDMA взаимодействовать с контроллерами шинных интерфейсов (PCI-Express);
• буферы объёмом 2 Кбайт на приём и передачу данных;
• буфер на приём 32-х информационных сообщений (128 байтов);
• буфер на передачу 1-го сообщения (4 байта);
• механизм контроля за состоянием буферов (Flow Control);
• механизм обмена информационными и сигнальными сообщениями;
• 4 типа удалённых прерываний;
• механизм контроля, сигнализации и преодоления ошибочных ситуаций на LVDS-линках;
• две линии прерываний: по одной на каждый канал;
• управление выдачей внешних прерываний (маскирование).

Коммутаторы данных и контроллеры памяти (DCU) размещены в двух ПЛИС (DCU0 и DCU1), по одному в каждой. Коммутаторы данных служат для передачи данных между процессорами CPU0, CPU1, контроллерами памяти МС и системным контроллером ввода/вывода. Два процессора получают и выдают данные через два DCU, работающих синхронно и независимо. Каждый процессор имеет 128-разрядную шину приёма данных и 128-разрядную шину выдачи данных. Старшие 64 разряда обеих шин соединены с DCU1, младшие – с DCU0. Аналогичным образом устроена 64-разрядная шина данных для контроллера ввода/вывода: старшие 32 разряда передаются через DCU1, младшие 32 разряда – через DCU0.

Единицей данных при обменах с процессорами является строка кэша, равная 64 байтам, из которых на каждый DCU приходится по 32 байта. Старшие 32 байта кэш-строки каждого процессора проходят через DCU1, а младшие – через DCU0.

Обмен данными между контроллером NB и MC может производиться посылками меньше 32 байт. Выходной интерфейс от DCU к процессорам, с I/O и канал запросов и разрешений от МC работают в DDR-режиме, поэтому эквивалентная ширина шины к процессорам равна 128, а к I/O – 32 разрядам соответственно. Все остальные интерфейсы – SDR. При тактовой частоте 100 МГц пропускная способность входов от CPU – 1,6 Гбайт/с, от I/O – 0,8 Гбайт/с, от MC к CPU – 3,2 Гбайт/с.

С контроллерами памяти МС каждый DCU связан четырьмя 256-разрядными шинами для передачи в обоих направлениях.

Конфигурационные программируемые постоянные запоминающие устройства (ППЗУ) хранят конфигурационную информацию для контроллеров DCU и NB.

Поддерживается стандартный комплект программного обеспечения для платформы «Эльбрус».