Сегодня практически каждая отрасль промышленности требует серьезных вычислительных мощностей для внедрения новых технологических процессов, обновления производства и снижения рисков. Поэтому высокопроизводительные вычислительные системы становятся все более востребованными, как на Западе, так и в России. Что же заставляет различные отрасли и компании прибегать к услугам сложных вычислительных комплексов, которые называют также суперкомпьютерами или системами для высокопроизводительных вычислений? Дело в том, что в современном мире компании вынуждены постоянно усложнять производственные модели продуктов, чтобы повысить надежность изделий, точность изготовления, а также снизить риски и избежать брака. И в нашей стране компании начинают экономить на издержках, выводить на рынок более совершенные продукты, внедряя в производство сложные вычислительные системы, и, видимо, этот путь является сегодня неизбежным. Ведь любая более сложная, более совершенная модель требует большей мощности для обсчета, и, кроме этого, большего пространства для хранения как промежуточной информации, так и результата. Таким образом, развитие любой индустрии, будь то геодезия или фармакология, связано с необходимостью применения сложных вычислительных систем - суперкомпьютеров. Если же рассуждать честно, само понятие "суперкомпьютер" расплывчато настолько, насколько это вообще возможно. Некоторые считают, что суперкомпьютер - это система, которая входит в рейтинг самых мощных компьютеров Тор500, который обновляется два раза в год. Что же, эта точка зрения имеет право на существование, но тогда по последним релизам рейтинга Тор5 в СНГ всего 4 суперкомпьютера. Существуют и другие мнения, например специалисты ИПС РАН предлагают также учитывать некоторые модели суперкомпьютеров, которые отстают от нижнего предела Тор500 не более чем в несколько раз. Представители некоторых других компаний считают, что суперкомпьютер - это просто любая единая вычислительная система, которая как минимум на порядок более производительна, чем все остальные установки на предприятии - то есть для каждой компании критерий суперкомпьютера будет своим. Четвертый интересный подход к вопросу определения этого термина состоит в том, чтобы отождествить понятие суперкомпьютера и системы для промышленных расчетов. В этом случае любая система, производящая вычисления для инженерных пакетов и других специально созданных моделей, например, для прогноза погоды, может считаться суперкомпьютером. В общем, если речь идет о суперкомпьютере, имейте в виду, что это понятие может эксплуатироваться как угодно. Мы же в нашем материале рассмотрим тенденции развития отрасли высокопроизводительных вычислительных систем на примере реальных установок крупнейших российских и зарубежных компаний.
Начиная с Тор500…
Что же, в действительности нельзя оставить без внимания мировой рейтинг суперкомпьютеров, хотя он и подразумевает всего 4 инсталляции в нашей стране. Производительность в Тор500 рассчитывается по скорости решения огромных систем линейных уравнений. В этом тесте (он называется LinPack) компьютер получает задачу из тысяч уравнений с таким же количеством переменных.
Самая мощная вычислительная система из четырех "победителей" находится в межведомственном суперкомпьютерном центре (МСЦ) и содержит в себе 924 процессора PowerPC 2200 МГц, упакованных в блейд-серверы IBM eSeries и соединенных интерконнектом Myrinet. Этот кластер работает под управлением ОС Linux и, согласно рейтингу, занимает 56 место в мире по результатам теста LinPack. Кстати, этот суперкомпьютер поставлен в Россию компанией IBM, что позволило реализовать обновление установленного в МСЦ прежнего суперкомпьютера: во-первых, тем самым увеличили общее количество процессоров и, во-вторых, заменили их более производительными моделями. Вообще говоря, суперкомпьютер IBM в межведомственном центре уже достаточно давно играет важную политическую роль для России, и, что интересно, с 210 места по итогам прошлогоднего рейтинга, благодаря модернизации, он переместился в первую сотню. Что касается производительности, этот компьютер демонстрирует 5355 Гфлоп/с (или триллионов операций с плавающей запятой в секунду), не считая пиковых нагрузок.
Как ни странно, второй по скорости решения линейных уравнений суперкомпьютер, отнесенный к нашему региону, расположен в Белоруссии. Он создан в рамках суперкомпьютерной программы союзного государства - СКИФ. Кстати, в международных рейтингах компьютеры СКИФ называют "self-made" (самодельными). Эта инсталляция носит название СКИФ К-1000 и построена в Объединенном институте проблем информатики НАН Белоруссии на базе двухпроцессорных серверов, использующих чипы AMD Opteron 248. Интересно, что этот суперкомпьютер для передачи данных использует один из самых перспективных на сегодня интерконнектов InfiniBand, поддерживая также Gigabit Ethernet как транспортную сеть. Однако на суперкомпьютерной программе СКИФ мы остановимся чуть позже, а пока отметим производительность белорусской установки, составляющую 2032 Гфлоп/с. Этот компьютер, кстати говоря, уже второй раз попадает в список Тор500, правда, в предыдущем релизе рейтинга он занимал 99 место, попав тем самым в сотню самых производительных суперкомпьютеров, а теперь занимает 174 место.
Третий и четвертый по мощности суперкомпьютеры в России, согласно рейтингу Тор500, находятся в последней сотне и занимают 405 и 474 место соответственно. Мы упоминаем их вместе, так как они оба поставлены в этом году одной и той же компанией. Более производительный из "братьев" находится все в том же межведомственном суперкомпьютерном центре. Он представляет собой кластерную платформу НР CP6000 на базе процессоров Itanium 2 с частотой 1,5 ГГц, содержащую в общей сложности 256 процессоров на 128 узлах, соединенных в кластер интерконнектом Myrinet. Производительность этой системы равна 1536 Гфлоп/с.
Второй суперкомпьютер от Hewlett-Packard основан на фирменной разработке компании - платформе SuperDome. Этот вычислительный комплекс применяется уже для реальных приложений одной из крупнейших структур России - Сбербанка. Суперкомпьютер работает под специализированной операционной системой HP-UX и для соединения 608 процессоров HP PA-RISC 875 с частотой 875 МГц использует фирменную технологию HP HyperPlex. Эта технология, можно сказать, объединяет процессоры на базе одного коммутатора, в результате чего они работают уже не как кластер, а скорее как многопроцессорный сервер. Пожалуй, это преимущество и оказалось критическим для громоздких учетных и аналитических систем финансовой структуры, которые вряд ли хорошо поддаются распараллеливанию и для большей эффективности должны выполняться в едином информационном пространстве. Тем не менее, что касается теста LinPack - решения системы линейных уравнений, этот суперкомпьютер показывает производительность в 1203 Гфлоп/с. Вот и все, что есть в нашем регионе из суперкомпьютеров, если верить только рейтингу Тор500.
…переходя к Top50
Но выход был найден российской компанией "Т-Платформы", МСЦ Российской Академии наук и Научно-исследовательским вычислительным центром (НИВЦ) МГУ им. М.В. Ломоносова. Соединив свои усилия, они создали рейтинг самых мощных суперкомпьютеров России и СНГ, который также обновляется каждые полгода и основывается на все том же тесте LinPack, отражающем скорость решения громоздкой системы линейных уравнений. Этот рейтинг содержит 50 самых производительных (с точки зрения решения линейных уравнений) систем в России и помогает оценить развитие отрасли высокопроизводительных вычислений в нашей стране.
Но уже при первом рассмотрении Тор50 можно выявить те тенденции, которые напрямую свидетельствуют о развитии HPC в России. Например, интересным фактом является то, что компания HP, поставляющая сегодня в Россию наибольшее количество высокопроизводительных систем, делает всего 22% инсталляций, в то время как российский производитель "Т-Платформы" выполняет 20%. Конечно, в финансовом отношении эти показатели несопоставимы (учитывая разницу в расценках указанных выше компаний). Но количественный фактор свидетельствует в пользу того, что наша страна может собирать суперкомпьютеры самостоятельно. Последняя редакция Тор50 показала, что количество суперкомпьютеров, использующихся в финансовом секторе, выросло с 18% до 30%, а применительно к промышленным предприятиям этот показатель изменился с 34% до 44%, что говорит о хорошей динамике в освоении высоких технологий российскими компаниями.
Под силу ли суперкомпьютер системному интегратору?
В свете всего сказанного выше важным событием этой осени стала поставка компанией КРОК суперкомпьютера для НПО Сатурн, который сегодня представляет собой одну из самых производительных инсталляций в России. Согласно данным все того же рейтинга Тор50, этот суперкомпьютер, расположенный в Рыбинске, является четвертым по мощности в СНГ и при этом оказывается самым мощным среди инсталляций для промышленных нужд. Производительность кластера IBM eServer Cluster 1350, который включает 64 двухпроцессорных сервера IBM eServer xSeries 336 на основе 64-разрядных процессоров Intel Xeon и два 4-процессорных сервера IBM eServer xSeries 455 на основе процессоров Intel Itanium 2, соединенных InfiniBand 10 Gigabit, составила 768 Гфлоп/с согласно тесту LinPack. В рамках проекта идея и архитектура инсталляции были предложены самими специалистами НПО "Сатурн", а реализовала их компания КРОК. Как вы понимаете, примечательным здесь является не только живой интерес отечественного предприятия, занимающегося разработкой авиационных двигателей, но и выполнение столь масштабного проекта российским интегратором. Быть может, такая практика сообщит суперкомпьютерной индустрии нашей страны дополнительный импульс. TopCrunch - моделирование аварии Однако, как мы уже говорили, есть и другие системы оценки суперкомпьютеров, например, по работе с реальными приложениями, такими как LS-Dyna 3 Vehicle Collision - столкновение трех машин. Надо сказать, что используемый в тесте TopCrunch программный пакет LS-Dyna применяется для реальных инженерных расчетов такими компаниями, как Audi AG, и потому достоин достаточно пристального внимания. Именно поэтому интересен тот факт, что российско-белорусский суперкомпьютер СКИФ показал в прошлом году на этом тесте первое место в мире при загрузке на 35 процессорах. Теперь же он занимает шестое место среди конфигураций с количеством процессоров меньше 40 и 41 место в общем зачете за последние два года. Поскольку результат работы LS-Dyna на этом кластере при использовании большего количества процессоров пока не доказан, то говорить о преимуществах продуктов СКИФ в этом году пока не приходится. Но достаточно высокие показатели при проведении этого теста представляют нам высокопроизводительные вычисления несколько с другой стороны. Ведь, в конечном счете, суперкомпьютерные системы создаются не только для участия в рейтинге и престижа, но и для решения реальных задач.
Суперкомпьютерная программа СКИФ
В действительности, именно рассматривая применение высокопроизводительных вычислительных систем в промышленности и науке, очень интересной выглядит СКИФ - суперкомпьютерная программа союзного государства, которая поддерживается как Министерством промышленности, науки и технологий Российской Федерации, так и Национальной Академией Наук Белоруссии, в партнерстве с российским Институтом программных систем (ИПС) РАН и многими другими компаниями. Идея этой программы состоит в том, чтобы создать унифицированный дизайн установок, пригодных для развития промышленности в странах СНГ. Надо сказать, что разработчикам это удалось, и сегодня, кроме СКИФ К-1000, существуют также типизированные кластеры СКИФ К-500, обладающие более чем терафлопной производительностью по стандартному тесту LinPack. Более мелкие инсталляции отточенной конфигурации СКИФа уже сегодня применяются на некоторых предприятиях российской промышленности, так сказать, демонстрируя реализацию самой программы.
Интересно также, что российские разработчики серьезно поработали над архитектурой СКИФа. Сегодня любая установка СКИФ представляет собой мощный кластер на процессорах AMD Opteron, который состоит из двухпроцессорных узлов. Для управления системой используется специализированная разработка ИПС РАН - сервисная сеть. Она позволяет контролировать включение и работу узлов, не задействуя ни коммутационную, ни транспортную сети. Кроме этого, с системами СКИФ ИПС РАН поставляет специальные программные разработки, в том числе специализированную версию ОС Linux. В любом случае, российско-белорусские кластеры отличаются достаточно высокой производительностью и управляемостью и, при этом, относительно небольшой ценой (по сравнению с продуктами компаний А-бренд ).
Заключение
Что же, как мы видим, системы суперкомпьютерных вычислений в России продолжают развиваться, и, что примечательно, специалисты нашей страны оказались достаточно амбициозны, чтобы создать собственный рейтинг и отслеживать развитие отрасли в целом, а не только 4-5 лучших систем, играющих в мировом масштабе. Также положительным аспектом следует считать участие в промышленных проектах государственных структур и системных интеграторов. Ведь, несмотря на то, что суперкомпьютер - понятие скорее условное, такие системы действительно нужны стране как с политической точки зрения, так и с экономической. Андрей Слепухин, руководитель Центра кластерных технологий компании "Т-Платформы"
Точное определение термину "суперкомпьютер" дать сложно. Как правило, суперкомпьютером называют вычислительную систему с уровнем производительности, значительно превышающим средний. В мировой практике к суперкомпьютерам часто относят вычислительные машины, входящие в суперкомпьютерный рейтинг Тор500. Однако нужно заметить, что нижняя граница производительности этого рейтинга каждый год поднимается вдвое: если в ноябре 2003 года на последнем месте был суперкомпьютер с производительностью около 400 Гфлоп/с, в ноябре 2004 года это были уже 850 Гфлоп/с, а в ноябре 2005 - 1,6 Тфлоп/с. Таким образом, мы считаем, что говорить об уровне производительности, позволяющем отнести машину к суперкомпьютерам, нужно применительно к каждому суперкомпьютерному рынку в отдельности. Скажем, для рынка США к суперкомпьютерам, видимо, относятся только машины, вошедшие в Тор500. В то же время для России, где средний уровень вычислительных мощностей, используемых для решения схожих задач существенно ниже, граница между сервером и суперкомпьютером другая. Список суперкомпьютеров России и СНГ Тор50 создавался, в том числе, и для того, чтобы иметь возможность определить эту границу.
Первыми заказчиками высокопроизводительных систем в России, так же как и во всем остальном мире, были научные и образовательные институты, решающие с помощью этой техники очень широкий круг задач. Помимо этих заказчиков за последние два года большой интерес к высокопроизводительным решениям проявляют предприятия нефтегазовой отрасли, машиностроения, банки и страховые компании, а также компании и организации, занимающиеся разработкой лекарств, телекоммуникационными сервисами, государственным управлением и стратегическими исследованиями, в том числе исследованиями климата.
Юрий Дроненко, технический директор группы компаний Arbyte
По определению А .Лациса, суперкомпьютером является вычислительная установка мелкосерийного или штучного выпуска, многократно превосходящая по вычислительной мощности массово выпускаемые компьютеры, когда быстродействие измеряется в миллионах/триллионах операций в секунду. Суперкомпьютер - машина, нацеленная прежде всего на масштабные вычисления, а значит на снижение времени выполнения сложных, как правило, инженерных или научных расчетов.
При этом простой набор процессоров не делает установку работоспособной. Часто именно специализированное ПО превращает разрозненные части вычислительной установки в суперкомпьютер. Что касается нашей работы, центр высокопроизводительных вычислений Arbyte оптимизирует и настраивает аппаратные ресурсы и операционную систему. Прикладное ПО для различных систем оптимизируют разработчики, создавая таким образом возможность построения суперкомпьютерных систем для различных типов расчета.
Но, как правило, именно прикладное ПО заказчика определяет список подходящих платформ, причем, иногда этот список состоит из одной позиции. Если же мы говорим о ПО, разработанном самим заказчиком, то при определении подходящей для такого расчета платформы многое зависит от математической модели и выбора программистов.
Сегодня в России суперкомпьютерные установки применяются там, где есть потребность в ресурсоемких вычислениях. В первую очередь это геофизика и инженерные расчеты, следом идут академические учреждения и промышленность. В последнее время также проявляется интерес со стороны телевизионных компаний и студий спецэффектов.
Руслан Заединов, руководитель направления центров обработки данных компании КРОК
Суперкомпьютер - это, прежде всего, комплексное интегрированное решение, это сумма технологий, имеющих одну цель - максимально производительные вычисления для решения задач заказчика. Если удалось совместить ряд современных технологий для реализации этой цели, то результат такой интеграции можно называть суперкомпьютером. В этом смысле очень показателен наш проект в НПО "Сатурн": каждый элемент решения не является чем-то "суперкомпьютерным", но все элементы, будучи соединены вместе, составили в результате суперкомпьютер. Высокая вычислительная мощность комплекса вывела "Сатурн" на первое место среди российских промышленных предприятий и на одно из первых мест в рейтинге суперкомпьютеров Top 50 СНГ. В процессе работы с такими системами, КРОК контактирует с видными российскими учеными, которые занимаются проблемами параллельных вычислений. Однако чаще всего мы обращаемся к ним за консультациями только на первом этапе. Когда же дело доходит до проектирования технического решения, то тут мы тесно взаимодействуем с вендорами, так как именно они впоследствии обеспечивают вторую линию поддержки.
Но даже самый удачный суперкомпьютер без программного обеспечения неработоспособен. В целом данное ПО делится на две большие группы. В первую входит собственно "считающее" ПО. Оно может быть покупным, как например популярный пакет для термогазодинамических расчетов ANSYS CFX, или может быть разработано самим заказчиком суперкомпьютера. Вторая группа обеспечивает работу ПО первой группы. В нее входят библиотеки параллельных вычислений, планировщики задач, параллельные файловые системы, системы управления кластерами. В обоих случаях критически важно сделать правильный выбор, чтобы суперкомпьютер действительно обеспечивал высокопроизводительные вычисления, а не огромные задержки.
