«Наука в Сибири» № 19 (2405) 23 мая 2003 г. БОЛЬШИЕ ЗАДАЧИ В Сибирском отделении РАН решена большая задача — создан Сибирский суперкомпьютерный центр (ССКЦ) коллективного пользования при Институте вычислительной математики и математической геофизики СО РАН. Постановление Президиума об организации ССКЦ было принято в марте 2001 года. В июле того же года наша газета опубликовала интервью директора ИВМиМГ доктора физико-математических наук Б.Михайленко "Вычислительный центр возрождается?". На вопрос корреспондента "НВС" Б.Михайленко ответил утвердительно ("НВС", N 28, 2001 г.). Напомним, что еще в первые годы формирования Сибирского отделения была определена стратегия развития вычислительного дела, соответствующей техники, направленная на создание методов математического моделирования в институтах СО АН СССР. В шестидесятые–восьмидесятые годы прошлого века был создан крупный ВЦ в Академгородке. Позднее ВЦ коллективного пользования были созданы в Красноярске и Иркутске. В начале 90-х годов из-за роста тарифов на электроэнергию все эти ВЦ лишились крупных ЭВМ. Всем пришлось перейти на персональные компьютеры, сильно ограничивающие возможности метода математического моделирования. Попытки возродить ВЦКП и технологии высокопроизводительных вычислений в Новосибирском научном центре предпринимались с 1995 года. ...В Новосибирске предполагалось запустить 32-процессорную вычислительную систему в конце 2001 года и организовать доступ к ней институтов Сибирского отделения. В офисе Сибирского суперкомпьютерного центра: у стойки центральной ЭВМ МВС-1000М академик А.Алексеев и доктор физико-математических наук Б.Михайленко. В институтах СО РАН создается несколько "кластеров" — многопроцессорных систем на процессорах РС, но это принципиально не то же самое, что МВС-1000М для больших задач. Через два года почти тот же вопрос: "Вычислительный центр возродился?". И ответ на два голоса: "Фактически суперкомпьютерный центр официально существует с 2001 года, но он медленно набирает свои мощности", — сказал директор института Б.Михайленко, а председатель Научного совета по супервычислениям СО РАН академик А.Алексеев уточнил: "Надо учитывать, что это дорогостоящее предприятие, и Сибирское отделение пока не может выделить большие деньги на быстрое развитие суперцентра. Центральную машину мы еще не довели до проектной производительности. Пока работает 18 процессоров; шесть находятся в отладке в НИИ "Квант" (г. Москва). Если получим деньги, — докупим "недостающее звено", — только тогда наш суперкомпьютер достигнет проектной конфигурации — в 32 процессора". Суммарная мощность современного Сибирского вычислительного центра более чем в тысячу раз превосходит бывший ВЦКП Сибирского отделения в период конечной стадии его существования в начале девяностых годов прошлого столетия. Об этом говорил в своем докладе на недавнем заседании Президиума ак. А.Алексеев. Кстати, Научный совет СО РАН по супервычислениям, в который входят представители более двадцати институтов Сибирского отделения и руководство Сибирского центра, второй раз за неполные два года отчитывались на Президиуме о состоянии дел ССКЦ. Разумеется, движение по восходящей справедливо в сибирской системе координат. До Москвы далеко — Межведомственный суперкомпьютерный центр значительно мощнее Сибирского центра (раз в 25!). Московская центральная машина состоит из нескольких сотен процессоров "Alpha" американской фирмы "DEC" с тактовой частотой 667 Мгц, приближается к западным аналогам и вполне соответствует понятию "супер". Зато сибирская центральная машина считает быстрее московской: "сибирская линия" оснащена новыми процессорами "Alpha" с тактовой частотой 833 Мгц. Объем оперативной памяти каждого процессорного узла 2 Гигабайта с КЭШ-памятью. Принципиально важно то, что в Сибирском отделении создается "открытая" многопроцессорная вычислительная система, производительность которой можно наращивать с каждым годом (в мире за каждые пять лет производительность суперкомпьютеров возрастает на порядок — в тысячу раз)... Можно утверждать, что возрождается одна из функций Института вычислительной математики и математической геофизики как главного центра по оказанию вычислительных услуг для институтов СО РАН. Суперкомпьютерный центр рассчитан на так называемые "большие задачи" физики, механики, геологии, геофизики, химии, биологии, развивающие фундаментальные научные направления, связанные с высокими технологиями. В институтах СО РАН создается несколько "кластеров" — многопроцессорных систем на процессорах РС. Это принципиально не то же самое, что многопроцессорные вычислительные системы для больших задач (с большой оперативной памятью)... Демонстрационный эффект Развитие современного суперкомпьютерного центра началось в 1997 г. с машины RM-600E3D (на снимке) и Silicon Graphics. На этот раз, два года спустя, начальство не отговаривалось круглыми словами: "идет монтаж". Меня пригласили на экскурсию в главный офис вычислительного центра, находящегося на третьем этаже института, где установлен суперкомпьютер МВС-1000М. Всем этим сложным хозяйством занимается группа главного инженера ССКЦ Сергея Котелевского. Когда мы вошли в комнату (машинным залом это помещение не назовешь), суперкомпьютер сразу обратил на себя внимание — он выделялся среди других машин высокой стойкой с синими ящиками-процессорами (в каждом модуле — по два). — Мы получаем процессоры партиями. Расплатились за 24, но пока одновременно работают 18 процессоров. — Указывая и на другие машины, их называют "архивными", С.Котелевский пояснил, что у них большая память и хорошая система управления базами данных. Одну из "побочных" машин я узнала — немецкая ЭВМ RМ-600Е3D была базовой в открытии первой очереди вычислительного центра. — На ней решается часть задач, требующих большого объема общей оперативной памяти, — пояснил А.Алексеев. К нам присоединились молодые сотрудники Центра, все вместе обсуждали достоинства первых отечественных суперЭВМ. — Как же так, в машине американские процессоры, а ее называют "отечественной". "Мозг" — это же самое главное... Мне объясняют: — Это не совсем "мозг". Это ведь операционные блоки, а системные, которые управляют машиной, созданы заново. Словом, архитектура — одно дело, а кирпичи — другое, согласны? — спросил А.Алексеев. — Так вот, кирпичи мы покупаем, а строим сами вместе с московским НПО "Квант", который сотрудничает с Институтом прикладной математики имени М.Келдыша. Ак. А.Алексеев и молодые сотрудники ССКЦ Д.Жуков и О.Бехтерев. Олег Бехтерев, специалист по аппаратуре суперЭВМ отметил их надежность. — Они сами сутками работают без присмотра. Их только надо периодически проверять, чтобы сбоев не было. В разговор включился Денис Жуков, студент четвертого курса механико-математического факультета НГУ и одновременно системный администратор. Он занимается именно компьютерами, то есть работает с операционными системами и отслеживает каналы связи между машинами. Сам себя он называет посредником между пользователем и ЭВМ. Более двадцати институтов, находящихся в окрестности ССКЦ, считают свои задачи на суперкомпьютере, но есть пользователи и из других городов, например, из Тюмени. — Это, конечно, делается удаленно, через интернет. Я оглядываюсь, пытаясь понять, каким образом, технически, управляют большой машиной. Мне говорят о специальных консолях, а так называемый управляющий компьютер находится в соседней комнате, где и работает системный администратор Денис Жуков. Не успела сообразить, а меня уже подводят к "шкафу", который открывается и закрывается, как холодильник, — это источник бесперебойного питания. Если отключат электричество, машина тут же перестанет "думать". — Если ток в сети пропадет, вся система два-три часа будет еще работать, чтобы корректно завершить вычисления. Рядом находится стойка, куда подходят волоконно-оптические сети от институтов СО РАН, подключенных к новой оптической инфраструктуре. По этим сетям поступает информация, она обрабатывается и отправляется обратно пользователям. — У вас только вычислительные программы? — В данный момент, — да. В принципе можно запускать все, что угодно, вплоть до игрушек. Это от пользователей зависит, какую они задачу ставят. — Сколько задач решается одновременно? — Не более девяти, скажем, небольших задач. Обычно решается две-три объемные задачи, требующие больших вычислительных мощностей... Беглое знакомство с главным офисом Центра, как моментальная фотография, картинка, дающая неполное, внешнее представление о возможностях вычислительного центра. На специальном институтском сервере представлены структура и свойства многопроцессорных машин, и любой пользователь может по интернету заглянуть на эти страницы (www2.sscc.ru). С одной оговоркой — любой пользователь Сибирского отделения. Существует некая формальность — пользователи проходят официальную регистрацию (все сервера защищены паролем). За прошедшие полгода услугами ССКЦ для решения больших задач воспользовались 12 институтов и НГУ. Общее время, выработанное в Центре за 2002 год, — более 12 тысяч часов. Сейчас ведется наладка каналов с университетом Кузбасса, рассматриваются возможности подключения в сеть НПО "Вектор". — Мы были пионерами прокладки быстрых корпоративных каналов, — напомнил главный инженер С.Котелевский, — и поэтому сравнительно легко прошла их модернизация, прокладка оптоволоконных линий по старым колодцам. Это очень производительная связь, скорость — миллиард сигналов в секунду. Высокоскоростная оптоволоконная межинститутская сеть ССКЦ состоит из четырех узлов (базовые в институтах — ИВМиМГ, ОИГГМ, ИТПМ и ИНХ), к ним подключены 14 институтов Новосибирского научного центра. В прошлом году подключили серверы (ЭВМ) ССКЦ к узлу управления сети "Интернет ННЦ" по гигабитному каналу. В 2002 году прокладка каналов от узлов в ИТПМ и ИНХ до соседних институтов осуществлялась Институтом вычислительных технологий СО РАН. — Сейчас мы заняты разработкой нового поколения скоростной связи, — сказал А.Алексеев, — начинаем проект Grid (Сетка), — сибирского сегмента этой системы. Схема такая: центральная ЭВМ будет интерактивно связана с множеством других машин, то есть они будут работать одновременно. Словом, можно будет запускать все свободные в Сибирском отделении машины, и они будут работать как одна мощная ЭВМ. Параллель В отчете "О работе Сибирского суперкомпьютерного центра в 2002 г. и перспективах его развития в 2003 г." в параграфе "Пользователи ССКЦ" записано, что на начало текущего года зарегистрировано через www-сервер 22 организации. Нагрузка возрастет по мере освоения в СО РАН технологий параллельных вычислений и роста числа процессоров. В институте надеются на финансовую поддержку Центра для увеличения проектной мощности центральной ЭВМ до 32 процессоров. Деньги — вечная проблема, но коль скоро вычислительный центр коллективного пользования уже действует, значит может что-то зарабатывать. Главный инженер С.Котелевский не смутился: — Мы имеем право зарабатывать, но главная проблема в том, что пока мало кто владеет сложной технологией параллельного программирования. — Надо уметь "другую" математику делать, — распараллеливать алгоритмы и программы, — подсказал А.Алексеев. — Научных идей много, а воплощать их почти некому, нет молодежи. Директор ИВМиМГ Б.Михайленко прокомментировал общие и внутренние проблемы суперцентра: — По положению Центр существует на правах отдела в нашем институте. На самом деле в его работе участвуют многие лаборатории. Например, лаборатория параллельных алгоритмов и структур, лаборатория синтеза параллельных программ, лаборатория численного анализа и машинной графики. Подобные исследования проводятся давно, с тех пор, когда директорствовали Гурий Иванович Марчук, а затем Анатолий Семенович Алексеев, когда появились первые параллельные компьютеры в восьмидесятые годы прошлого столетия. Известно, что в настоящее время происходит переоценка эффективности численных методов. И в нашем институте получен ряд теоретических результатов, которые используются при распараллеливании алгоритмов на многопроцессорных ЭВМ. Кстати, в этом году Объединенный ученый совет по математике и информатике одобрил нашу инициативу — включить тему "Параллельные вычисления и распределенные системы" как одну из главных в перечне научных направлений. Таким образом институт "вписывается" в соответствующие программы Отделения математических наук Российской академии. — Борис Григорьевич, как я узнала, в самом-то Центре сотрудников — раз-два и обчелся. И труд их оплачивается не по-американски. Как вы намерены действовать? — Согласен — у нас не хватает технически грамотных инженеров и высококвалифицированных программистов. Чтобы как-то решить эту проблему, мы воспользовались проверенным способом — в прошлом году создали временный коллектив "Параллель". Это позволило приглашать специалистов из других институтов, аспирантов и студентов. Правда, пока за символическую оплату их работы. В этом году дирекция намечает провести структурные изменения внутри института, в том числе для усиления вычислительного центра инженерным составом сотрудников. Уже определена кандидатура руководителя структурного отдела технического обеспечения ССКЦ. — Для пользователей этот новый Центр только скоростной вычислитель? — Не совсем так. Институт и его вычислительные ресурсы участвуют в большинстве интеграционных проектов Сибирского отделения. Сейчас их восемнадцать. И в то же время мы помогаем институтам перейти на использование новой ЭВМ МВС-1000М и обеспечить вычисления по десятку крупных интеграционных проектов. Мы проводим специальные семинары для научных сотрудников Сибирского отделения. В институте издана книга-инструкция по программированию на новой ЭВМ. Мощности центрального вычислителя наращиваются. В этом году число процессоров будет увеличено до тридцати двух. И, естественно, увеличится количество институтов, использующих новые технологии моделирования. Подтверждается известное утверждение математиков, которые занимаются распараллеливанием алгоритмов. Суть в том, что никто не будет переделывать свои программы, написанные для персональных компьютеров, на многопроцессорную ЭВМ, если суммарная мощность многопроцессорных не будет превышать однопроцессорную (типа РС) более чем в 30 раз. Для очень больших задач, например, теоретических задач ядерной физики, задач расчета обтекания самолетов, мощностей уже не хватает. Мы сейчас отлаживаем канал с Москвой. Все-таки, что же называется "большой задачей"? Понятно, что интеграционные проекты СО РАН и подобные им, скажем, всероссийского масштаба, подходят под это определение, а с позиций реализации "недоконченных" идей? Наверное, проверяя меня на догадливость, Анатолий Семенович Алексеев дал мне копию протокола о заинтересованности развития в СО РАН сетевого ВЦКП высокой производительности, подписанного группой директоров институтов. Если бы рядом с подписью директора ИТПМ члена-корреспондента В.Фомина не стояла дата — 10.07.98 г. — пришлось бы выяснять, когда произошел дополнительный толчок в организации современного суперцентра коллективного пользования. Первый произошел в 1996 году, когда институт за собственные средства купил машину Selection Graphyc с большой памятью, и совместно с группой доктора физико-математических наук Г.Ерохина организовал доступ к ней по старой сети ВЦКП, созданной еще в 1984 году. В 1997 году первой очередью центра пользовалось уже 15 институтов. Любопытно обоснование проблемы из документа прошлого века: "Отсутствие в Сибирском отделении Российской академии наук ЭВМ высокой производительности приводит к существенным потерям международных инвестиций институтами и оттоку за рубеж квалифицированных кадров из коллективов, успешно развивающих в институтах СО РАН фундаментальные научные направления, связанные с высокими современными технологиями. В частности, по оценкам дирекции специалистов ИЦГ СО РАН, вынужденная передача программных систем LIKENESS и Gene Express в зарубежные суперкомпьютерные центры ведет к потере институтом инвестиций из международного проекта "Геном человека" в размере нескольких сотен тысяч долларов. Такая же ситуация складывается и с другими "большими задачами СО РАН". — Большие задачи, — сказал А.Алексеев, — требуют большой производительности ЭВМ. Для самых больших задач необходима производительность — десять в пятнадцатой степени операций в секунду (петафлопса). Если бы мы располагали такими машинами, то могли бы моделировать любые нелинейные многопараметрические процессы, в том числе ядерные взрывы или сложные биологические системы. Группы экспертов — западных и российских — пришли к выводу, что достигнутая производительность мала — десять в двенадцатой операций в секунду (терафлопса) — это тысяча миллиардов операций в секунду. По оценкам экспертов, нужно еще в тысячу раз поднять производительность до петафлопса, чтобы моделировать процессы молекулярной химии, механики, биологии и другие сложные явления. — Можете ли вы назвать наиболее интересные задачи, которые решались на новой машине? — На институтском сайте есть характеристики всех больших задач. Покажу вам некоторые задачи Института теоретической и прикладной механики. Хотя бы вот эту, космическую: "Численное моделирование высотной аэротермодинамики носовой части космического аппарата "Прогресс". Она решается методом прямого статистического моделирования Монте-Карло. Задача очень сложная. Для ее решения требуется ввести в счет приблизительно 50 миллионов частиц на пяти миллионах ячейках сетки... или проект "Суперкомпьютерные вычисления в молекулярной биологии и генетике". Биологические задачи очень сложные. Например, "Поиск подструктур белка подобных активному сайту". Здесь используются методы вычислительной геометрии. Комбинаторная задача требует петафлопсных процедур. Наша машина не потянет, поэтому наши математики разработали специальный алгоритм, упрощающий решение. В распечатках "информации по заданному логину" меня заинтересовал тюменский проект "Цикличность движений тел солнечной системы и ритмичность природных процессов". Аннотация к проекту, как сюжет для фантастического романа: "В результате решения уравнений движения, рассчитано движение тел Солнечной системы за 4000 лет. ...Получено, что плоскость орбиты Земли в течение 4000 лет непрерывно сближается с плоскостью экватора. При сохранении тенденции изменения угла плоскости орбиты, через 180 тысяч лет она совпадет с плоскостью экватора. То есть, сезонов года не будет...". Оговорки автора дают надежду, что "вычислительная гипотеза" может не подтвердиться... С жизнью Земли, Солнечной системы связан интеграционный проект "Самоорганизация, катализ и процессы химической эволюции в гравитационно и термодинамически неустойчивых системах, моделирующих ранние этапы формирования Земли". — Анатолий Семенович, здесь речь идет о гипотезе академика Пармона? — Она, по-видимому, очень вероятна, могла бы объяснить происхождение жизни именно на Земле. В этом проекте участвует восемь институтов Сибирского отделения во главе с Институтом катализа. Химики, биологи, физики и красноярские биофизики, геологи, механики, математики нашего института и Института вычислительных технологий. Мы как раз и занимаемся распараллеливанием этой большой задачи, которая требует большого числа процессоров с объединяемой памятью. — Как бы вы оценили возможности, потенциал других институтов в математическом моделировании? — Если вернуться к началу, когда в Сибирском отделении появилась вычислительная техника и была сделана ставка на ее развитие, в том числе для того, чтобы производить математическое моделирование, — то станет понятно, как развивалась математическая культура. Когда мы сделали сеть, Центр коллективного пользования, консультативные группы, это помогло многим институтам приобрести определенный потенциал в области математического моделирования. Специалисты в институтах стали хорошими программистами. Новая структура — ССКЦ — уникальна по своим возможностям с точки зрения высоких технологий моделирования и, кроме того, есть конкретные задачи, о которых я говорил, и они решаются в соответствующих науках, а мы помогаем, сколько можем. Математика вообще "вспомогательная" наука, то есть — и "царица", и в то же время — "служанка". Практически любая наука пользуется языком математики. Без количественного понимания процессов нельзя делать ничего. На качественном уровне уже ничего не получается в сложных задачах — разговоры одни, особенно это относится к реальной экономике и социологии. — Вы думаете, что Сибирский супервычислительный центр будет работать и в интересах Сибирского федерального округа? — Пока он работает в интересах институтов ННЦ и немного для других научных центров Сибирского отделения. Создана некая среда для развития нового уровня математического моделирования. Но Министерство промышленности, науки и технологий, Минобразования и Российская академия наук создают сеть Суперцентров в федеральных округах как опорную научно-образовательную сеть. Мы рассчитываем участвовать в этом проекте. По идее эта сеть может стать опорной информационно-вычислительной инфраструктурой инновационной деятельности в Российской Федерации — для создания отечественных наукоемких технологий. Фото В.Новикова. стр. 5-6