Численное моделирование лазерной плазмы на суперкомпьютерах

Краткое описание

lazer

Одной из востребованных областей численного моделирования физических процессов является моделирование динамики плазмы и взаимодействия мощных лазерных импульсов с различными мишенями. В числе важных приложений можно выделить создание компактных источников для адронной терапии при лечении онкологических заболеваний, создание фабрик короткоживущих изотопов для биоимиджинга, разработку приборов для исследования внутримолекулярных и внутриатомных процессов. Часто, в связи с высокой степенью нелинейности и геометрической сложностью задачи, исследование динамики плазменных структур основывается на моделировании плазмы методом частиц в ячейках (Particle-in-Cell, PIC). Основная специфика метода заключается в одновременной обработке принципиально разнородных массивов данных, содержащих информацию о считающихся непрерывными координатах и скоростях заряженных частиц плазмы, и об электромагнитном поле, определенном на пространственной сетке. Отсутствие однозначных путей упорядочивания обращений к памяти обуславливает сложность эффективной программной реализации как для классических кластерных вычислительных систем, так и для гетерогенных систем с использованием ускорителей. Применение метода для решения прикладных задач требует использования суперкомпьютерных технологий – известны задачи, требующие моделирования динамики ~109 и более частиц в пространстве, представленном ~108 ячеек.

С 2010 года коллективом разрабатывается программный комплекс (PIC-код) PICADOR, включающий параллельную реализацию метода частиц в ячейках для гетерогенных кластерных систем с использованием CPU, GPU и Intel Xeon Phi. Код является одной из первых реализаций метода частиц в ячейках, оптимизированных для Xeon Phi.

Проект развивается на кафедре математического обеспечения и суперкомпьютерных технологий ИИТММ ННГУ и в НИИ СКТ ННГУ в сотрудничестве с исследовательскими группами из Института прикладной физики РАН (Нижний Новгород), Чалмерского технологического университета и университета Умеа (Швеция).

Расчеты производятся с использованием следующих суперкомпьютеров: «Лобачевский» (ННГУ), «Ломоносов» (МГУ), МВС-100К и МВС-10П (МСЦ РАН), Abisko (HPC2N, Швеция), Triolith (NSC, Швеция).

Коллектив

Со-руководители проекта

Разработчики кода

  • Сергей Бастраков, к.ф.-м.н., научный сотрудник, ИИТММ ННГУ; HZDR (Дрезден, Германия)
  • Игорь Сурмин, м.н.с, НИИ СКТ ННГУ
  • Антон Ларин, магистрант, ИИТММ ННГУ
  • Анатолий Розанов, магистрант, ИИТММ ННГУ
  • Валентин Волокитин, магистрант, ИИТММ ННГУ

Разработчики расширений, пользователи кода

  • Алексей Башинов, аспирант, ИПФ РАН
  • Артем Коржиманов, к.ф.-м.н., н.с., ИПФ РАН
  • Александр Муравьев, аспирант, ИПФ РАН
  • Felix Mackenroth, PhD, researcher, Max Planck Institute for the Physics of Complex Systems (Germany)
  • Joel Magnusson, PhD student, Chalmers University of Technology (Sweden)
  • Erik Wallin, PhD student, Umea University (Sweden)

Ранее в проекте участвовали

  • Роман Донченко, магистрант, ВМК ННГУ
  • Александр Малышев, магистрант, ВМК ННГУ
  • Михаил Ширяев, магистрант, ВМК ННГУ
  • Михаил Савичев, магистрант, ИИТММ ННГУ
  • Михаил Млодик, студент, ВШОПФ ННГУ

Характеристики кода PICADOR

PICADOR – программный комплекс для трехмерного моделирования плазмы на традиционных и гетерогенных суперкомпьютерах. Код основан на методе частиц в ячейках и обладает следующими особенностями:

  1. Широко используемые численные схемы для электромагнитного метода частиц в ячейках: интегрирование уравнений поля с помощью FDTD и NDF, схема Бориса для движения частиц, форм-факторы частиц CIC и TSC, схемы взвешивания токов Вилласенора-Бунемана и Есиркепова, бегущее окно.
  2. Расширяемость с помощью средств для разработки модулей. Основные расширения:
    • Конфигурируемый вывод и визуализация в процессе расчета.
    • Учет эффектов КЭД (см. Gonoskov et al. PRE 92, 023305, 2015).
    • Ионизация.
  3. Использование вычислительных ресурсов CPU (OpenMP, MPI), GPU (CUDA), Intel Xeon Phi (OpenMP, MPI), в том числе гетерогенные конфигурации.
  4. Динамическая декомпозиция с балансировкой нагрузки.
  5. Эффективность масштабируемости (в сильном смысле):
    • Распределенная память: 92% на 256 CPU, 90% на 64 сопроцессорах Xeon Phi;
    • Общая память: 99% на 16 ядрах CPU, 78% на 60 ядрах Xeon Phi.
  6. Производительность на тестовой задаче с форм-фактором CIC, схемой взвешивания токов Вилласенора-Бунемана, двойная точность:
    • Intel Xeon E5-2697 v3: 7.9 нс/обновление частицы, 42.5 GFLOPS
    • Intel Xeon Phi 7250 (KNL): 3.4 нс/обновление частицы, 100 GFLOPS

Текущие исследования

  1. Оптимизация производительности для CPU, GPU, Xeon Phi и гетерогенных конфигураций.
  2. Неравномерные сетки.
  3. Динамическая факторизация ансамбля частиц для расчетов с КЭД.

Гранты и награды

  1. Приз за лучшую статью на конференции «Суперкомпьютерные дни в России» (2015).
  2. Гранты Российского фонда фундаментальных исследований (РФФИ):
    • № 15-37-21015 (2015-2016);
    • № 14-07-31211 (2014-2015).
  3. Свидетельства о государственной регистрации программ для ЭВМ:
    • № 2015611475 (2015);
    • № 2013613052 (2013).
  4. Победитель всех этапов всероссийского конкурса «Эффективное использование GPU-ускорителей при решении больших задач» (МГУ+Т-Платформы, 2011).
  5. Грант федеральной целевой программы «Научные и научно-педагогические кадры инновационной России», госконтракт 02.740.11.0839 (часть коллективного проекта).

О нас пишут

  1. Chirgwin, R. Hot iron: Knights Landing hits 100 gigaflops in plasma physics benchmark. The Register (2016)
  2. Barney L. Particle-in-cell Plasma Simulation Using Supercomputers Enhances Computational Physics. Scientific Computing (2016).

Избранные статьи и доклады

 Основные статьи с описанием кода

  1. Surmin I.A., Bastrakov S.I., Efimenko E.S., Gonoskov A.A., Korzhimanov A.V., Meyerov I.B. Particle-in-Cell laser-plasma simulation on Xeon Phi coprocessors. Computer Physics Communications, 202, 204-210 (2016)
  2. Gonoskov A., Efimenko E., Ilderton A., Marklund M., Meyerov I., Muraviev A., Sergeev A., Surmin I., Wallin E. Extended particle-in-cell schemes for physics in ultrastrong laser fields: Review and developments. Physical review E, 92 (2015)
  3. Bastrakov S., Gonoskov A., Donchenko R., Efimenko E., Malyshev A., Meyerov I., Surmin I. Particle-in-Cell Plasma Simulation on Heterogeneous Cluster Systems. Journal of Computational Science. 3 (6), 474-479 (2012)

Параллелизм, оптимизация

  1. Larin A., Bastrakov S., Bashinov A., Efimenko E., Surmin I., Gonoskov A., Meyerov I. Load Balancing for Particle-in-Cell Plasma Simulation on Multicore Systems. PPAM-2017 (in press).
  2. Surmin I., Bastrakov S., Matveev Z., Efimenko E., Gonoskov A., Meyerov I. (2016) Co-design of a Particle-in-Cell Plasma Simulation Code for Intel Xeon Phi: A First Look at Knights Landing. In: Carretero J. et al. (eds) Algorithms and Architectures for Parallel Processing. ICA3PP 2016. Lecture Notes in Computer Science, vol 10049. Springer, Cham.
  3. Bastrakov S., Meyerov I., Surmin I., Bashinov A., Efimenko E., Gonoskov A., Korzhimanov A., Larin A., Muraviev A., Rozanov A. Performance and Scalability Evaluation of Particle-in-Cell Code PICADOR on CPUs and Intel Xeon Phi Coprocessor. Poster at International Supercomputing Conference (2016)
  4. Мееров И.Б., Бастраков С.И., Сурмин И.А., Гоносков А.А., Ефименко Е.С., Башинов А.В., Коржиманов А.В., Ларин А.В., Муравьев А.А., Розанов А.И., Савичев М.Р. Трехмерное моделирование плазмы методом частиц в ячейках на Intel Xeon Phi: оптимизация вычислений и примеры использования. Вычислительные методы и программирование, 16, 486-500 (2015)
  5. Meyerov I., Surmin I., Efimenko E., Gonoskov A., Malyshev A., Shiryaev M. Particle-in-Cell Plasma Simulation on CPUs, GPUs and Xeon Phi Coprocessors. Poster at International Supercomputing Conference (2014)
  6. Efimenko E., Bastrakov S., Gonoskov A., Meyerov I., Shiryaev M., Surmin I. Particle-in-Cell Plasma Simulation on The Intel Xeon Phi in PICADOR // Invited presentation at the International Conference on Numerical Simulation of Plasmas (23rd ICNSP, Beijing, 2013, September 14-16).

Приложения

  1. Gonoskov A., Bashinov A., Bastrakov S., Efimenko E., Ilderton A., Kim A., Marklund M., Meyerov I., Muraviev A., Sergeev A. Ultrabright GeV Photon Source via Controlled Electromagnetic Cascades in Laser-Dipole Waves. Phys. Rev. X 7, 041003 (2017)
  2. Efimenko E., Bashinov A., Bastrakov S., Gonoskov A., Muraviev A., Meyerov I., Kim A., Sergeev A. Extreme plasma states in laser-governed vacuum breakdown. arXiv:1708.09636 (2017)
  3. Mackenroth F., Gonoskov A., Marklund M. Chirped-Standing-Wave Acceleration of Ions with Intense Lasers. Physical Review Letters. 117 (10), 104801 (2016)
  4. Mackenroth F., Gonoskov A., Marklund M. Theoretical benchmarking of laser-accelerated ion fluxes by 2D-PIC simulations (в печати).
  5. Муравьев А.А., Бастраков С.И., Башинов А.В., Гоносков А.А., Ефименко Е.С., Ким А.В., Мееров И.Б., Сергеев А.М. Генерация токовых слоев и гигантских квазистатических магнитных полей при ионизации вакуума в экстремально сильных световых полях. Письма в ЖЭТФ. 102 (3), 173-178 (2015)

Все публикации

2017

  1. Gonoskov A., Bashinov A., Bastrakov S., Efimenko E., Ilderton A., Kim A., Marklund M., Meyerov I., Muraviev A., Sergeev A. Ultrabright GeV Photon Source via Controlled Electromagnetic Cascades in Laser-Dipole Waves. Phys. Rev. X 7, 041003 (2017)
  2. Efimenko E., Bashinov A., Bastrakov S., Gonoskov A., Muraviev A., Meyerov I., Kim A., Sergeev A. Extreme plasma states in laser-governed vacuum breakdown. arXiv:1708.09636 (2017)
  3. Bastrakov S., Surmin I., Efimenko E., Gonoskov A., Meyerov I. Performance Aspects of Collocated and Staggered Grids for Particle-in-Cell Plasma Simulation. In: Malyshkin V. (eds) Parallel Computing Technologies. PaCT 2017. Lecture Notes in Computer Science, vol 10421. Springer, Cham (2017)
  4. Larin A., Bastrakov S., Bashinov A., Efimenko E., Surmin I., Gonoskov A., Meyerov I. Load Balancing for Particle-in-Cell Plasma Simulation on Multicore Systems. PPAM-2017 (in press).

2016

  1. Meyerov I., Bastrakov S., Surmin I., Bashinov A., Efimenko E., Korzhimanov A., Muraviev A., Gonoskov A. Hybrid CPU + Xeon Phi implementation of the Particle-in-Cell method for plasma simulation. Supercomputing frontiers and innovations,  3 (3), 5-10  (2016)
  2. Surmin I., Bastrakov S., Matveev Z., Efimenko E., Gonoskov A., Meyerov I. (2016) Co-design of a Particle-in-Cell Plasma Simulation Code for Intel Xeon Phi: A First Look at Knights Landing. In: Carretero J. et al. (eds) Algorithms and Architectures for Parallel Processing. ICA3PP 2016. Lecture Notes in Computer Science, vol 10049. Springer, Cham.
  3. Surmin I.A., Bastrakov S.I., Efimenko E.S., Gonoskov A.A., Korzhimanov A.V., Meyerov I.B. Particle-in-Cell laser-plasma simulation on Xeon Phi coprocessors. Computer Physics Communications, 202, 204-210 (2016)

2015

  1. Gonoskov A., Efimenko E., Ilderton A., Marklund M., Meyerov I., Muraviev A., Sergeev A., Surmin I., Wallin E. Extended particle-in-cell schemes for physics in ultrastrong laser fields: Review and developments. Physical review E, 92 (2015)
  2. Мееров И.Б., Бастраков С.И., Сурмин И.А., Гоносков А.А., Ефименко Е.С., Башинов А.В., Коржиманов А.В., Ларин А.В., Муравьев А.А., Розанов А.И., Савичев М.Р. Трехмерное моделирование плазмы методом частиц в ячейках на Intel Xeon Phi: оптимизация вычислений и примеры использования. Вычислительные методы и программирование, 16, 486-500 (2015)
  3. Муравьев А.А., Бастраков С.И., Башинов А.В., Гоносков А.А., Ефименко Е.С., Ким А.В., Мееров И.Б., Сергеев А.М. Генерация токовых слоев и гигантских квазистатических магнитных полей при ионизации вакуума в экстремально сильных световых полях. Письма в ЖЭТФ. 102 (3), 173-178 (2015)
  4. Surmin I., Bashinov A., Efimenko E, Gonoskov A, Meyerov I. Dynamic load balancing based on rectilinear partitioning in Particle-in-Cell plasma simulation. Lecture Notes in Computer Science, 9251, 107-119 (2015)

2014

  1. Сурмин И.А., Бастраков С.И., Гоносков А.А., Ефименко Е.С., Мееров И.Б. Моделирование плазмы методом частиц в ячейках с использованием сопроцессоров Intel Xeon Phi. Вычислительные методы и программирование, 15, 530-536 (2014)
  2. Meyerov I., Surmin I., Efimenko E., Gonoskov A., Malyshev A., Shiryaev M. Particle-in-Cell Plasma Simulation on CPUs, GPUs and Xeon Phi Coprocessors. Lecture Notes in Computer Science. 8488, 513-514 (2014)

2013

  1. Meyerov I., Gergel V., Gonoskov A., Gorshkov A., Efimenko E., Ivanchenko M., Kirillin M., Malova A., Osipov G., Petrov V., Surmin I., Vildemanov A. High performance computing in biomedical applications. Procedia Computer Science. 18, 10-19 (2013)
  2. Бастраков С.И., Мееров И.Б., Сурмин И.А., Гоносков А.А., Ефименко Е.С., Малышев А.С., Ширяев М.А. Динамическая балансировка в коде PICADOR для моделирования плазмы. Вычислительные методы и программирование, 14, 67-74 (2013)
  3. Bastrakov S., Efimenko E., Gonoskov A., Meyerov I., Surmin I. GPU-based Particle-in-Cell Plasma Simulation in PICADOR: Optimization Techniques. Proceedings of The 34th Progress In Electromagnetics Research Symposium (2013)

2012

  1. Bastrakov S., Gonoskov A., Donchenko R., Efimenko E., Malyshev A., Meyerov I., Surmin I. Particle-in-Cell Plasma Simulation on Heterogeneous Cluster Systems. Journal of Computational Science. 3 (6), 474-479 (2012)