Joint Department with the RAS Institute for System Programming

Regular version of the site

Publications

Book

ECPPM 2021 – eWork and eBusiness in Architecture, Engineering and Construction

Edited by: Vitaly Semenov, R. J. Scherer.

CRC Press, 2021.

Article

Equivalence checking and intersection of deterministic timed finite state machines

Bresolin D., El-Fakih K., Villa T. et al.

Formal Methods in System Design. 2022.

Book chapter

City and building information modelling using IFC standard

Shutkin V., Morozkin N., Zolotov V. et al.

In bk.: ECPPM 2021 – eWork and eBusiness in Architecture, Engineering and Construction. CRC Press, 2021. P. 406-413.

Working paper

Preventive Model-based Verification and Repairing for SDN Requests

Burdonov I., Kossachev A., Nina Yevtushenko et al.

arxiv.org. Computer Science. Cornell University, 2020

All publications

Delivered by:: Joint Department with the RAS Institute for System Programming

Type:: Compulsory course

When:: 1 year, 1, 2 module

Instructors

Avetisyan, Arutyun

Монаков Александр Владимирович

Полная версия программы учебной дисциплины

Аннотация

Курс "Параллельное программирование" посвящен изучению теории и методов практической разработки параллельных программ для современных архитектур компьютеров. Особенностью курса является комплексное рассмотрение проблем параллелизма, как на уровне библиотек, предоставляемых прикладным программистам, так и на уровне близком к архитектуре микропроцессоров и графических ускорителей, что более важно для системных программистов.

Цель освоения дисциплины

Целью курса является формирование у студентов теоретических знаний и навыков разработки, исследования производительности, оптимизации и отладки параллельных программ для современных архитектур процессоров и графических акселераторов.

Планируемые результаты обучения

Иметь представление о подходах к обеспечению параллелизма
Знать базовые принципы VLIW и Modulo scheduling.
Знать базовые принципы векторного параллелизма
Знать базовые принципы вычисления с плавающей точкой
Знать базовые принципы оптимизации доступа к памяти
Знать базовые принципы параллелизма при использовании многоядерных CPU
Знать базовые принципы межконтекстного взаимодействия
Знать базовые принципы OpenMP
Знать базовые принципы анализа производительности CPU
Знать базовые принципы программирования графических акселераторов
Знать базовые принципы CUDA
Знать базовые принципы OpenACC и OpenMP

Содержание учебной дисциплины

Уровни параллелизма в современных компьютерах. Теоретические подходы: законы Амдаля, Густафсона. Оценки пиковой производительности. Memory wall. Performance/portability tradeoff.
Параллелизм в пределах одного контекста выполнения. Параллелизм на уровне команд. VLIW. SIMD. Delayed branches. Компиляторные преобразования повышающие ILP. Modulo scheduling.
Векторный параллелизм (SIMD). Ограничения компиляторного анализа. Возможности и ограничения явной векторизации через интринсики. Компромисс между производительностью и переносимостью. Структурирование кода для облегчения компиляторного анализа.
Вычисления с плавающей точкой. Принципы IEEE-754. Ограничения и возможности компиляторной трансляции.
Иерархия кешей. Оптимизация доступа к памяти. Префетчинг. Cache-aware и cache-oblivious алгоритмы. Возможные компиляторные оптимизации.
Параллелизм на многоядерных CPU. Кеши и поддержка согласованности памяти. False sharing.
Низкоуровневые примитивы межконтекстного взаимодействия: атомарные операции, семафоры, futex. Поддержка на уровне языка Си и особенности компиляторной поддержки.
OpenMP. Классическая функциональность: параллелизм на уровне нитей. Анализ и трансляция OpenMP в компиляторе.
Анализ производительности на CPU. Основные инструменты разработчика: valgrind (cachegrind), perf, ocperf. Использование компиляторных возможностей.
Параллелизм на графических акселераторах. Явные интерфейсы программирования: CUDA, OpenCL. Инструменты разработки в CUDA.
Оптимизация в CUDA. Оптимизация доступа к памяти. Компромисс между ILP, регистровым давлением, TLP. Warp-synchronous programming. Сравнение с подходами, применяемыми на CPU.
OpenACC и OpenMP 4.0: параллелизм для акселераторов. Подходы к трансляции кода в различных реализациях. Специализация OpenMP-кода для акселераторов.

Элементы контроля

Контрольная работа (КР)
Домашнее задание (ДЗ)
Экзамен (Э)

Промежуточная аттестация

Промежуточная аттестация (2 модуль)
0.3 * Домашнее задание (ДЗ) + 0.3 * Контрольная работа (КР) + 0.4 * Экзамен (Э)

Contacts

Parallel programming

Instructors

Программа дисциплины

Аннотация

Цель освоения дисциплины

Планируемые результаты обучения

Содержание учебной дисциплины

Элементы контроля

Промежуточная аттестация

Список литературы

Рекомендуемая основная литература

Рекомендуемая дополнительная литература