프로세스 생성과 관리

  1. 서론

    MPI-1의 단점

    MPI 사용자의 요구
    - 어플리케이션이 시작된 후에 프로세스를 생성하고 관리할 수 있도록 MPI-1 확장 요구
    자원 제어 MPI-2에 추가되지 않음 프로세스 관리 기능 추가 이유 : 기술적이고 실용적 프로세스 관리가 중요한 반면 프로세스 관리 기능 추가는 호환성과 성능 문제와 상충됨 프로세스 관리 모델은 이러한 이슈를 다음 두 가지로 역점을 둠

  2. MPI-2 프로세스 모델

    MPI 응용프로그램이 시작한 후 프로세스의 생성과 협동적인 종료가 가능
    새로 생성된 프로세스와 기존의 MPI 응용프로그램간의 통신 설정 제공
    생성한 프로세스가 아니더라도 프로세스 간의 통신 설정 제공

    1. 프로세스 시작

      MPI 응용프로그램은 외부 프로세스 관리자와의 인터페이스를 통해 새로운 프로세스를 시작 가능
      MPI_COMM_SPAWN : MPI 프로세스들을 시작하고 그들과 통신을 설정하고 intercommunicator를 반환
      MPI_COMM_SPAWN_MULTIPLE : 서로 다른 바이너리나 다른 인자의 같은 바이너리를 시작하고 같은 MPI_COMM_WORLD에 놓고 intercommunicator를 반환
      프로세스들을 표현하기 위해 기존의 group 관념을 사용
      프로세스는 (group,rank)의 쌍으로 식별

    2. runtime 환경

      MPI_COMM_SPAWN과 MPI_COMM_SPAWN_MULTIPLE은 MPI와 MPI응용프로그램의 runtime 환경사이의 인터페이스를 제공
      환경의 예

      • 배치 큐 시스템으로 관리되는 MPP
      • PVM을 이용한 Network of workstation(NOW)
      • load balancing 시스템으로 관리되는 NOW
      • Unix와 큰 SMP
      MPI는 응용프로그램이 수행되는 환경의 존재를 내재적으로 가정
      ->운영체제 서비스는 제공하지 않음
      어떤 낮은 수준에서 runtime 시스템과 상호작용이 가능해야 함
      ->상호작용의 세부는 규정되지 않음
      환경 고유의 기능의 장점을 얻기위해 많은 MPI 루틴이 인자로 info를 갖음

  3. 프로세스 관리 인터페이스

    1. MPI의 프로세스
      (group,rank)쌍으로 표현
      (group,rank)쌍은 하나의 프로세스를 규정하나 하나의 프로세스는 (group,rank)쌍이 여러 개일 수 있음
    2. 프로세스 시작과 통신 설정
      MPI_COMM_SPAWN(command, argv, maxprocs, info, root, comm, intercomm, array_of_errcodes)
      INcommand시작할 프로그램 이름(문자열)
      INargvcommand의 인자(문자열 배열)
      INmaxprocs시작할 프로세스의 최대값(정수)
      INinforuntime 시스템에게 어디서 어떻게 시작할 것인지 알리는 key와 값의 집합(handle)
      INroot이전 인자를 검토한 프로세스의 rank(정수)
      INcomm프로세스의 group를 가진 intracommunicator(handle)
      OUTintercomm원래 group과 최근의 생성된 group간의 intercommunicator(handle)
      OUTarray_of_errcodes프로세스당 하나의 코드(정수 배열)
      int MPI_Comm_spawn(char *command, char *argv[], int maxprocs, MPI_INFO info, int root, MPI_Comm comm, MPI_Comm *intercomm, int array_of_errcodes[])
      MPI_COMM_SPAWN은 command로 정의된 프로그램을 maxprocs개만큼 시작하려고 하고 그들과 통신을 설정하고 intercommunicator를 반환
      spawn된 프로세스들을 자식이라 부르고 자식은 부모와는 다른 MPI_COMM_WORLD를 가짐
      MPI_COMM_SPAWN은 comm위에서 collective하고 자식에서 MPI_INIT이 호출되기전에 반환되지 않을 수 있음
      MPI_COMM_SPAWN에 의해 반환되는 intercommunicator는 local group의 부모 프로세스와 remote group의 자식 프로세스들을 포함
      이 intercommunicator는 자식에서 MPI_COMM_GET_PARENT를 통해 얻어짐
      • command 인자: spawn될 프로그램의 이름을 가진 문자열
        어떻게 실행파일을 발견하고 작업디렉토리가 결정되는지에 규정되지 않음
        구현에 종속되고 runtime 환경과 적합해야 함
        MPI_INIT을 호출하지 않고 MPI_INIT을 호출하는 프로그램을 fork하면 결과는 정의되지 않음
      • argv 인자 : program에 전달될 인자를 가진 문자열 배열
        처음 원소는 command 자신이 아닌 처음 인자
        MPI_ARGV_NULL 상수 - 인자가 없음을 나타내는 상수
      • maxprocs 인자 : maxprocs개의 프로세스를 spawn, 실패하면 MPI_ERR_SPAWN을 raise함
        MPI_COMM_SPAWN이 성공적으로 반환되면 spawn된 프로세스의 수는 intercomm의 remote group의 크기
        그것이 maxprocs보다 작으면 spawn되지 않은 프로세스의 이유가 array_of_errcodes에 저장
      MPI_COMM_GET_PARENT(parent)
      INparent부모 communicator(handle)
      int MPI_Comm_get_parent(MPI_Comm *parent)
      현재 프로세스의 부모 intercommunicator를 반환
      spawn된 프로세스가 아니라면 MPI_COMM_NULL를 반환
      부모 communicator가 끊겼다면 MPI_COMM_NULL을 반환
    3. 다중 실행파일 시작과 통신 설정
      MPI_COMM_SPAWN_MULTIPLE(count, array_of_commands, array_of_argv, array_of_maxprocs, array_of_info, root, comm, intercomm, array_of_errcodes)
      INcount명령어의 개수(양의 정수)
      INcommand시작할 프로그램 이름(문자열 배열)
      INargvcommand의 인자(문자열 배열)
      INmaxprocs시작할 프로세스의 최대값(정수 배열)
      INinforuntime 시스템에게 어디서 어떻게 시작할 것인지 알리는 key와 값의 집합(handle 배열)
      INroot이전 인자를 검토한 프로세스의 rank(정수)
      INcomm프로세스의 group를 가진 intracommunicator(handle)
      OUTintercomm원래 group과 최근의 생성된 group간의 intercommunicator(handle)
      OUTarray_of_errcodes프로세스당 하나의 코드(정수 배열)
      int MPI_Comm_spawn(int count, char *array_of_commands[], char **array_of_argv[], int array_of_maxprocs, MPI_INFO info, int root, MPI_Comm comm, MPI_Comm *intercomm, int array_of_errcodes[])
    4. 예약된 key
      hosthostname
      archarchitecture
      wdir작업 디렉토리
      path실행 파일을 찾을 곳, path의 format은 구현하면서 결정
      file추가정보가 규정된 파일 이름
      softMPI_COMM_SPAWN이 생성할 수 있는 프로세스의 수에 대한 허가된 값
    5. SPAWN 예제
      manager /* manager */ #include "mpi.h" int main(int argc, char *argv[]) { int world_size, universe_size, *universe_sizep, flag; MPI_Comm everyone; /* intercommunicator */ char worker_program[100]; MPI_Init(&argc, &argv); MPI_Comm_size(MPI_COMM_WORLD, &world_size); if (world_size != 1) error("Top heavy with management"); MPI_Attr_get(MPI_COMM_WORLD, MPI_UNIVERSE_SIZE, &universe_sizep, &flag); if (!flag) { printf("This MPI does not support UNIVERSE_SIZE. How many\n\ processes total?"); scanf("%d", &universe_size); } else universe_size = *universe_sizep; if (universe_size == 1) error("No room to start workers"); /* * Now spawn the workers. Note that there is a run-time determination * of what type of worker to spawn, and presumably this calculation must * be done at run time and cannot be calculated before starting * the program. If everything is known when the application is * first started, it is generally better to start them all at once * in a single MPI_COMM_WORLD. */ choose_worker_program(worker_program); MPI_Comm_spawn(worker_program, MPI_ARGV_NULL, universe_size-1, MPI_INFO_NULL, 0, MPI_COMM_SELF, &everyone, MPI_ERRCODES_IGNORE); /* * Parallel code here. The communicator "everyone" can be used * to communicate with the spawned processes, which have ranks 0,.. * MPI_UNIVERSE_SIZE-1 in the remote group of the intercommunicator * "everyone". */ MPI_Finalize(); return 0; }
      worker /* worker */ #include "mpi.h" int main(int argc, char *argv[]) { int size; MPI_Comm parent; MPI_Init(&argc, &argv); MPI_Comm_get_parent(&parent); if (parent == MPI_COMM_NULL) error("No parent!"); MPI_Comm_remote_size(parent, &size); if (size != 1) error("Something's wrong with the parent"); /* * Parallel code here. * The manager is represented as the process with rank 0 in (the remote * group of) MPI_COMM_PARENT. If the workers need to communicate among * themselves, they can use MPI_COMM_WORLD. */ MPI_Finalize(); return 0; }

  4. 통신 설정

    communicator를 공유하지 않는 MPI 프로세스들의 두 집합사이의 통신을 설정하는 함수
    이러한 함수가 유용한 경우

    이러한 경우 전에 없었던 통신 채널을 설정해야 하고 부모/자식 관계가 아님
    기존의 communicator를 공유하지 않는 두 프로세스 group간의 접속을 설정함은 collective이나 비대칭적 프로세스임
    server : 다른 프로세스 group으로부터 연결을 받기를 원하는 프로세스 group
    client : server에 연결하는 다른 group
    1. 이름, 주소, port
      MPI client/server 루틴에서 복잡성의 대부분은 server를 어떻게 접속할 것인지를 client가 어떻게 발견하는지. 그 둘사이에 통신 채널이 없기 때문에 통신을 설정하려면 접속점에 동의해야 한다
      접속점을 동의하는 데는 제삼자가 포함된다. 제삼자는 접속점을 제공하거나 server로부터 client로의 접속정보를 통신할 수 있다
      다음은 MPI와 호환가능해야 한다
      • server는 알려진 인터넷 주소 host:port에 존재
      • server는 터미널에 주소를 출력하고 사용자는 이 주소를 client 프로그램에 준다
      • server는 주소정보를 nameserver에 두고 동의된 이름으로 검색할 수 있다
      • client가 접속하는 server는 실제 server와 중간자로서 행동하는 broker
      MPI는 nameserver가 필요하지 않아서 위의 모든 시나리오를 지원하지 않을 것이다. MPI가 부가적으로 nameserver 인터페이스를 제공하고 외부의 nameserver와 호환된다
      port_name은 server와 연결될 수 있는 저수준의 network주소로 변환되는 시스템에서 제공하는 문자열이다 대부분 IP주소와 port번호인데 구현은 어떤 프로토콜든지 사용할 수 있다. server는 port_name를 인자로 MPI_OPEN_PORT를 써서 설정한다. MPI_COMM_ACCEPT로 주어진 port에 접속을 받는다.
      응용프로그램이 제공하는 service_name으로 알려지도록 server를 지정하면 client는 port_name을 알 필요없이 service_name으로 접속할 수 있어서 더 편리하다.
      MPI 구현에서 server가 (port_name,service_name)쌍을 공표해서 MPI_LOOKUP_NAME을 가지고 service_name으로부터 port_name을 검색할 수 있도록 한다. 이것은 기능의 단계의 증가와 더불어 세 단계의 호환성을 가능케 한다.
      1. 이름 공표의 능력에 좌우되지 않는 응용프로그램은 호환이 쉽다. server에서 client로 port_name이 사람에 의해 전달된다.
      2. MPI_PUBLISH_NAME을 사용하는 응용프로그램은 이 service를 제공하는 구현들 사이에서 완벽히 호환된다. 모든 구현에서 호환되기 위해서는 이름이 공표되지 않을 때 사용되는 fall-back 메카니즘을 가져야 한다.
      3. MPI의 이름 공표 기능을 무시하고 이름을 공표하는 그 자신의 메카니즘을 사용하는 응용프로그램은 유연하지만 호환되지 않는다.
    2. server 루틴
      server는 두 루틴으로 이용가능하게 된다. 먼저 MPI_OPEN_PORT를 써서 접속할 수 있는 하나의 port를 설정한다. 두번째 MPI_COMM_ACCEPT를 써서 client로부터 접속을 받는다.
      MPI_OPEN_PORT(info,port_name)
      INinfo주소를 설정하는데 필요한 구현상의 정보(핸들)
      OUTport_name새로 설정된 port(문자열)
      int MPI_Open_port(MPI_Info info, char *port_name)
      MPI_CLOSE_PORT(port_name)
      INport_nameport(문자열)
      int MPI_Close_port(char *port_name)
      MPI_COMM_ACCEPT(port_name,info,root,comm,newcomm)
      INport_nameport이름(문자열)
      INinfo구현상의 정보(핸들)
      INrootroot node의 comm에서의 rank(정수)
      INcomm어디에서 collective인지에 대한 intracommunicator(핸들)
      OUTnewcommremote group으로 client와의 intercommunicator(핸들)
      int MPI_Comm_accept(char *port_name,MPI_Info info,int root,MPI_Comm comm,MPI_Comm *newcomm)
    3. client 루틴
      MPI_COMM_CONNECT(port_name,info,root,comm,newcomm)
      INport_namenetwork 주소(문자열)
      INinfo구현상의 정보(핸들)
      INrootroot node의 comm에서의 rank(정수)
      INcomm어디에서 collective인지에 대한 intracommunicator(핸들)
      OUTnewcommremote group으로 server와의 intercommunicator(핸들)
      int MPI_Comm_connect(char *port_name,MPI_Info info,int root,MPI_Comm comm,MPI_Comm *newcomm)
    4. 이름 공표
      MPI_PUBLISH_NAME(service_name,info,port_name)
      INservice_nameport에 해당하는 service 이름(문자열)
      INinfo구현상의 정보(핸들)
      INport_nameport 이름(문자열)
      int MPI_Publish_name(char *service_name,MPI_Info info,char *port_name)
      MPI_UNPUBLISH_NAME(service_name,info,port_name)
      INservice_nameport에 해당하는 service 이름(문자열)
      INinfo구현상의 정보(핸들)
      INport_nameport 이름(문자열)
      int MPI_Unpublish_name(char *service_name,MPI_Info info,char *port_name)
      MPI_LOOKUP_NAME(service_name,info,port_name)
      INservice_nameport에 해당하는 service 이름(문자열)
      INinfo구현상의 정보(핸들)
      OUTport_nameport 이름(문자열)
      int MPI_Lookup_name(char *service_name,MPI_Info info,char *port_name)
    5. client/server 예제
      server char myport[MPI_MAX_PORT_NAME]; MPI_Comm intercomm; /* ... */ MPI_Open_port(MPI_INFO_NULL, myport); printf("port name is: %s\n", myport); MPI_Comm_accept(myport, MPI_INFO_NULL, 0, MPI_COMM_SELF, &intercomm); /* do something with intercomm */
      client MPI_Comm intercomm; char name[MPI_MAX_PORT_NAME]; printf("enter port name: "); gets(name); MPI_Comm_connect(name, MPI_INFO_NULL, 0, MPI_COMM_SELF, &intercomm);
      server MPI_Open_port(MPI_INFO_NULL, port_name); MPI_Publish_name("ocean", MPI_INFO_NULL, port_name); MPI_Comm_accept(port_name, MPI_INFO_NULL, 0, MPI_COMM_SELF, &intercomm); /* do something with intercomm */ MPI_Unpublish_name("ocean", MPI_INFO_NULL, port_name);
      client MPI_Lookup_name("ocean", MPI_INFO_NULL, port_name); MPI_Comm_connect( port_name, MPI_INFO_NULL, 0, MPI_COMM_SELF, &intercomm);
      server include "mpi.h" int main( int argc, char **argv ) { MPI_Comm client; MPI_Status status; char port_name[MPI_MAX_PORT_NAME]; double buf[MAX_DATA]; int size, again; MPI_Init( &argc, &argv ); MPI_Comm_size(MPI_COMM_WORLD, &size); if (size != 1) error(FATAL, "Server too big"); MPI_Open_port(MPI_INFO_NULL, port_name); printf("server available at %s\n",port_name); while (1) { MPI_Comm_accept( port_name, MPI_INFO_NULL, 0, MPI_COMM_WORLD, &client ); again = 1; while (again) { MPI_Recv( buf, MAX_DATA, MPI_DOUBLE, MPI_ANY_SOURCE, MPI_ANY_TAG, client, &status ); switch (status.MPI_TAG) { case 0: MPI_Comm_free( &client ); MPI_Close_port(port_name); MPI_Finalize(); return 0; case 1: MPI_Comm_disconnect( &client ); again = 0; break; case 2: /* do something */ ... default: /* Unexpected message type */ MPI_Abort( MPI_COMM_WORLD, 1 ); } } } }
      client #include "mpi.h" int main( int argc, char **argv ) { MPI_Comm server; double buf[MAX_DATA]; char port_name[MPI_MAX_PORT_NAME]; MPI_Init( &argc, &argv ); strcpy(port_name, argv[1] );/* assume server's name is cmd-line arg */ MPI_Comm_connect( port_name, MPI_INFO_NULL, 0, MPI_COMM_WORLD, &server ); while (!done) { tag = 2; /* Action to perform */ MPI_Send( buf, n, MPI_DOUBLE, 0, tag, server ); /* etc */ } MPI_Send( buf, 0, MPI_DOUBLE, 0, 1, server ); MPI_Comm_disconnect( &server ); MPI_Finalize(); return 0; }

  5. 다른 기능

    1. Universe 크기
      응용프로그램에서 몇개의 프로세스를 생성해야하는지 MPI_UNIVERSE_SIZE에서 MPI_COMM_WORLD의 크기를 빼서 알 수 있다
      MPI_UNIVERSE_SIZE를 설정하는 가능한 방법
      • MPI 프로세스를 시작하는 프로그램에 -universe_size 인자로
      • 응용프로그램에 할당된 프로세스수를 알아내는 batch 스케쥴러와의 자동 상호작용
      • 사용자에 의한 환경변수 설정
      • MPI_COMM_SPAWN함수에 info 인자를 통한 전달
      구현시 MPI_UNIVERSE_SIZE를 설정하는 방법을 문서화해야 한다.
    2. 단일 MPI_INIT 고급 구현에서는 어떤 프로세스도 MPI_INIT를 호출함으로써 MPI 프로세스가 될 수 있다.
    3. MPI_APPNUM MPI_COMM_SPAWN_MULTIPLE에 의해 spawn된 프로세스는 MPI_APPNUM이 현재 프로세스를 생성한 명령 번호
    4. 접속 해제 접속이 되기 전 client와 server는 독립적인 MPI 응용프로그램이다. 하나의 응용프로그램의 에러는 다른 응용프로그램에 영향을 미치지 않는다. 접속이 되면 에러는 다른 응용프로그램에 영향을 미친다. 접속을 끊을 수 있으면 에러가 다른 응용프로그램에 미치지 않는다.
      • 두 프로세스사이에 접속경로가 있으면 두 프로세스는 연결되어 있다. 더 정확히
        1. 아래와 같은 경우 두 프로세스는 연결되어 있다
          1. 둘 다 같은 communicator에 속한 경우
          2. 둘다 MPI_COMM_DISCONNECT대신 MPI_COMM_FREE를 써서 free된 communicator에 속했던 경우
          3. 둘다 같은 window나 filehandle의 group에 속한 경우
        2. A가 B에 연결되고 B가 C에 연결되면 A는 C에 연결된다.
      • 두 프로세스가 연결되어 있지 않으면 연결되지 않았다(또는 독립적이다)
      • 위의 정의에 의해 연결은 transitive성질이어서 MPI 프로세스들의 전체 집합은 독립적인 equivalence class로 나누어진다.
      • 연결되어 있지만 같은 MPI_COMM_WORLD를 공유하지 않는 프로세스들은 MPI_COMM_DISCONNECT를 사용해서 접속경로가 없어지면 연결되지 않을 수 있다.
      MPI-1 함수에 다음의 추가적인 rule에 적용된다.
      • MPI_FINALIZE는 연결된 프로세스들의 집합에 collective하다.
      • MPI_ABORT는 독립적인 프로세스를 abort하지 않는다.
      • MPI_FINALIZE를 호출하지 않고 끝나면 독립적인 프로세스는 영향을 받지 않으나 연결된 프로세스에 대해서는 영향이 정의되어 있지 않다.
      MPI_COMM_DISCONNECT(comm)
      INOUTcommcommunicator(핸들)
      int MPI_Comm_disconnect(MPI_Comm *comm)
      모든 pending되고 있는 통신이 완료되기 기다리고 communicator object를 free하고 comm을 MPI_COMM_NULL로 설정한다. collective
    5. MPI통신을 설정하는 다른 방법
      MPI_COMM_JOIN(fd,intercomm)
      INfdsocket 파일 지시자
      OUTintercomm새로운 intercommunicator(핸들)
      int MPI_Comm_join(int fd,MPI_Comm *intercomm)
      MPI_COMM_JOIN은 버클리 소켓 interface를 제공하는 환경에 존재하는 MPI 구현을 지향한다. 제공하지 않는 환경에서도 MPI_COMM_NULL을 반환해야 한다.