ofi_req 92 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req = NULL; ofi_req 112 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req = TO_OFI_REQ(wc[i].op_context); ofi_req 113 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req); ofi_req 114 ompi/mca/mtl/ofi/mtl_ofi.h ret = ofi_req->event_callback(&wc[i], ofi_req); ofi_req 141 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req = TO_OFI_REQ(error.op_context); ofi_req 142 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req); ofi_req 143 ompi/mca/mtl/ofi/mtl_ofi.h ret = ofi_req->error_callback(&error, ofi_req); ofi_req 258 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 260 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req->completion_count > 0); ofi_req 261 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count--; ofi_req 267 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 271 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = MPI_ERR_TRUNCATE; ofi_req 274 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = MPI_ERR_INTERN; ofi_req 276 ompi/mca/mtl/ofi/mtl_ofi.h return ofi_req->event_callback(NULL, ofi_req); ofi_req 281 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 283 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *parent_req = ofi_req->parent; ofi_req 285 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 294 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 296 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *parent_req = ofi_req->parent; ofi_req 298 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 307 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 309 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req->completion_count > 0); ofi_req 310 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count--; ofi_req 312 ompi/mca/mtl/ofi/mtl_ofi.h if (0 == ofi_req->completion_count) { ofi_req 314 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(NULL != ofi_req->buffer)) { ofi_req 315 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req->buffer); ofi_req 316 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->buffer = NULL; ofi_req 319 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->super.ompi_req->req_status.MPI_ERROR = ofi_req 320 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR; ofi_req 322 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->super.completion_callback(&ofi_req->super); ofi_req 345 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req, ofi_req 359 ompi/mca/mtl/ofi/mtl_ofi.h ack_req->parent = ofi_req; ofi_req 363 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count += 1; ofi_req 396 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t ofi_req; ofi_req 414 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.event_callback = ompi_mtl_ofi_send_callback; ofi_req 415 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.error_callback = ompi_mtl_ofi_send_error_callback; ofi_req 426 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.buffer = (free_after) ? start : NULL; ofi_req 427 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.length = length; ofi_req 428 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.status.MPI_ERROR = OMPI_SUCCESS; ofi_req 429 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.completion_count = 0; ofi_req 441 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.status.MPI_ERROR = ompi_mtl_ofi_ssend_recv(ack_req, comm, &src_addr, ofi_req 442 ompi/mca/mtl/ofi/mtl_ofi.h &ofi_req, endpoint, ofi_req 444 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(ofi_req.status.MPI_ERROR != OMPI_SUCCESS)) ofi_req 472 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.status.MPI_ERROR = ompi_mtl_ofi_get_error(ret); ofi_req 476 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.completion_count += 1; ofi_req 485 ompi/mca/mtl/ofi/mtl_ofi.h (void *) &ofi_req.ctx), ret); ofi_req 493 ompi/mca/mtl/ofi/mtl_ofi.h (void *) &ofi_req.ctx), ret); ofi_req 499 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.status.MPI_ERROR = ompi_mtl_ofi_get_error(ret); ofi_req 508 ompi/mca/mtl/ofi/mtl_ofi.h while (0 < ofi_req.completion_count) { ofi_req 513 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(NULL != ofi_req.buffer)) { ofi_req 514 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req.buffer); ofi_req 517 ompi/mca/mtl/ofi/mtl_ofi.h return ofi_req.status.MPI_ERROR; ofi_req 532 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req = (ompi_mtl_ofi_request_t *) mtl_request; ofi_req 546 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->event_callback = ompi_mtl_ofi_isend_callback; ofi_req 547 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->error_callback = ompi_mtl_ofi_send_error_callback; ofi_req 558 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->buffer = (free_after) ? start : NULL; ofi_req 559 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->length = length; ofi_req 560 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = OMPI_SUCCESS; ofi_req 561 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count = 1; ofi_req 572 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = ompi_mtl_ofi_ssend_recv(ack_req, comm, &sep_peer_fiaddr, ofi_req 573 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req, endpoint, ofi_req 575 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(ofi_req->status.MPI_ERROR != OMPI_SUCCESS)) ofi_req 587 ompi/mca/mtl/ofi/mtl_ofi.h (void *) &ofi_req->ctx), ret); ofi_req 595 ompi/mca/mtl/ofi/mtl_ofi.h (void *) &ofi_req->ctx), ret); ofi_req 601 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = ompi_mtl_ofi_get_error(ret); ofi_req 605 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(OMPI_SUCCESS != ofi_req->status.MPI_ERROR ofi_req 606 ompi/mca/mtl/ofi/mtl_ofi.h && NULL != ofi_req->buffer)) { ofi_req 607 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req->buffer); ofi_req 610 ompi/mca/mtl/ofi/mtl_ofi.h return ofi_req->status.MPI_ERROR; ofi_req 618 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 628 ompi/mca/mtl/ofi/mtl_ofi.h ctxt_id = ompi_mtl_ofi_map_comm_to_ctxt(ofi_req->comm->c_contextid); ofi_req 630 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req->super.ompi_req); ofi_req 631 ompi/mca/mtl/ofi/mtl_ofi.h status = &ofi_req->super.ompi_req->req_status; ofi_req 637 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->req_started = true; ofi_req 643 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(wc->len > ofi_req->length)) { ofi_req 646 ompi/mca/mtl/ofi/mtl_ofi.h wc->len, ofi_req->length); ofi_req 653 ompi/mca/mtl/ofi/mtl_ofi.h if (OPAL_UNLIKELY(ofi_req->buffer)) { ofi_req 654 ompi/mca/mtl/ofi/mtl_ofi.h ompi_ret = ompi_mtl_datatype_unpack(ofi_req->convertor, ofi_req 655 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->buffer, ofi_req 689 ompi/mca/mtl/ofi/mtl_ofi.h if (ompi_mtl_ofi.any_addr == ofi_req->remote_addr) { ofi_req 690 ompi/mca/mtl/ofi/mtl_ofi.h ompi_proc = ompi_comm_peer_lookup(ofi_req->comm, src); ofi_req 691 ompi/mca/mtl/ofi/mtl_ofi.h endpoint = ompi_mtl_ofi_get_endpoint(ofi_req->mtl, ompi_proc); ofi_req 692 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->remote_addr = fi_rx_addr(endpoint->peer_fiaddr, ctxt_id, ompi_mtl_ofi.rx_ctx_bits); ofi_req 698 ompi/mca/mtl/ofi/mtl_ofi.h tagged_msg.addr = ofi_req->remote_addr; ofi_req 716 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->super.completion_callback(&ofi_req->super); ofi_req 726 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 729 ompi/mca/mtl/ofi/mtl_ofi.h assert(ofi_req->super.ompi_req); ofi_req 730 ompi/mca/mtl/ofi/mtl_ofi.h status = &ofi_req->super.ompi_req->req_status; ofi_req 731 ompi/mca/mtl/ofi/mtl_ofi.h status->MPI_TAG = MTL_OFI_GET_TAG(ofi_req->match_bits); ofi_req 745 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->super.completion_callback(&ofi_req->super); ofi_req 764 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req = (ompi_mtl_ofi_request_t*) mtl_request; ofi_req 795 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->type = OMPI_MTL_OFI_RECV; ofi_req 796 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->event_callback = ompi_mtl_ofi_recv_callback; ofi_req 797 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->error_callback = ompi_mtl_ofi_recv_error_callback; ofi_req 798 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->comm = comm; ofi_req 799 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->buffer = (free_after) ? start : NULL; ofi_req 800 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->length = length; ofi_req 801 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->convertor = convertor; ofi_req 802 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->req_started = false; ofi_req 803 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = OMPI_SUCCESS; ofi_req 804 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->remote_addr = remote_addr; ofi_req 805 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->match_bits = match_bits; ofi_req 814 ompi/mca/mtl/ofi/mtl_ofi.h (void *)&ofi_req->ctx), ret); ofi_req 816 ompi/mca/mtl/ofi/mtl_ofi.h if (NULL != ofi_req->buffer) { ofi_req 817 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req->buffer); ofi_req 831 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 833 ompi/mca/mtl/ofi/mtl_ofi.h struct mca_mtl_request_t *mrecv_req = ofi_req->mrecv_req; ofi_req 840 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 852 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 854 ompi/mca/mtl/ofi/mtl_ofi.h struct mca_mtl_request_t *mrecv_req = ofi_req->mrecv_req; ofi_req 856 ompi/mca/mtl/ofi/mtl_ofi.h status->MPI_TAG = MTL_OFI_GET_TAG(ofi_req->match_bits); ofi_req 870 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 883 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req = ofi_req 906 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->type = OMPI_MTL_OFI_RECV; ofi_req 907 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->event_callback = ompi_mtl_ofi_mrecv_callback; ofi_req 908 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->error_callback = ompi_mtl_ofi_mrecv_error_callback; ofi_req 909 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->buffer = (free_after) ? start : NULL; ofi_req 910 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->length = length; ofi_req 911 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->convertor = convertor; ofi_req 912 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = OMPI_SUCCESS; ofi_req 913 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->mrecv_req = mtl_request; ofi_req 924 ompi/mca/mtl/ofi/mtl_ofi.h msg.tag = ofi_req->match_bits; ofi_req 925 ompi/mca/mtl/ofi/mtl_ofi.h msg.ignore = ofi_req->mask_bits; ofi_req 926 ompi/mca/mtl/ofi/mtl_ofi.h msg.context = (void *)&ofi_req->ctx; ofi_req 943 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 945 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->match_state = 1; ofi_req 946 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->match_bits = wc->tag; ofi_req 947 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_SOURCE = mtl_ofi_get_source(wc); ofi_req 948 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_TAG = MTL_OFI_GET_TAG(wc->tag); ofi_req 949 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = MPI_SUCCESS; ofi_req 950 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status._ucount = wc->len; ofi_req 951 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count--; ofi_req 961 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req) ofi_req 963 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->status.MPI_ERROR = MPI_ERR_INTERN; ofi_req 964 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count--; ofi_req 978 ompi/mca/mtl/ofi/mtl_ofi.h struct ompi_mtl_ofi_request_t ofi_req; ofi_req 1022 ompi/mca/mtl/ofi/mtl_ofi.h msg.context = (void *)&ofi_req.ctx; ofi_req 1025 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.type = OMPI_MTL_OFI_PROBE; ofi_req 1026 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.event_callback = ompi_mtl_ofi_probe_callback; ofi_req 1027 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.error_callback = ompi_mtl_ofi_probe_error_callback; ofi_req 1028 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.completion_count = 1; ofi_req 1029 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req.match_state = 0; ofi_req 1043 ompi/mca/mtl/ofi/mtl_ofi.h while (0 < ofi_req.completion_count) { ofi_req 1047 ompi/mca/mtl/ofi/mtl_ofi.h *flag = ofi_req.match_state; ofi_req 1050 ompi/mca/mtl/ofi/mtl_ofi.h *status = ofi_req.status; ofi_req 1067 ompi/mca/mtl/ofi/mtl_ofi.h struct ompi_mtl_ofi_request_t *ofi_req; ofi_req 1080 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req = malloc(sizeof *ofi_req); ofi_req 1081 ompi/mca/mtl/ofi/mtl_ofi.h if (NULL == ofi_req) { ofi_req 1119 ompi/mca/mtl/ofi/mtl_ofi.h msg.context = (void *)&ofi_req->ctx; ofi_req 1122 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->type = OMPI_MTL_OFI_PROBE; ofi_req 1123 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->event_callback = ompi_mtl_ofi_probe_callback; ofi_req 1124 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->error_callback = ompi_mtl_ofi_probe_error_callback; ofi_req 1125 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->completion_count = 1; ofi_req 1126 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->match_state = 0; ofi_req 1127 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->mask_bits = mask_bits; ofi_req 1135 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 1139 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 1143 ompi/mca/mtl/ofi/mtl_ofi.h while (0 < ofi_req->completion_count) { ofi_req 1147 ompi/mca/mtl/ofi/mtl_ofi.h *matched = ofi_req->match_state; ofi_req 1150 ompi/mca/mtl/ofi/mtl_ofi.h *status = ofi_req->status; ofi_req 1159 ompi/mca/mtl/ofi/mtl_ofi.h (*message)->req_ptr = ofi_req; ofi_req 1160 ompi/mca/mtl/ofi/mtl_ofi.h (*message)->peer = ofi_req->status.MPI_SOURCE; ofi_req 1161 ompi/mca/mtl/ofi/mtl_ofi.h (*message)->count = ofi_req->status._ucount; ofi_req 1165 ompi/mca/mtl/ofi/mtl_ofi.h free(ofi_req); ofi_req 1177 ompi/mca/mtl/ofi/mtl_ofi.h ompi_mtl_ofi_request_t *ofi_req = (ompi_mtl_ofi_request_t*) mtl_request; ofi_req 1179 ompi/mca/mtl/ofi/mtl_ofi.h ctxt_id = ompi_mtl_ofi_map_comm_to_ctxt(ofi_req->comm->c_contextid); ofi_req 1181 ompi/mca/mtl/ofi/mtl_ofi.h switch (ofi_req->type) { ofi_req 1196 ompi/mca/mtl/ofi/mtl_ofi.h if (!ofi_req->req_started) { ofi_req 1198 ompi/mca/mtl/ofi/mtl_ofi.h &ofi_req->ctx); ofi_req 1200 ompi/mca/mtl/ofi/mtl_ofi.h if (ofi_req->req_started) ofi_req 1207 ompi/mca/mtl/ofi/mtl_ofi.h ofi_req->super.ompi_req->req_status._cancelled = false;