<div dir="ltr">Hi Jay,<div><br></div><div>I am currently running the MITgcm on Derecho using the intel-mpi module and netcdf module.</div><div><br></div><div>So as Jean-Michel suggested I use 'module load intel-mpi' as well as 'module load netcdf'. My opt file also includes the lines:</div><div>FC=mpif90<br>CC=mpicc<br>F90C=mpif90<br>OMPFLAG='-qopenmp'<br><br>LIBS="-L${MPI_ROOT}/lib -L/glade/u/apps/derecho/23.06/spack/opt/spack/netcdf/4.9.2/oneapi/2023.0.0/iijr/lib -lnetcdf"<br>INCLUDES="-I${MPI_ROOT}/include -I/glade/u/apps/derecho/23.06/spack/opt/spack/netcdf/4.9.2/oneapi/2023.0.0/iijr/include"</div><div><br></div><div>I am not actually sure if loading the netcdf module is doing anything for me because I could only get netcdf to compile when I pointed directly to the netcdf library location in the LIB and INCLUDES arguments. This may not be a completely correct set of options... I just got it working recently but this does work for me to run the MITgcm with profiles and mpi. Hope that helps!</div><div><br></div><div>Best,</div><div>Ellen<br><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Nov 3, 2023 at 9:25 AM Jean-Michel Campin <<a href="mailto:jmc@mit.edu">jmc@mit.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Jay,<br>
<br>
Is there some "module" on Derecho that would provide MPI libraries for intel compiler ?<br>
<br>
If there is a working one, this might be the easier way to start (without NetCDF),<br>
 > module add {this-MPI-module}<br>
and then set the MPI_INC_DIR variable to where the MPI header files are,<br>
and using the default intel optfile "tools/build_options/linux_amd64_ifort11"<br>
<br>
Once this works you could invest in getting the NetCDF to work, <br>
and/or try also to use the cray compiler.<br>
<br>
Cheers,<br>
Jean-Michel<br>
<br>
On Fri, Nov 03, 2023 at 04:00:52PM +0000, Brett, Jay wrote:<br>
> Hi all,<br>
> <br>
> I'm working to get the B-SOSE version of MITgcm compiled on the new NCAR supercomputer Derecho (successor to Cheyenne). If anyone has an environment working for MITgcm on there, please share. Below, I'm listing some options that I've tried and failed with.<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> I used the suggest_optfile_names to confirm compilers:<br>
> <br>
> C:     icx gcc cc mpicc<br>
> <br>
> FORTRAN:     ifort mpif77<br>
> <br>
> <br>
> <br>
> My old Cheyenne working environment was:<br>
> <br>
> 1) ncarenv/1.3   2) intel/17.0.1   3) ncarcompilers/0.5.0   4) mpt/2.15f (H)   5) netcdf/<a href="http://4.4.1.1" rel="noreferrer" target="_blank">4.4.1.1</a> (H)<br>
> <br>
> But I haven't found any mpt options on Derecho.<br>
> <br>
> <br>
> <br>
> The default Derecho environment is:<br>
> <br>
> 1) ncarenv/23.06  (S)   4) ncarcompilers/1.0.0   7) netcdf/4.9.2<br>
> <br>
>   2) craype/2.7.20        5) cray-mpich/8.1.25<br>
> <br>
>   3) intel/2023.0.0       6) hdf5/1.12.2<br>
> <br>
> Which gave compile errors of not finding mpif.h.<br>
> <br>
> <br>
> <br>
> I tried Intel rather than Cray:<br>
> <br>
>   1) ncarenv/23.06  (S)   4) ncarcompilers/1.0.0   7) netcdf/4.9.2<br>
> <br>
>   2) craype/2.7.20        5) intel-mpi/2021.8.0<br>
> <br>
>   3) intel/2023.0.0       6) hdf5-mpi/1.12.2<br>
> <br>
> Which gave compile errors of not finding a bunch of mpi functions (wait, send, allreduce, etc).<br>
> <br>
> <br>
> <br>
> Trying to update an old specific Cheyenne build_options file, rather than using the generic linux_amd64_ifort, suggests I may be having an issue with '-march=core-avx2' vs '-march=corei7', but I'm not sure either of those is correct.<br>
> <br>
> <br>
> <br>
> This is by no means an exhaustive (or systematic) attempt, I am hoping that one of you can short-circuit the need for that.<br>
> <br>
> Thank you all,<br>
> <br>
> Jay<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> Dr. Jay Brett (they/them/theirs)<br>
> <br>
> Senior Professional Staff, Johns Hopkins APL<br>
> <br>
> <a href="mailto:Jay.Brett@jhuapl.edu" target="_blank">Jay.Brett@jhuapl.edu</a><mailto:<a href="mailto:Jay.Brett@jhuapl.edu" target="_blank">Jay.Brett@jhuapl.edu</a>><br>
> <br>
> Phone (240)592-1037<br>
> <br>
> 11100 Johns Hopkins Rd, Bldg 8, Laurel MD<br>
> <br>
> <br>
> <br>
> <br>
> <br>
<br>
> _______________________________________________<br>
> MITgcm-support mailing list<br>
> <a href="mailto:MITgcm-support@mitgcm.org" target="_blank">MITgcm-support@mitgcm.org</a><br>
> <a href="https://urldefense.com/v3/__http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support__;!!Mih3wA!BisMNPjrnjdE2Dd01e8fXr9R7h07ElnXKSMzXHcOSGZAA8AJSwBYIHLs2f1OwotGhMaD8qaB9HcP$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support__;!!Mih3wA!BisMNPjrnjdE2Dd01e8fXr9R7h07ElnXKSMzXHcOSGZAA8AJSwBYIHLs2f1OwotGhMaD8qaB9HcP$</a> <br>
<br>
_______________________________________________<br>
MITgcm-support mailing list<br>
<a href="mailto:MITgcm-support@mitgcm.org" target="_blank">MITgcm-support@mitgcm.org</a><br>
<a href="https://urldefense.com/v3/__http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support__;!!Mih3wA!BisMNPjrnjdE2Dd01e8fXr9R7h07ElnXKSMzXHcOSGZAA8AJSwBYIHLs2f1OwotGhMaD8qaB9HcP$" rel="noreferrer" target="_blank">https://urldefense.com/v3/__http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support__;!!Mih3wA!BisMNPjrnjdE2Dd01e8fXr9R7h07ElnXKSMzXHcOSGZAA8AJSwBYIHLs2f1OwotGhMaD8qaB9HcP$</a> <br>
</blockquote></div>