Dear community,<br><br>Today I was checking the output from ecco 2 and the time interval (metafile) does no make sense to me. At the beginning, I thought the timeinterval shows the initial and final point of the time average output file. I mean if the frequency of the output is every 30 days I would have expected that the difference between these two numbers agrees with the frequency. However, this difference is extremely different. At the beginning of the simulation this difference is 28 days and then after 40 years the difference decreases to 89 hours. Curiously, if I compute the date using those values (time_cal+seconds(x)),  the date corresponds to the last 89 hours of the month.<br>> Also, I have observed that in previous releases (MITgcm_c61v), this variable does not appear in the meta file. I think I am missing something. Did I miss a variable in the data.diagnostic? Currently, I have timeave and diagnostic in the package.conf. Do you think that they are incompatible? Thank so much in advance for everything and sorry again for disturbing you. <br><br>Kind regards<br><br><br><br><br>Sent from my Huawei Mobile<div class="quote" style="line-height: 1.5"><br><br>-------- Original Message --------<br>Subject: MITgcm-support Digest, Vol 207, Issue 19<br>From: mitgcm-support-request@mitgcm.org<br>To: mitgcm-support@mitgcm.org<br>CC: <br><br><br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Send MITgcm-support mailing list submissions to<br>        mitgcm-support@mitgcm.org<br><br>To subscribe or unsubscribe via the World Wide Web, visit<br>        http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>or, via email, send a message with subject or body 'help' to<br>       mitgcm-support-request@mitgcm.org<br><br>You can reach the person managing the list at<br>    mitgcm-support-owner@mitgcm.org<br><br>When replying, please edit your Subject line so it is more specific<br>than "Re: Contents of MITgcm-support digest..."<br><br><br>Today's Topics:<br><br>   1. Re: verification_other case global_oce_cs32 fails at runtime<br>      in adjoint mode (Martin Losch)<br>   2. verification_other case global_oce_cs32 fails at      runtime in<br>      adjoint mode (Dan Jones)<br><br><br>----------------------------------------------------------------------<br><br>Message: 1<br>Date: Thu, 24 Sep 2020 13:16:19 +0200<br>From: Martin Losch <Martin.Losch@awi.de><br>To: MITgcm Support <mitgcm-support@mitgcm.org><br>Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>      fails at runtime in adjoint mode<br>Message-ID: <4560ED24-6EBE-4695-B774-603AD098556C@awi.de><br>Content-Type: text/plain; charset="utf-8"<br><br>Hi Dan,<br><br>this is what I have for my parallel test:<br><br>>> cd verification_other/global_oce_cs32/tr_run.sens<br>>> ls adm*<br>adm_boxmean_theta.0000000000.data  adm_boxmean_theta.0000000000.meta  adm_horflux_vol.0000000000.data  adm_horflux_vol.0000000000.meta<br>>> cd ../run/<br>>> ls adm*<br>adm_etastep.0000000000.data  adm_etastep.0000000000.meta  adm_sststep.0000000000.data  adm_sststep.0000000000.meta<br><br>So I do have these files<br><br>> That's really strange. However, when I run "testreport" in serial mode, I don't get the above error! So I guess the "File does not exist" issue is specific to my parallel adjoint runs for some reason? Specifically:<br>> <br>Is this the parallel run?<br>> run: ../verification/testreport -of ../tools/build_options/linux_amd64_scihub -command ./mitgcmuv_ad -adm -ncad -t global_oce_cs32<br>Probably not, because it should have the options -MPI 24 (or 6 or whatever) and -command ?mpirun -n 24 ./mitgcmuv_ad"<br><br><br>The fact that your runs explode also point to something completely different. Maybe you can post the exact git clone/genmake/make/run sequence in a sort of script, that you run to reproduce the problem?<br><br>Martin<br>> on : Linux bslws05 3.10.0-1127.10.1.el7.x86_64 #1 SMP Wed Jun 3 14:28:03 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux<br>> <br>>   OPTFILE=/data/expose/MITgcm_development/MITgcm/tools/build_options/linux_amd64_scihub<br>> <br>> Adjoint generated by TAF<br>> <br>> default    10<br>> G D M    C  A  F<br>> e p a R  o  d  D<br>> n n k u  s  G  G<br>> 2 d e n  t  r  r<br>> <br>> Y Y Y N .. .. .. N/O   global_oce_cs32  (e=0, w=48)<br>> Y Y Y N .. .. .. N/O   global_oce_cs32.sens<br>> Start time:  Thu 24 Sep 10:47:11 BST 2020<br>> End time:    Thu 24 Sep 11:05:41 BST 2020<br>> <br>> The "global_oce_cs32" run fails with this error:<br>> <br>>  fail at i,j=  16  17 ; rStarFacC,H,eta =**********  5.158000E+03 -2.329336E+07<br>>  fail at i,j=  16  17 ; rStarFacS,H,eta =**********  5.091000E+03  2.292655E+05 -2.329336E+07<br>>  fail at i,j=  17  17 ; rStarFacC,H,eta =**********  5.158000E+03 -2.329336E+07<br>> WARNING: r*FacC < hFacInf at       2 pts : bi,bj,Thid,Iter=  12   1   1         7<br>> WARNING: r*FacS < hFacInf at       1 pts : bi,bj,Thid,Iter=  12   1   1         7<br>> STOP in CALC_R_STAR : too SMALL rStarFac[C,W,S] !<br>> <br>> Whereas the "global_oce_cs32.sens" run does finish, albeit with a note/warning:<br>> <br>> Note: The following floating-point exceptions are signalling: IEEE_UNDERFLOW_FLAG IEEE_DENORMAL<br>> STOP NORMAL END<br>> PROGRAM MAIN: Execution ended Normally<br>> <br>> In short: the "adm_horflux_vol" and "adm_boxmean_theta" files *do* exist in the testreport run. But they do not exist in my manual run. I don't yet have any idea what the difference might be. <br>> <br>> I'll try to see if anyone else can replicate my error. Any other thoughts at the moment? <br>> <br>> Thanks so much again for your help thus far. <br>> <br>> Best wishes,<br>> Dan<br>> <br>> On Wed, Sep 23, 2020 at 5:07 PM <mitgcm-support-request@mitgcm.org> wrote:<br>> Send MITgcm-support mailing list submissions to<br>>         mitgcm-support@mitgcm.org<br>> <br>> To subscribe or unsubscribe via the World Wide Web, visit<br>>         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> or, via email, send a message with subject or body 'help' to<br>>         mitgcm-support-request@mitgcm.org<br>> <br>> You can reach the person managing the list at<br>>         mitgcm-support-owner@mitgcm.org<br>> <br>> When replying, please edit your Subject line so it is more specific<br>> than "Re: Contents of MITgcm-support digest..."<br>> <br>> <br>> Today's Topics:<br>> <br>>    1. Re: verification_other case global_oce_cs32 fails at runtime<br>>       in adjoint mode (Martin Losch)<br>> <br>> <br>> ----------------------------------------------------------------------<br>> <br>> Message: 1<br>> Date: Wed, 23 Sep 2020 11:54:25 +0200<br>> From: Martin Losch <Martin.Losch@awi.de><br>> To: MITgcm Support <mitgcm-support@mitgcm.org><br>> Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>>         fails at runtime in adjoint mode<br>> Message-ID: <63C0735F-3275-4680-8322-3D96116B10A2@awi.de><br>> Content-Type: text/plain; charset="utf-8"<br>> <br>> Hi Dan,<br>> <br>> the ?N? means that the run did not complete sucessfully. genmake2, make depend, and make all have a Y, meaning sucessful completion.<br>> <br>> I reran the verification_other/global_oce_cs experiment on 24 CPUs on our Cray CS400 with ifort and TAF. and this is the result:<br>> <br>> > run: ../verification/testreport -MPI 24 -j 16 -of ../tools/build_options/linux_ia64_ifort_ollie -command 'srun ./mitgcmuv_ad' -adm -ncad -t global_oce_cs32<br>> > on : Linux prod-0115 3.10.0-862.14.4.el7.x86_64 #1 SMP Wed Sep 26 15:12:11 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux<br>> > <br>> >   OPTFILE=/work/ollie/mlosch/test_ollie/MITgcm_ifort/tools/build_options/linux_ia64_ifort_ollie<br>> > <br>> > Adjoint generated by TAF<br>> > <br>> > default    10<br>> > G D M    C  A  F<br>> > e p a R  o  d  D<br>> > n n k u  s  G  G<br>> > 2 d e n  t  r  r<br>> > <br>> > Y Y Y Y 16>16< 4 pass  global_oce_cs32  (e=0, w=48)<br>> > Y Y Y Y 16>16<16 pass  global_oce_cs32.sens<br>> > Start time:  Wed Sep 23 11:46:44 CEST 2020<br>> > End time:    Wed Sep 23 11:48:14 CEST 2020<br>> <br>> note that my ?mpirun? is actually ?srun?, because we use SLURM. So I have no issue here and I have no idea why this is different for you.<br>> Can I suggest that you start from scratch again: Get a new clone of MITgcm and verification_other and retry? <br>> <br>> Martin<br>> <br>> <br>> <br>> > On 23. Sep 2020, at 11:20, Dan Jones <dcjones.work@gmail.com> wrote:<br>> > <br>> > Hi Martin,<br>> > <br>> > Yes, apologies, I had commented out parts of the cost function for my testing purposes. If I just run the unmodified case, I get:<br>> > <br>> > global fc =  0.543536615356758E+08<br>> > <br>> > But this error still persists:<br>> > <br>> > MDS_READ_FIELD: filename: adm_boxmean_theta.0000000000.data<br>> > <br>> > If I create a blank adm file for it to read, then the computation continues but quickly runs into a different error. And in any case, adding a blank file before running shouldn't be necessary.<br>> > <br>> > I ran the "testreport" on a couple of adjoint cases in the "verification" directory. Both "tutorial_global_oce_optim" and "tutorial_dic_adjoffline" passed. But when I try to run this set of commands:<br>> > <br>> > cd verification_other<br>> >  ../verification/testreport -t global_oce_cs32/ -adm -j 4 - optfile=../tools/build_options/linux_ia64_cray_archer<br>> > <br>> > Then I get the following result:<br>> > <br>> > Y Y Y N .. .. .. N/O   global_oce_cs32/  (e=0, w=48)<br>> > Y Y Y N .. .. .. N/O   global_oce_cs32/.sens<br>> > <br>> > Can you remind me what the last "N" stands for again? What has failed? This line of output seems suspicious:<br>> > <br>> > ../verification/testreport: line 845: 32072 Killed                  ./mitgcmuv_ad > output_adm.txt<br>> > <br>> > That line in "testreport" has to do with DIVA, according to the comments. Unfortunately, "output_adm.txt" is blank. <br>> > <br>> > Are you able to get the adjoint part of the "input_ad.sens" experiment to work, after the cost function has been calculated? <br>> > <br>> > Best wishes,<br>> > Dan<br>> > <br>> > On Tue, Sep 22, 2020 at 5:17 PM <mitgcm-support-request@mitgcm.org> wrote:<br>> > Send MITgcm-support mailing list submissions to<br>> >         mitgcm-support@mitgcm.org<br>> > <br>> > To subscribe or unsubscribe via the World Wide Web, visit<br>> >         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > or, via email, send a message with subject or body 'help' to<br>> >         mitgcm-support-request@mitgcm.org<br>> > <br>> > You can reach the person managing the list at<br>> >         mitgcm-support-owner@mitgcm.org<br>> > <br>> > When replying, please edit your Subject line so it is more specific<br>> > than "Re: Contents of MITgcm-support digest..."<br>> > <br>> > <br>> > Today's Topics:<br>> > <br>> >    1. Re: verification_other case global_oce_cs32 fails at runtime<br>> >       in adjoint mode (Martin Losch)<br>> > <br>> > <br>> > ----------------------------------------------------------------------<br>> > <br>> > Message: 1<br>> > Date: Tue, 22 Sep 2020 17:40:44 +0200<br>> > From: Martin Losch <Martin.Losch@awi.de><br>> > To: MITgcm Support <mitgcm-support@mitgcm.org><br>> > Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>> >         fails at runtime in adjoint mode<br>> > Message-ID: <5B5A14D1-A1DF-435B-B468-E0807AC4C437@awi.de><br>> > Content-Type: text/plain; charset="utf-8"<br>> > <br>> > Hi Dan,<br>> > <br>> > I get very different output and results (e.g. global_fc= 0.543870?D+08).<br>> > <br>> > Can you try to run testreport on this?<br>> > <br>> > cd verification_other<br>> > ../verification/testreport -t global_oce_cs32 -adm $otheroptions<br>> > where $otheroptions, are, e.g. -j 4, -devel, etc.. I you want to use your MPI job you?ll need '-MPI 24' and maybe "-command ?mpirun -n 24 ./mitgcmuv?" to run on 24 cpus. check the help section of testreport for details.<br>> > <br>> > The output should be ?fairly? independent of the number of CPUs. I use the default 24 tiles (but run sequentially on one cpu)<br>> > <br>> > Martin<br>> > <br>> > <br>> > > On 22. Sep 2020, at 16:52, Dan Jones <dcjones.work@gmail.com> wrote:<br>> > > <br>> > > Hi Martin,<br>> > > <br>> > > Thanks for your quick reply! I can't get the serial case to run on ARCHER, unfortunately. I think for now I'm stuck testing in parallel. When I run "grep m_boxmean_theta *.f", I get exactly the same results as you. I'm also using MITgcm/verification_other from GitHub. <br>> > > <br>> > > Here is a bit more of the output which will hopefully help. This is from a case where I tried to use the "m_horflux_vol" case instead of the "m_boxmean_theta" case. I'm using data.ecco from the input_ad.sens directory.  <br>> > > <br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_kapgm.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_kapredi.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_diffkr.0000000000.data<br>> > > (PID.TID 0000.0001)  --> f_gencost =-0.348173207824978E+08 2<br>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 1<br>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 2<br>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 3<br>> > > (PID.TID 0000.0001)  --> fc               =-0.348173207824978E+08<br>> > > (PID.TID 0000.0001)   early fc =  0.000000000000000E+00<br>> > > (PID.TID 0000.0001)   local fc =  0.000000000000000E+00<br>> > > (PID.TID 0000.0001)  global fc = -0.348173207824978E+08<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_diffkr.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: adxx_diffkr.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50   1  50 file=adxx_diffkr.0000000000<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_kapredi.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: adxx_kapredi.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50   1  50 file=adxx_kapredi.0000000000<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: xx_kapgm.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file: adxx_kapgm.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50   1  50 file=adxx_kapgm.0000000000<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename: adm_horflux_vol.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>> > > <br>> > > So it's after the cost function has been calculated, as the model is getting ready to perform the adjoint steps. It's able to read/write for the existing controls (kapgm, kapredi, diffkr). But it's apparently not creating an "ad" file for the general objective function term "horflux". That's why I was wondering if I should manually create a blank file first, as an ad-hoc fix. Any thoughts? <br>> > > <br>> > > Best wishes,<br>> > > Dan<br>> > > <br>> > > On Mon, Sep 21, 2020 at 8:37 PM <mitgcm-support-request@mitgcm.org> wrote:<br>> > > Send MITgcm-support mailing list submissions to<br>> > >         mitgcm-support@mitgcm.org<br>> > > <br>> > > To subscribe or unsubscribe via the World Wide Web, visit<br>> > >         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > > or, via email, send a message with subject or body 'help' to<br>> > >         mitgcm-support-request@mitgcm.org<br>> > > <br>> > > You can reach the person managing the list at<br>> > >         mitgcm-support-owner@mitgcm.org<br>> > > <br>> > > When replying, please edit your Subject line so it is more specific<br>> > > than "Re: Contents of MITgcm-support digest..."<br>> > > <br>> > > <br>> > > Today's Topics:<br>> > > <br>> > >    1. verification_other case global_oce_cs32 fails at  runtime in<br>> > >       adjoint mode (Dan Jones)<br>> > >    2. Re: verification_other case global_oce_cs32 fails at runtime<br>> > >       in adjoint mode (Martin Losch)<br>> > > <br>> > > <br>> > > ----------------------------------------------------------------------<br>> > > <br>> > > Message: 1<br>> > > Date: Mon, 21 Sep 2020 10:00:47 +0100<br>> > > From: Dan Jones <dcjones.work@gmail.com><br>> > > To: mitgcm-support@mitgcm.org<br>> > > Subject: [MITgcm-support] verification_other case global_oce_cs32<br>> > >         fails at        runtime in adjoint mode<br>> > > Message-ID:<br>> > >         <CAPj3iHRxhUOCDT5m7H8uj8cg9dc=_oYVssQnvYhEA+_ALjeR6w@mail.gmail.com><br>> > > Content-Type: text/plain; charset="utf-8"<br>> > > <br>> > > Hello.<br>> > > <br>> > > Apologies for the cross-posting - I've posted this as a GitHub issue, but I<br>> > > thought I should put it here as well.<br>> > > <br>> > > I am trying to build and test the global_oce_cs32 verification_other<br>> > > exercise using the code in the input_ad.sens directory. The forward case<br>> > > compiles and runs without error. The adjoint case (built using TAF)<br>> > > compiles without error, but at runtime I receive the following error in<br>> > > STDOUT:<br>> > > <br>> > > (PID.TID 0000.0001)  MDS_READVEC_LOC: open file: south30_maskT<br>> > > (PID.TID 0000.0001)  MDS_RD_REC_RL: iRec,Dim =         9          1<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename: adm_boxmean_theta.0000000000.data<br>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>> > > <br>> > > and this error in STDERR:<br>> > > <br>> > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: filename:<br>> > > adm_boxmean_theta.0000000000.data<br>> > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: File does not exist<br>> > > <br>> > > My MITgcm source code is up-to-date with the master. I am running on<br>> > > archer.ac.uk <https://www.archer.ac.uk/> in parallel mode using 24 cores.<br>> > > <br>> > > What should I try here? I haven't run into this error before using other<br>> > > adjoint setups, at least not that I can recall. Should I just create an<br>> > > empty "dummy" file to start with? Thanks in advance for any help/guidance.<br>> > > <br>> > > Best regards,<br>> > > Dan<br>> > > <br>> > > <br>> > > --------------------------------------------------------------<br>> > > Dr Dan Jones / British Antarctic Survey<br>> > > danjonesocean.com <http://www.danjonesocean.com> / @DanJonesOcean<br>> > > --------------------------------------------------------------<br>> > > -------------- next part --------------<br>> > > An HTML attachment was scrubbed...<br>> > > URL: <http://mailman.mitgcm.org/pipermail/mitgcm-support/attachments/20200921/ddb38a00/attachment-0001.html><br>> > > <br>> > > ------------------------------<br>> > > <br>> > > Message: 2<br>> > > Date: Mon, 21 Sep 2020 14:56:23 +0200<br>> > > From: Martin Losch <Martin.Losch@awi.de><br>> > > To: MITgcm Support <mitgcm-support@mitgcm.org><br>> > > Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>> > >         fails at runtime in adjoint mode<br>> > > Message-ID: <FF2DD1AB-462E-4089-90CA-89B9552DF7D8@awi.de><br>> > > Content-Type: text/plain; charset="utf-8"<br>> > > <br>> > > Hi Dan,<br>> > > <br>> > > I tried this on my linux box without MPI and I cannot reproduce your problem (I used MITgcm/verification_other.git and not the CVS MITgcm_contrib/verification_other, which appears to be out of date). I grepped the code for ?m_boxmean_theta? and only found this:<br>> > > <br>> > > (base) bkli04l006::build (master)> grep m_boxmean_theta *.f<br>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>> > > ad_input_code.f:            if (gencost_barfile(kgen)(1:15).EQ.'m_boxmean_theta') then<br>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>> > > ecco_check.f:     &          (gencost_barfile(k)(1:15).EQ.'m_boxmean_theta').OR.<br>> > > ecco_phys.f:            if (gencost_barfile(kgen)(1:15).EQ.'m_boxmean_theta') then<br>> > > <br>> > > (and I made sure that there?s this is really just m_boxmean_theta). Where in your code (which routine) does the model try to read adm_boxmean_theta?<br>> > > <br>> > > Martin<br>> > > > On 21. Sep 2020, at 11:00, Dan Jones <dcjones.work@gmail.com> wrote:<br>> > > > <br>> > > > Hello. <br>> > > > <br>> > > > Apologies for the cross-posting - I've posted this as a GitHub issue, but I thought I should put it here as well.<br>> > > > <br>> > > > I am trying to build and test the global_oce_cs32 verification_other exercise using the code in the input_ad.sens directory. The forward case compiles and runs without error. The adjoint case (built using TAF) compiles without error, but at runtime I receive the following error in STDOUT:<br>> > > > <br>> > > > (PID.TID 0000.0001)  MDS_READVEC_LOC: open file: south30_maskT <br>> > > > (PID.TID 0000.0001)  MDS_RD_REC_RL: iRec,Dim =         9          1<br>> > > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename: adm_boxmean_theta.0000000000.data<br>> > > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>> > > > <br>> > > > and this error in STDERR:<br>> > > > <br>> > > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: filename: adm_boxmean_theta.0000000000.data<br>> > > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: File does not exist<br>> > > > <br>> > > > My MITgcm source code is up-to-date with the master. I am running on archer.ac.uk in parallel mode using 24 cores.<br>> > > > <br>> > > > What should I try here? I haven't run into this error before using other adjoint setups, at least not that I can recall. Should I just create an empty "dummy" file to start with? Thanks in advance for any help/guidance.<br>> > > > <br>> > > > Best regards,<br>> > > > Dan<br>> > > > <br>> > > > --------------------------------------------------------------<br>> > > > Dr Dan Jones / British Antarctic Survey<br>> > > > danjonesocean.com / @DanJonesOcean<br>> > > > --------------------------------------------------------------<br>> > > > _______________________________________________<br>> > > > MITgcm-support mailing list<br>> > > > MITgcm-support@mitgcm.org<br>> > > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > > <br>> > > <br>> > > <br>> > > ------------------------------<br>> > > <br>> > > Subject: Digest Footer<br>> > > <br>> > > _______________________________________________<br>> > > MITgcm-support mailing list<br>> > > MITgcm-support@mitgcm.org<br>> > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > > <br>> > > <br>> > > ------------------------------<br>> > > <br>> > > End of MITgcm-support Digest, Vol 207, Issue 10<br>> > > ***********************************************<br>> > > _______________________________________________<br>> > > MITgcm-support mailing list<br>> > > MITgcm-support@mitgcm.org<br>> > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > <br>> > <br>> > <br>> > ------------------------------<br>> > <br>> > Subject: Digest Footer<br>> > <br>> > _______________________________________________<br>> > MITgcm-support mailing list<br>> > MITgcm-support@mitgcm.org<br>> > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> > <br>> > <br>> > ------------------------------<br>> > <br>> > End of MITgcm-support Digest, Vol 207, Issue 12<br>> > ***********************************************<br>> > _______________________________________________<br>> > MITgcm-support mailing list<br>> > MITgcm-support@mitgcm.org<br>> > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> <br>> <br>> <br>> ------------------------------<br>> <br>> Subject: Digest Footer<br>> <br>> _______________________________________________<br>> MITgcm-support mailing list<br>> MITgcm-support@mitgcm.org<br>> http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>> <br>> <br>> ------------------------------<br>> <br>> End of MITgcm-support Digest, Vol 207, Issue 15<br>> ***********************************************<br>> _______________________________________________<br>> MITgcm-support mailing list<br>> MITgcm-support@mitgcm.org<br>> http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br><br><br><br>------------------------------<br><br>Message: 2<br>Date: Thu, 24 Sep 2020 13:34:55 +0100<br>From: Dan Jones <dcjones.work@gmail.com><br>To: mitgcm-support@mitgcm.org<br>Subject: [MITgcm-support] verification_other case global_oce_cs32<br>       fails at        runtime in adjoint mode<br>Message-ID:<br>  <CAPj3iHQrpaUqfqz0E1-ywVgR0qQgUnYJ0mD+aDtmbUfHa3hr+g@mail.gmail.com><br>Content-Type: text/plain; charset="utf-8"<br><br>Hi Martin,<br><br>Oh, I think I found the issue. I wasn't using the right procedure to<br>prepare the run. As a result, some of the packages needed for the adjoint<br>run were turned off (e.g. autodiff). I've gotten past that error now -<br>thanks for helping me talk it through.<br><br>I'll aim to make the documentation for global_oce_cs32 a little more<br>detailed for that case.<br><br>Best wishes,<br>Dan<br><br><br>On Thu, Sep 24, 2020 at 11:56 AM Dan Jones <dcjones.work@gmail.com> wrote:<br><br>> Hi Martin,<br>><br>> I've switched to BAS local HPC. I started from scratch and cloned MITgcm<br>> and verification_other. And I tried compiling and running the serial case.<br>> Unfortunately, I am still getting the same error message:<br>><br>> (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>> adxx_diffkr.0000000000.data<br>> (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50<br>> 1  50 file=adxx_diffkr.0000000000<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>> xx_kapredi.0000000000.data<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>> adxx_kapredi.0000000000.data<br>> (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50<br>> 1  50 file=adxx_kapredi.0000000000<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>> xx_kapgm.0000000000.data<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>> adxx_kapgm.0000000000.data<br>> (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1  50<br>> 1  50 file=adxx_kapgm.0000000000<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: filename:<br>> adm_horflux_vol.0000000000.data<br>> (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>><br>> That's really strange. However, when I run "testreport" in serial mode, I<br>> don't get the above error! So I guess the "File does not exist" issue is<br>> specific to my parallel adjoint runs for some reason? Specifically:<br>><br>> run: ../verification/testreport -of<br>> ../tools/build_options/linux_amd64_scihub -command ./mitgcmuv_ad -adm -ncad<br>> -t global_oce_cs32<br>> on : Linux bslws05 3.10.0-1127.10.1.el7.x86_64 #1 SMP Wed Jun 3 14:28:03<br>> UTC 2020 x86_64 x86_64 x86_64 GNU/Linux<br>><br>><br>> OPTFILE=/data/expose/MITgcm_development/MITgcm/tools/build_options/linux_amd64_scihub<br>><br>> Adjoint generated by TAF<br>><br>> default    10<br>> G D M    C  A  F<br>> e p a R  o  d  D<br>> n n k u  s  G  G<br>> 2 d e n  t  r  r<br>><br>> Y Y Y N .. .. .. N/O   global_oce_cs32  (e=0, w=48)<br>> Y Y Y N .. .. .. N/O   global_oce_cs32.sens<br>> Start time:  Thu 24 Sep 10:47:11 BST 2020<br>> End time:    Thu 24 Sep 11:05:41 BST 2020<br>><br>> The "global_oce_cs32" run fails with this error:<br>><br>>  fail at i,j=  16  17 ; rStarFacC,H,eta =**********  5.158000E+03<br>> -2.329336E+07<br>>  fail at i,j=  16  17 ; rStarFacS,H,eta =**********  5.091000E+03<br>>  2.292655E+05 -2.329336E+07<br>>  fail at i,j=  17  17 ; rStarFacC,H,eta =**********  5.158000E+03<br>> -2.329336E+07<br>> WARNING: r*FacC < hFacInf at       2 pts : bi,bj,Thid,Iter=  12   1   1<br>>       7<br>> WARNING: r*FacS < hFacInf at       1 pts : bi,bj,Thid,Iter=  12   1   1<br>>       7<br>> STOP in CALC_R_STAR : too SMALL rStarFac[C,W,S] !<br>><br>> Whereas the "global_oce_cs32.sens" run does finish, albeit with a<br>> note/warning:<br>><br>> Note: The following floating-point exceptions are signalling:<br>> IEEE_UNDERFLOW_FLAG IEEE_DENORMAL<br>> STOP NORMAL END<br>> PROGRAM MAIN: Execution ended Normally<br>><br>> In short: the "adm_horflux_vol" and "adm_boxmean_theta" files *do* exist<br>> in the testreport run. But they do not exist in my manual run. I don't yet<br>> have any idea what the difference might be.<br>><br>> I'll try to see if anyone else can replicate my error. Any other thoughts<br>> at the moment?<br>><br>> Thanks so much again for your help thus far.<br>><br>><br>> Best wishes,<br>> Dan<br>><br>> On Wed, Sep 23, 2020 at 5:07 PM <mitgcm-support-request@mitgcm.org> wrote:<br>><br>>> Send MITgcm-support mailing list submissions to<br>>>         mitgcm-support@mitgcm.org<br>>><br>>> To subscribe or unsubscribe via the World Wide Web, visit<br>>>         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> or, via email, send a message with subject or body 'help' to<br>>>         mitgcm-support-request@mitgcm.org<br>>><br>>> You can reach the person managing the list at<br>>>         mitgcm-support-owner@mitgcm.org<br>>><br>>> When replying, please edit your Subject line so it is more specific<br>>> than "Re: Contents of MITgcm-support digest..."<br>>><br>>><br>>> Today's Topics:<br>>><br>>>    1. Re: verification_other case global_oce_cs32 fails at runtime<br>>>       in adjoint mode (Martin Losch)<br>>><br>>><br>>> ----------------------------------------------------------------------<br>>><br>>> Message: 1<br>>> Date: Wed, 23 Sep 2020 11:54:25 +0200<br>>> From: Martin Losch <Martin.Losch@awi.de><br>>> To: MITgcm Support <mitgcm-support@mitgcm.org><br>>> Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>>>         fails at runtime in adjoint mode<br>>> Message-ID: <63C0735F-3275-4680-8322-3D96116B10A2@awi.de><br>>> Content-Type: text/plain; charset="utf-8"<br>>><br>>> Hi Dan,<br>>><br>>> the ?N? means that the run did not complete sucessfully. genmake2, make<br>>> depend, and make all have a Y, meaning sucessful completion.<br>>><br>>> I reran the verification_other/global_oce_cs experiment on 24 CPUs on our<br>>> Cray CS400 with ifort and TAF. and this is the result:<br>>><br>>> > run: ../verification/testreport -MPI 24 -j 16 -of<br>>> ../tools/build_options/linux_ia64_ifort_ollie -command 'srun ./mitgcmuv_ad'<br>>> -adm -ncad -t global_oce_cs32<br>>> > on : Linux prod-0115 3.10.0-862.14.4.el7.x86_64 #1 SMP Wed Sep 26<br>>> 15:12:11 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux<br>>> ><br>>> ><br>>>  OPTFILE=/work/ollie/mlosch/test_ollie/MITgcm_ifort/tools/build_options/linux_ia64_ifort_ollie<br>>> ><br>>> > Adjoint generated by TAF<br>>> ><br>>> > default    10<br>>> > G D M    C  A  F<br>>> > e p a R  o  d  D<br>>> > n n k u  s  G  G<br>>> > 2 d e n  t  r  r<br>>> ><br>>> > Y Y Y Y 16>16< 4 pass  global_oce_cs32  (e=0, w=48)<br>>> > Y Y Y Y 16>16<16 pass  global_oce_cs32.sens<br>>> > Start time:  Wed Sep 23 11:46:44 CEST 2020<br>>> > End time:    Wed Sep 23 11:48:14 CEST 2020<br>>><br>>> note that my ?mpirun? is actually ?srun?, because we use SLURM. So I have<br>>> no issue here and I have no idea why this is different for you.<br>>> Can I suggest that you start from scratch again: Get a new clone of<br>>> MITgcm and verification_other and retry?<br>>><br>>> Martin<br>>><br>>><br>>><br>>> > On 23. Sep 2020, at 11:20, Dan Jones <dcjones.work@gmail.com> wrote:<br>>> ><br>>> > Hi Martin,<br>>> ><br>>> > Yes, apologies, I had commented out parts of the cost function for my<br>>> testing purposes. If I just run the unmodified case, I get:<br>>> ><br>>> > global fc =  0.543536615356758E+08<br>>> ><br>>> > But this error still persists:<br>>> ><br>>> > MDS_READ_FIELD: filename: adm_boxmean_theta.0000000000.data<br>>> ><br>>> > If I create a blank adm file for it to read, then the computation<br>>> continues but quickly runs into a different error. And in any case, adding<br>>> a blank file before running shouldn't be necessary.<br>>> ><br>>> > I ran the "testreport" on a couple of adjoint cases in the<br>>> "verification" directory. Both "tutorial_global_oce_optim" and<br>>> "tutorial_dic_adjoffline" passed. But when I try to run this set of<br>>> commands:<br>>> ><br>>> > cd verification_other<br>>> >  ../verification/testreport -t global_oce_cs32/ -adm -j 4 -<br>>> optfile=../tools/build_options/linux_ia64_cray_archer<br>>> ><br>>> > Then I get the following result:<br>>> ><br>>> > Y Y Y N .. .. .. N/O   global_oce_cs32/  (e=0, w=48)<br>>> > Y Y Y N .. .. .. N/O   global_oce_cs32/.sens<br>>> ><br>>> > Can you remind me what the last "N" stands for again? What has failed?<br>>> This line of output seems suspicious:<br>>> ><br>>> > ../verification/testreport: line 845: 32072 Killed<br>>> ./mitgcmuv_ad > output_adm.txt<br>>> ><br>>> > That line in "testreport" has to do with DIVA, according to the<br>>> comments. Unfortunately, "output_adm.txt" is blank.<br>>> ><br>>> > Are you able to get the adjoint part of the "input_ad.sens" experiment<br>>> to work, after the cost function has been calculated?<br>>> ><br>>> > Best wishes,<br>>> > Dan<br>>> ><br>>> > On Tue, Sep 22, 2020 at 5:17 PM <mitgcm-support-request@mitgcm.org><br>>> wrote:<br>>> > Send MITgcm-support mailing list submissions to<br>>> >         mitgcm-support@mitgcm.org<br>>> ><br>>> > To subscribe or unsubscribe via the World Wide Web, visit<br>>> >         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> > or, via email, send a message with subject or body 'help' to<br>>> >         mitgcm-support-request@mitgcm.org<br>>> ><br>>> > You can reach the person managing the list at<br>>> >         mitgcm-support-owner@mitgcm.org<br>>> ><br>>> > When replying, please edit your Subject line so it is more specific<br>>> > than "Re: Contents of MITgcm-support digest..."<br>>> ><br>>> ><br>>> > Today's Topics:<br>>> ><br>>> >    1. Re: verification_other case global_oce_cs32 fails at runtime<br>>> >       in adjoint mode (Martin Losch)<br>>> ><br>>> ><br>>> > ----------------------------------------------------------------------<br>>> ><br>>> > Message: 1<br>>> > Date: Tue, 22 Sep 2020 17:40:44 +0200<br>>> > From: Martin Losch <Martin.Losch@awi.de><br>>> > To: MITgcm Support <mitgcm-support@mitgcm.org><br>>> > Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>>> >         fails at runtime in adjoint mode<br>>> > Message-ID: <5B5A14D1-A1DF-435B-B468-E0807AC4C437@awi.de><br>>> > Content-Type: text/plain; charset="utf-8"<br>>> ><br>>> > Hi Dan,<br>>> ><br>>> > I get very different output and results (e.g. global_fc= 0.543870?D+08).<br>>> ><br>>> > Can you try to run testreport on this?<br>>> ><br>>> > cd verification_other<br>>> > ../verification/testreport -t global_oce_cs32 -adm $otheroptions<br>>> > where $otheroptions, are, e.g. -j 4, -devel, etc.. I you want to use<br>>> your MPI job you?ll need '-MPI 24' and maybe "-command ?mpirun -n 24<br>>> ./mitgcmuv?" to run on 24 cpus. check the help section of testreport for<br>>> details.<br>>> ><br>>> > The output should be ?fairly? independent of the number of CPUs. I use<br>>> the default 24 tiles (but run sequentially on one cpu)<br>>> ><br>>> > Martin<br>>> ><br>>> ><br>>> > > On 22. Sep 2020, at 16:52, Dan Jones <dcjones.work@gmail.com> wrote:<br>>> > ><br>>> > > Hi Martin,<br>>> > ><br>>> > > Thanks for your quick reply! I can't get the serial case to run on<br>>> ARCHER, unfortunately. I think for now I'm stuck testing in parallel. When<br>>> I run "grep m_boxmean_theta *.f", I get exactly the same results as you.<br>>> I'm also using MITgcm/verification_other from GitHub.<br>>> > ><br>>> > > Here is a bit more of the output which will hopefully help. This is<br>>> from a case where I tried to use the "m_horflux_vol" case instead of the<br>>> "m_boxmean_theta" case. I'm using data.ecco from the input_ad.sens<br>>> directory.<br>>> > ><br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_kapgm.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_kapredi.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_diffkr.0000000000.data<br>>> > > (PID.TID 0000.0001)  --> f_gencost =-0.348173207824978E+08 2<br>>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 1<br>>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 2<br>>> > > (PID.TID 0000.0001)  --> f_genarr3d = 0.000000000000000E+00 3<br>>> > > (PID.TID 0000.0001)  --> fc               =-0.348173207824978E+08<br>>> > > (PID.TID 0000.0001)   early fc =  0.000000000000000E+00<br>>> > > (PID.TID 0000.0001)   local fc =  0.000000000000000E+00<br>>> > > (PID.TID 0000.0001)  global fc = -0.348173207824978E+08<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_diffkr.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> adxx_diffkr.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1<br>>> 50   1  50 file=adxx_diffkr.0000000000<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_kapredi.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> adxx_kapredi.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1<br>>> 50   1  50 file=adxx_kapredi.0000000000<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> xx_kapgm.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: opening global file:<br>>> adxx_kapgm.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_WRITE_FIELD: it,rec,kS,kL,kH=       0     1<br>>> 50   1  50 file=adxx_kapgm.0000000000<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename:<br>>> adm_horflux_vol.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>>> > ><br>>> > > So it's after the cost function has been calculated, as the model is<br>>> getting ready to perform the adjoint steps. It's able to read/write for the<br>>> existing controls (kapgm, kapredi, diffkr). But it's apparently not<br>>> creating an "ad" file for the general objective function term "horflux".<br>>> That's why I was wondering if I should manually create a blank file first,<br>>> as an ad-hoc fix. Any thoughts?<br>>> > ><br>>> > > Best wishes,<br>>> > > Dan<br>>> > ><br>>> > > On Mon, Sep 21, 2020 at 8:37 PM <mitgcm-support-request@mitgcm.org><br>>> wrote:<br>>> > > Send MITgcm-support mailing list submissions to<br>>> > >         mitgcm-support@mitgcm.org<br>>> > ><br>>> > > To subscribe or unsubscribe via the World Wide Web, visit<br>>> > >         http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> > > or, via email, send a message with subject or body 'help' to<br>>> > >         mitgcm-support-request@mitgcm.org<br>>> > ><br>>> > > You can reach the person managing the list at<br>>> > >         mitgcm-support-owner@mitgcm.org<br>>> > ><br>>> > > When replying, please edit your Subject line so it is more specific<br>>> > > than "Re: Contents of MITgcm-support digest..."<br>>> > ><br>>> > ><br>>> > > Today's Topics:<br>>> > ><br>>> > >    1. verification_other case global_oce_cs32 fails at  runtime in<br>>> > >       adjoint mode (Dan Jones)<br>>> > >    2. Re: verification_other case global_oce_cs32 fails at runtime<br>>> > >       in adjoint mode (Martin Losch)<br>>> > ><br>>> > ><br>>> > > ----------------------------------------------------------------------<br>>> > ><br>>> > > Message: 1<br>>> > > Date: Mon, 21 Sep 2020 10:00:47 +0100<br>>> > > From: Dan Jones <dcjones.work@gmail.com><br>>> > > To: mitgcm-support@mitgcm.org<br>>> > > Subject: [MITgcm-support] verification_other case global_oce_cs32<br>>> > >         fails at        runtime in adjoint mode<br>>> > > Message-ID:<br>>> > >         <CAPj3iHRxhUOCDT5m7H8uj8cg9dc=_<br>>> oYVssQnvYhEA+_ALjeR6w@mail.gmail.com><br>>> > > Content-Type: text/plain; charset="utf-8"<br>>> > ><br>>> > > Hello.<br>>> > ><br>>> > > Apologies for the cross-posting - I've posted this as a GitHub issue,<br>>> but I<br>>> > > thought I should put it here as well.<br>>> > ><br>>> > > I am trying to build and test the global_oce_cs32 verification_other<br>>> > > exercise using the code in the input_ad.sens directory. The forward<br>>> case<br>>> > > compiles and runs without error. The adjoint case (built using TAF)<br>>> > > compiles without error, but at runtime I receive the following error<br>>> in<br>>> > > STDOUT:<br>>> > ><br>>> > > (PID.TID 0000.0001)  MDS_READVEC_LOC: open file: south30_maskT<br>>> > > (PID.TID 0000.0001)  MDS_RD_REC_RL: iRec,Dim =         9          1<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename:<br>>> adm_boxmean_theta.0000000000.data<br>>> > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>>> > ><br>>> > > and this error in STDERR:<br>>> > ><br>>> > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: filename:<br>>> > > adm_boxmean_theta.0000000000.data<br>>> > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: File does not exist<br>>> > ><br>>> > > My MITgcm source code is up-to-date with the master. I am running on<br>>> > > archer.ac.uk <https://www.archer.ac.uk/> in parallel mode using 24<br>>> cores.<br>>> > ><br>>> > > What should I try here? I haven't run into this error before using<br>>> other<br>>> > > adjoint setups, at least not that I can recall. Should I just create<br>>> an<br>>> > > empty "dummy" file to start with? Thanks in advance for any<br>>> help/guidance.<br>>> > ><br>>> > > Best regards,<br>>> > > Dan<br>>> > ><br>>> > ><br>>> > > --------------------------------------------------------------<br>>> > > Dr Dan Jones / British Antarctic Survey<br>>> > > danjonesocean.com <http://www.danjonesocean.com> / @DanJonesOcean<br>>> > > --------------------------------------------------------------<br>>> > > -------------- next part --------------<br>>> > > An HTML attachment was scrubbed...<br>>> > > URL: <<br>>> http://mailman.mitgcm.org/pipermail/mitgcm-support/attachments/20200921/ddb38a00/attachment-0001.html<br>>> ><br>>> > ><br>>> > > ------------------------------<br>>> > ><br>>> > > Message: 2<br>>> > > Date: Mon, 21 Sep 2020 14:56:23 +0200<br>>> > > From: Martin Losch <Martin.Losch@awi.de><br>>> > > To: MITgcm Support <mitgcm-support@mitgcm.org><br>>> > > Subject: Re: [MITgcm-support] verification_other case global_oce_cs32<br>>> > >         fails at runtime in adjoint mode<br>>> > > Message-ID: <FF2DD1AB-462E-4089-90CA-89B9552DF7D8@awi.de><br>>> > > Content-Type: text/plain; charset="utf-8"<br>>> > ><br>>> > > Hi Dan,<br>>> > ><br>>> > > I tried this on my linux box without MPI and I cannot reproduce your<br>>> problem (I used MITgcm/verification_other.git and not the CVS<br>>> MITgcm_contrib/verification_other, which appears to be out of date). I<br>>> grepped the code for ?m_boxmean_theta? and only found this:<br>>> > ><br>>> > > (base) bkli04l006::build (master)> grep m_boxmean_theta *.f<br>>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>>> > > ad_input_code_ad.f:     $'m_boxmean_theta') then<br>>> > > ad_input_code.f:            if<br>>> (gencost_barfile(kgen)(1:15).EQ.'m_boxmean_theta') then<br>>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>>> > > ad_taf_output.f:     $'m_boxmean_theta') then<br>>> > > ecco_check.f:     &<br>>> (gencost_barfile(k)(1:15).EQ.'m_boxmean_theta').OR.<br>>> > > ecco_phys.f:            if<br>>> (gencost_barfile(kgen)(1:15).EQ.'m_boxmean_theta') then<br>>> > ><br>>> > > (and I made sure that there?s this is really just m_boxmean_theta).<br>>> Where in your code (which routine) does the model try to read<br>>> adm_boxmean_theta?<br>>> > ><br>>> > > Martin<br>>> > > > On 21. Sep 2020, at 11:00, Dan Jones <dcjones.work@gmail.com><br>>> wrote:<br>>> > > ><br>>> > > > Hello.<br>>> > > ><br>>> > > > Apologies for the cross-posting - I've posted this as a GitHub<br>>> issue, but I thought I should put it here as well.<br>>> > > ><br>>> > > > I am trying to build and test the global_oce_cs32<br>>> verification_other exercise using the code in the input_ad.sens directory.<br>>> The forward case compiles and runs without error. The adjoint case (built<br>>> using TAF) compiles without error, but at runtime I receive the following<br>>> error in STDOUT:<br>>> > > ><br>>> > > > (PID.TID 0000.0001)  MDS_READVEC_LOC: open file: south30_maskT<br>>> > > > (PID.TID 0000.0001)  MDS_RD_REC_RL: iRec,Dim =         9          1<br>>> > > > (PID.TID 0000.0001)  MDS_READ_FIELD: filename:<br>>> adm_boxmean_theta.0000000000.data<br>>> > > > (PID.TID 0000.0001)  MDS_READ_FIELD: File does not exist<br>>> > > ><br>>> > > > and this error in STDERR:<br>>> > > ><br>>> > > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: filename:<br>>> adm_boxmean_theta.0000000000.data<br>>> > > > (PID.TID 0000.0001) *** ERROR ***  MDS_READ_FIELD: File does not<br>>> exist<br>>> > > ><br>>> > > > My MITgcm source code is up-to-date with the master. I am running<br>>> on archer.ac.uk in parallel mode using 24 cores.<br>>> > > ><br>>> > > > What should I try here? I haven't run into this error before using<br>>> other adjoint setups, at least not that I can recall. Should I just create<br>>> an empty "dummy" file to start with? Thanks in advance for any<br>>> help/guidance.<br>>> > > ><br>>> > > > Best regards,<br>>> > > > Dan<br>>> > > ><br>>> > > > --------------------------------------------------------------<br>>> > > > Dr Dan Jones / British Antarctic Survey<br>>> > > > danjonesocean.com / @DanJonesOcean<br>>> > > > --------------------------------------------------------------<br>>> > > > _______________________________________________<br>>> > > > MITgcm-support mailing list<br>>> > > > MITgcm-support@mitgcm.org<br>>> > > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> > ><br>>> > ><br>>> > ><br>>> > > ------------------------------<br>>> > ><br>>> > > Subject: Digest Footer<br>>> > ><br>>> > > _______________________________________________<br>>> > > MITgcm-support mailing list<br>>> > > MITgcm-support@mitgcm.org<br>>> > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> > ><br>>> > ><br>>> > > ------------------------------<br>>> > ><br>>> > > End of MITgcm-support Digest, Vol 207, Issue 10<br>>> > > ***********************************************<br>>> > > _______________________________________________<br>>> > > MITgcm-support mailing list<br>>> > > MITgcm-support@mitgcm.org<br>>> > > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> ><br>>> ><br>>> ><br>>> > ------------------------------<br>>> ><br>>> > Subject: Digest Footer<br>>> ><br>>> > _______________________________________________<br>>> > MITgcm-support mailing list<br>>> > MITgcm-support@mitgcm.org<br>>> > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>> ><br>>> ><br>>> > ------------------------------<br>>> ><br>>> > End of MITgcm-support Digest, Vol 207, Issue 12<br>>> > ***********************************************<br>>> > _______________________________________________<br>>> > MITgcm-support mailing list<br>>> > MITgcm-support@mitgcm.org<br>>> > http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>><br>>><br>>><br>>> ------------------------------<br>>><br>>> Subject: Digest Footer<br>>><br>>> _______________________________________________<br>>> MITgcm-support mailing list<br>>> MITgcm-support@mitgcm.org<br>>> http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br>>><br>>><br>>> ------------------------------<br>>><br>>> End of MITgcm-support Digest, Vol 207, Issue 15<br>>> ***********************************************<br>>><br>><br>-------------- next part --------------<br>An HTML attachment was scrubbed...<br>URL: <http://mailman.mitgcm.org/pipermail/mitgcm-support/attachments/20200924/f07b936f/attachment.html><br><br>------------------------------<br><br>Subject: Digest Footer<br><br>_______________________________________________<br>MITgcm-support mailing list<br>MITgcm-support@mitgcm.org<br>http://mailman.mitgcm.org/mailman/listinfo/mitgcm-support<br><br><br>------------------------------<br><br>End of MITgcm-support Digest, Vol 207, Issue 19<br>***********************************************<br><br></blockquote></div>