<div dir="ltr">


        
        <span></span>
        
        

<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">
Dear MITgcm community,</p>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">I am a
PhD student at the National Institute of Oceanography and Applied
Geophysics – OGS (Italy).<br>
I am running a batch of simulations
for the northern Adriatic Sea (a semi-enclosed basin in the
Mediterranean) and I am testing some possible domain (made of 494
cells in the x-direction, 300 in y-, 1/128° resolution)
decompositions getting, unexpectedly, slightly different results. I
am using the HPC infrastructure G100
(<a href="https://www.hpc.cineca.it/systems/hardware/galileo100/" target="_blank">https://www.hpc.cineca.it/systems/hardware/galileo100/</a>).<br>
I did
some tests, simulating just 30 days, starting from January 1^st
2020, with atmospheric forcing from a Limited Area Model (2.2 km
resolution) and initial and boundary conditions from the EU
Copernicus Marine Service Mediterranean Reanalysis.</p>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">I ran 8
different setups, changing <b>only</b> the domain decomposition (same
forcing, parameters, namelists etc.): I chose 4 different tilings and
then doubled the experiments by running them also with the EXCH2
package, obtaining the following setups:</p>
<ol><li><p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">95
        processors (19 × 5 in x and y respectively) → 72 processors with
        EXCH2</p>
        </li><li><p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">190
        processors (19 × 10 in x and y respectively) → 130 processors
        with EXCH2</p>
        </li><li><p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">520
        processors (26 × 20 in x and y respectively) → 339 processors
        with EXCH2</p>
        </li><li><p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">760
        processors (38 × 20 in x and y respectively) → 474 processors
        with EXCH2</p>
</li></ol>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">The
domain and the different decompositions are shown in Figures 1÷4.</p>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">From
these setups I plotted in Figure 5 sea surface temperature time
series, with daily frequency, for a single cell in the open sea
(upper panel), shown by the black dot in Figures 1÷4. I also plotted
the horizontal average over the whole upper level (lower panel),
which seems to smooth/balance the differences. The plots clearly show
different outputs after a few days.<br>
To check whether it is a
machine-dependent issue, I also run the last setup (474 processors)
twice and got identical results (identical STDOUTs).</p>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent"><br>
My
question is: did I mess up something or is this an expected behaviour
related to the domain decomposition? And if so, what is the
reason?<br>
<br>
Thank you very much for the support.</p>
<p lang="en-GB" style="line-height:100%;margin-bottom:0in;background:transparent">Kind
regards,<br><font face="monospace"><br>Fabio Giordano</font><font color="#888888"></font></p><div style="color:rgb(34,34,34)"><font color="#888888"><font face="monospace">Sezione di Oceanografia</font></font></div><div><font color="#888888"><font face="monospace"><font color="#222222">Istituto Nazionale di Oceanografia e di Geofisica Sperimentale - OGS</font><br></font></font></div><div style="color:rgb(34,34,34)"><font color="#888888"><font face="monospace">via Beirut n. 2</font></font></div><div style="color:rgb(34,34,34)"><font color="#888888"><font face="monospace">34151 Trieste - Italia</font></font></div><p></p>

</div>