<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Hi Chaitan-</div><div><br></div><div>Thanks for your input!  I appreciate your framing, and I will look into the differences between "exit criteria" and "deliverable," to make sure that the proposal and any potential recommendations address decision-makers, policies, and users at the right level.  </div><div><br></div><div><div> </div><div></div></div><div>I agree that there will be some added burden to funding agencies, but this commitment is part and parcel of their open data mandates, so there's no way around it (despite their efforts 😀).  However, I am genuinely sensitive to this issue, and I hope to provide options and road maps to help funders meet those open research obligations, and not simply demand more effort by (in my opinion) already overburdened agency resources.  <br></div><div><br></div><div>The policies and platform guidelines are already out there, and improvements on that front notwithstanding, there are at least two approaches that would ensure compliance: (1) NSF oversight during the award period, or (2) community oversight in the post-award period.</div><div><br></div><div>During the award period, an independent review board assembled by NSF (or other federal agency) could make timely determinations about data policy exit criteria.  This approach would preserve project management authority within NSF, but would also amount to an administrative burden for the agency--nominations and vetting to create the boards, and coordination of board activities.  Off the top of my head, I would guess that each directorate would need a program assistant to manage all of that admin, though the effort and work product would be voluntary. <br></div><div><br></div><div>In the post-award period, communities of practice could determine compliance through a fairly straightforward checklist mechanism.  Institutions that are out of compliance could be fined and new awards withheld until the account is settled.  There would be some burden with NSF for this approach, as well, as compliance challenges would require review, and if confirmed, effort by counsel or finance officers.  However, these efforts and expenses could be offset by calculating them into the fine.</div><div><br></div><div>Ultimately, my point is that agencies need to change some of their processes to reflect the needs to today's global research community.  The current policy to let research institutions figure it out is not sufficient.</div><div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Nov 4, 2019 at 10:26 AM Baru, Chaitanya K. <<a href="mailto:cbaru@nsf.gov">cbaru@nsf.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Mercury,<br>
This is an interesting idea and would, indeed, be interesting to look at what it takes to get this done. You are basically suggesting what I would call "exit criteria" for projects. Projects would not receive that last slug of funding until these criteria are met, which means of course that there needs to be some sort of review process--which may be a combination of manual and automated, etc. <br>
As you develop your proposal, you may want to keep in mind what is the "burden" on the funding agencies, in terms of reviewing the exit criteria. <br>
<br>
Cheers,<br>
--chaitan<br>
Senior Advisor, Data Science Strategic Initiatives<br>
Office of the Vice President for Research<br>
San Diego Supercomputer Center<br>
Halicioglu Data Science Institute<br>
UC San Diego<br>
La Jolla, CA 921093<br>
Email: <a>cbaru@ucsd.edu</a> <br>
<br>
<br>
On 11/4/19, 12:24 AM, "CODATA-international on behalf of Mercury Fox" <<a>codata-international-bounces@lists.codata.org</a> on behalf of <a>ceds@email.arizona.edu</a>> wrote:<br>
<br>
    Hi Anita and All-<br>
<br>
    I am in the early stages of developing a proposal for an institutional<br>
    review of NSF's award process.  I believe that they are currently<br>
    receptive to this type of review, and support from publishers and the<br>
    open research community would be very helpful.<br>
<br>
    The solution here is so simple and obvious--tie the money to the data<br>
    by making it a deliverable--that there must be something seriously<br>
    dysfunctional in the award process.<br>
<br>
    Funders can just withhold the last 20% (or whatever) of the award<br>
    until the data, which they paid for, is formatted and posted according<br>
    to agency guidelines. Then we can forget this nonsense about how to<br>
    shift community norms toward open research and data sharing, and focus<br>
    on how to promote and incorporate FAIR principles in those agency<br>
    guidelines.<br>
<br>
    I think we all know why these simple solutions aren't adopted, and I<br>
    think that an institutional review would be a good place to start<br>
    moving past those encumbrances.<br>
<br>
<br>
<br>
    On 11/3/19, Dewaard, Anita (ELS-HBE) <<a>A.dewaard@elsevier.com</a>> wrote:<br>
    > It would actually be very interesting to 'get you started on the publishing<br>
    > industry', Mark!<br>
    ><br>
    > I completely agree with Mercury that 'publishers should be partners in the<br>
    > research ecosystem, not gatekeepers who determine what gets in<br>
    > and what stays out of the sphere of public knowledge':  so what should we<br>
    > do, that we're not currently doing, to be the best partners that we can be?<br>
    ><br>
    ><br>
    > Thanks so much for your advice!<br>
    ><br>
    > Best,<br>
    ><br>
    > Anita<br>
    ><br>
    ><br>
    > Anita de Waard<br>
    > Vice President of Research Collaborations<br>
    > Elsevier Research Collaborations Unit<br>
    > 71 Hanley Lane, Jericho, VT 05465<br>
    > @anitawaard | +1 (619) 252 8589<br>
    ><br>
    > -----Original Message-----<br>
    > From: CODATA-international <<a>codata-international-bounces@lists.codata.org</a>><br>
    > On Behalf Of Parsons, Mark<br>
    > Sent: Friday, November 1, 2019 1:56 PM<br>
    > To: Mercury Fox <<a>ceds@email.arizona.edu</a>><br>
    > Cc: Falk Huettmann <<a>fhuettmann@alaska.edu</a>>; CODATA International<br>
    > <<a>codata-international@lists.codata.org</a>><br>
    > Subject: Re: [CODATA-international] October 2019: Publications in the Data<br>
    > Science Journal<br>
    ><br>
    ><br>
    > I totally agree, Mercury. (Don’t get me started on the publishing industry).<br>
    > I just wanted to give credit to one small program (NSF Arctic) that is doing<br>
    > the right thing, and that other agencies and programs should follow its<br>
    > lead.<br>
    ><br>
    > cheers,<br>
    ><br>
    > -m.<br>
    ><br>
    >> On 1 Nov 2019, at 11:52, Mercury Fox <<a>ceds@email.arizona.edu</a>> wrote:<br>
    >><br>
    >> Thanks, Mark--that's a great point.  That program's open data policy<br>
    >> is stated in the DCL<br>
    >> (<a rel="noreferrer">https://www.nsf.gov/pubs/2016/nsf16055/nsf16055.jsp</a>), which also<br>
    >> states that the policy is a requirement of international treaty, which<br>
    >> probably provides some context for the political will behind the<br>
    >> policy in this case.  My point is that this kind of clear policy<br>
    >> directive shouldn't be a one-off.<br>
    >><br>
    >> And since I'm on a soap box about it, I also don't think it's<br>
    >> acceptable for NSF & c. to expect the scientific community to simply<br>
    >> shift norms and practices in this regard, when the federal funding<br>
    >> agencies are unwilling to change the institutional conditions that<br>
    >> drive those norms.<br>
    >><br>
    >> And another thing... I also think it's inappropriate for them to pass<br>
    >> their oversight and quality control duties to the publishing industry,<br>
    >> which is basically a roadmap for corruption.  I'm not pointing fingers<br>
    >> at any specific publisher or agency; but publishers should be partners<br>
    >> in the research ecosystem, not gatekeepers who determine what gets in<br>
    >> and what stays out of the sphere of public knowledge.<br>
    >><br>
    >> OK, that's all the rant I have left in me for today.  Thanks everybody<br>
    >> and have a great weekend!<br>
    >><br>
    >><br>
    >> -Mercury<br>
    >><br>
    >> On 11/1/19, Parsons, Mark <<a>parsom3@rpi.edu</a>> wrote:<br>
    >>><br>
    >>><br>
    >>> On 1 Nov 2019, at 10:04, Mercury Fox<br>
    >>> <<a>ceds@email.arizona.edu</a><mailto:<a>ceds@email.arizona.edu</a>>> wrote:<br>
    >>><br>
    >>> they could change the norm overnight by simply tying the policy to<br>
    >>> the award and requiring open data as a deliverable.<br>
    >>><br>
    >>> For the record, the NSF Arctic Program does just that, and they<br>
    >>> follow up and do QC, AND they fund an archive to make it possible.<br>
    >>><br>
    >>> cheers,<br>
    >>><br>
    >>> -m.<br>
    >>><br>
    >><br>
    >><br>
    >> --<br>
    >> Merc Fox<br>
    >> Director, CODATA-UA Center of Excellence in Data for Society<br>
    >> Data7 + iSchool<br>
    >> University of Arizona<br>
    >> Tucson, AZ  85721<br>
    >><br>
    >> <a rel="noreferrer">https://ceds.arizona.edu</a><br>
    >><br>
    >> <a rel="noreferrer">https://orcid.org/0000-0002-0726-7301</a><br>
    ><br>
    > _______________________________________________<br>
    > CODATA-international mailing list<br>
    > <a>CODATA-international@lists.codata.org</a><br>
    > <a rel="noreferrer">http://lists.codata.org/mailman/listinfo/codata-international_lists.codata.org</a><br>
    ><br>
<br>
<br>
    -- <br>
    Merc Fox<br>
    Director, CODATA-UA Center of Excellence in Data for Society<br>
    Data7 + iSchool<br>
    University of Arizona<br>
    Tucson, AZ  85721<br>
<br>
    <a rel="noreferrer">https://ceds.arizona.edu</a><br>
<br>
    <a rel="noreferrer">https://orcid.org/0000-0002-0726-7301</a><br>
<br>
    _______________________________________________<br>
    CODATA-international mailing list<br>
    <a>CODATA-international@lists.codata.org</a><br>
    <a rel="noreferrer">http://lists.codata.org/mailman/listinfo/codata-international_lists.codata.org</a><br>
<br>
<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Merc Fox<br>Director, CODATA-UA Center of Excellence in Data for Society<br>Data7 + iSchool<br>University of Arizona<br>Tucson, AZ  85721<br><br><a href="https://ceds.arizona.edu" target="_blank">https://ceds.arizona.edu</a><br><br><a href="https://orcid.org/0000-0002-0726-7301" target="_blank">https://orcid.org/0000-0002-0726-7301</a><br><br></div></div></div></div></div>