ORI Data Quality Dashboard

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22altair%3D%3D6.1.0%22%2C%0A%23%20%20%20%20%20%22duckdb%3D%3D1.5.2%22%2C%0A%23%20%20%20%20%20%22jedi%3C0.20.0%22%2C%0A%23%20%20%20%20%20%22marimo%3E%3D0.10.0%22%2C%0A%23%20%20%20%20%20%22openpyxl%3D%3D3.1.5%22%2C%0A%23%20%20%20%20%20%22pandas%3D%3D3.0.2%22%2C%0A%23%20%20%20%20%20%22polars%5Bpyarrow%5D%3D%3D1.39.3%22%2C%0A%23%20%20%20%20%20%22pyarrow%3D%3D24.0.0%22%2C%0A%23%20%20%20%20%20%22sqlglot%3D%3D30.6.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.5%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22ORI%20Data%20Quality%20Dashboard%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20wasm_dependencies()%3A%0A%20%20%20%20%23%20install%20packages%20not%20bundled%20by%20the%20WASM%20export%20(duckdb%20is%20handled%20by%20mo.sql)%0A%20%20%20%20import%20sys%0A%20%20%20%20import%20io%0A%20%20%20%20import%20openpyxl%0A%20%20%20%20_%20%3D%20None%0A%20%20%20%20if%20'pyodide'%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%20%20%20%20%20%20%20%20await%20micropip.install(%5B'polars'%2C%20'pyarrow'%2C%20'altair'%2C%20'openpyxl'%5D)%0A%20%20%20%20%20%20%20%20_%20%3D%20'wasm'%0A%20%20%20%20return%20io%2C%20openpyxl%2C%20sys%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20imports()%3A%0A%20%20%20%20%23%20import%20all%20third-party%20libraries%20used%20throughout%20the%20notebook%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20return%20alt%2C%20mo%2C%20pl%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20cache_setup(mo%2C%20sys)%3A%0A%20%20%20%20from%20datetime%20import%20datetime%0A%20%20%20%20import%20hashlib%0A%0A%20%20%20%20is_wasm%20%3D%20'pyodide'%20in%20sys.modules%0A%20%20%20%20CACHE_DIR%20%3D%20mo.notebook_location()%20%2F%20'cache'%0A%0A%20%20%20%20_sentinel%20%3D%20CACHE_DIR%20%2F%20'.last_refreshed'%0A%20%20%20%20if%20not%20is_wasm%20and%20_sentinel.exists()%3A%0A%20%20%20%20%20%20%20%20_ts%20%3D%20datetime.fromtimestamp(_sentinel.stat().st_mtime)%0A%20%20%20%20%20%20%20%20cache_last_refreshed%20%3D%20_ts.strftime('%25Y-%25m-%25d%20%25H%3A%25M')%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20cache_last_refreshed%20%3D%20None%0A%20%20%20%20return%20CACHE_DIR%2C%20cache_last_refreshed%2C%20hashlib%2C%20is_wasm%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20refresh_ui(mo)%3A%0A%20%20%20%20refresh_btn%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20value%3D0%2C%0A%20%20%20%20%20%20%20%20on_click%3Dlambda%20v%3A%20v%20%2B%201%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Arefresh-cw')%7D%20Refresh%20all%20data%22%2C%0A%20%20%20%20%20%20%20%20kind%3D'warn'%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(refresh_btn%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20catalog_url(mo)%3A%0A%20%20%20%20%23%20text%20input%20widget%20for%20the%20ORI%20DuckLake%20catalog%20URL%0A%20%20%20%20url%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20value%3D'https%3A%2F%2Fobjectstore.surf.nl%2Fcea01a7216d64348b7e51e5f3fc1901d%3Asprouts%2Fcatalog.ducklake'%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.accordion(%7B%22DuckLake%20catalog%20URL%22%3A%20url%7D)%0A%20%20%20%20return%20(url%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20attach_catalog(mo%2C%20url)%3A%0A%20%20%20%20%23%20attach%20the%20ORI%20DuckLake%20catalog%20to%20the%20shared%20mo.sql%20DuckDB%20connection%0A%20%20%20%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20ATTACH%20'%7Burl.value%7D'%20AS%20sprouts%20(TYPE%20ducklake%2C%20READ_ONLY)%3B%0A%20%20%20%20%20%20%20%20USE%20sprouts%3B%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20load_nl_baseline(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20io%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20openpyxl%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A%20%20%20%20sys%2C%0A)%3A%0A%20%20%20%20%23%20fetch%20the%20Dutch%20research%20organisations%20baseline%20list%20from%20Zenodo%20(DOI%3A%2010.5281%2Fzenodo.18957154)%0A%20%20%20%20%23%20and%20annotate%20each%20org%20with%20its%20Barcelona%20Declaration%20signatory%20status%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'nl_baseline.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20nl_baseline_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_ZENODO_URL%20%3D%20'https%3A%2F%2Fzenodo.org%2Fapi%2Frecords%2F18957154%2Ffiles%2Fnl-orgs-baseline.xlsx%2Fcontent'%0A%0A%20%20%20%20%20%20%20%20%23%20ROR%20IDs%20of%20NL%20Barcelona%20Declaration%20signatories%20(source%3A%20barcelona-declaration.org%2Fsignatories_by_country%2F)%0A%20%20%20%20%20%20%20%20_BARCELONA_RORS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F02e2c7k09'%2C%20%20%23%20Delft%20University%20of%20Technology%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F04jsz6e67'%2C%20%20%23%20Dutch%20Research%20Council%20(NWO)%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F02w4jbg70'%2C%20%20%23%20KB%2C%20National%20Library%20of%20the%20Netherlands%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F027bh9e22'%2C%20%20%23%20Leiden%20University%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F00rbjv475'%2C%20%20%23%20Netherlands%20eScience%20Center%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F043c0p156'%2C%20%20%23%20Royal%20Netherlands%20Academy%20of%20Arts%20and%20Sciences%20(KNAW)%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F009vhk114'%2C%20%20%23%20SURF%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F04dkp9463'%2C%20%20%23%20University%20of%20Amsterdam%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F012p63287'%2C%20%20%23%20University%20of%20Groningen%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F04pp8hn57'%2C%20%20%23%20Utrecht%20University%0A%20%20%20%20%20%20%20%20%20%20%20%20'https%3A%2F%2Fror.org%2F008xxew50'%2C%20%20%23%20Vrije%20Universiteit%20Amsterdam%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20if%20'pyodide'%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20pyodide.http%0A%20%20%20%20%20%20%20%20%20%20%20%20_resp%20%3D%20await%20pyodide.http.pyfetch(_ZENODO_URL)%0A%20%20%20%20%20%20%20%20%20%20%20%20_raw%20%3D%20await%20_resp.bytes()%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20urllib.request%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20urllib.request.urlopen(_ZENODO_URL)%20as%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%20%3D%20_r.read()%0A%0A%20%20%20%20%20%20%20%20_wb%20%3D%20openpyxl.load_workbook(io.BytesIO(_raw)%2C%20read_only%3DTrue)%0A%20%20%20%20%20%20%20%20_ws%20%3D%20_wb%5B'nl-orgs'%5D%0A%20%20%20%20%20%20%20%20_all_rows%20%3D%20list(_ws.iter_rows(values_only%3DTrue))%0A%20%20%20%20%20%20%20%20_data_rows%20%3D%20%5Br%20for%20r%20in%20_all_rows%5B1%3A%5D%20if%20r%5B0%5D%20and%20r%5B3%5D%5D%20%20%23%20skip%20header%20%2B%20empty%20rows%0A%0A%20%20%20%20%20%20%20%20nl_baseline_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'full_name'%3A%20%5Br%5B0%5D%20for%20r%20in%20_data_rows%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'acronym'%3A%20%20%20%5Br%5B1%5D%20or%20''%20for%20r%20in%20_data_rows%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'grouping'%3A%20%20%5Br%5B3%5D%20for%20r%20in%20_data_rows%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'ror'%3A%20%20%20%20%20%20%20%5Br%5B5%5D%20if%20r%5B5%5D%20and%20r%5B5%5D%20!%3D%20'nvt'%20else%20None%20for%20r%20in%20_data_rows%5D%2C%0A%20%20%20%20%20%20%20%20%7D).with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('ror').is_in(_BARCELONA_RORS).fill_null(False).alias('barcelona_signatory')%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20nl_baseline_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(nl_baseline_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_nl_openalex_orgs(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20query%20OpenAlex%20institutions%20for%20orgs%20in%20the%20NL%20baseline%2C%20anchored%20by%20ROR%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'nl_openalex_orgs.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20nl_openalex_orgs_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_rors%20%3D%20nl_baseline_df%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20%20%20%20%20_rors_clause%20%3D%20'%2C%20'.join(f%22'%7Br%7D'%22%20for%20r%20in%20_rors)%20if%20_rors%20else%20%22''%22%0A%20%20%20%20%20%20%20%20nl_openalex_orgs_df%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20id%20AS%20openalex_orgs_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ror%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20works_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cited_by_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.ror%20%20%20%20%20%20IS%20NOT%20NULL%20AS%20has_ror%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.grid%20%20%20%20%20IS%20NOT%20NULL%20AS%20has_grid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.wikidata%20IS%20NOT%20NULL%20AS%20has_wikidata%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.wikipedia%20IS%20NOT%20NULL%20AS%20has_wikipedia%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20homepage_url%20IS%20NOT%20NULL%20AS%20has_homepage%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.grid%20%20%20%20%20%20AS%20grid_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.wikidata%20%20AS%20wikidata_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ids.wikipedia%20AS%20wikipedia_url%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20homepage_url%0A%20%20%20%20%20%20%20%20%20%20%20%20FROM%20openalex.institutions%0A%20%20%20%20%20%20%20%20%20%20%20%20WHERE%20ror%20IN%20(%7B_rors_clause%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20ORDER%20BY%20works_count%20DESC%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20output%3DFalse%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20nl_openalex_orgs_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(nl_openalex_orgs_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_nl_openaire_orgs(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20query%20OpenAIRE%20organizations%20for%20orgs%20in%20the%20NL%20baseline%2C%20anchored%20by%20ROR%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'nl_openaire_orgs.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20nl_openaire_orgs_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_rors%20%3D%20nl_baseline_df%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20%20%20%20%20_rors_list%20%3D%20'%5B'%20%2B%20'%2C%20'.join(f%22'%7Br%7D'%22%20for%20r%20in%20_rors)%20%2B%20'%5D'%20if%20_rors%20else%20%22%5B''%5D%22%0A%20%20%20%20%20%20%20%20nl_openaire_orgs_df%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20o.legalName%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20o.legalShortName%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20o.websiteUrl%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20o.id%20AS%20openaire_orgs_id%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20o.pids%0A%20%20%20%20%20%20%20%20FROM%20openaire.organizations%20AS%20o%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20UNNEST(o.pids)%20AS%20unnest%0A%20%20%20%20%20%20%20%20WHERE%20unnest.scheme%20%3D%20'ROR'%0A%20%20%20%20%20%20%20%20%20%20AND%20list_contains(%7B_rors_list%7D%2C%20unnest.value)%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%20%20%20%20%20%20%20%20%23%20Extract%20PIDs%20from%20pids%20list%0A%20%20%20%20%20%20%20%20nl_openaire_orgs_df%20%3D%20nl_openaire_orgs_df.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('pids').list.eval(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.when(pl.element().struct.field('scheme').str.to_uppercase()%20%3D%3D%20'ROR')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.then(pl.element().struct.field('value'))%0A%20%20%20%20%20%20%20%20%20%20%20%20).list.drop_nulls().list.first().alias('ror')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('pids').list.eval(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.when(pl.element().struct.field('scheme').str.to_uppercase()%20%3D%3D%20'ISNI')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.then(pl.element().struct.field('value'))%0A%20%20%20%20%20%20%20%20%20%20%20%20).list.drop_nulls().list.first().alias('isni')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('pids').list.eval(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.when(pl.element().struct.field('scheme').str.to_uppercase()%20%3D%3D%20'GRID')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.then(pl.element().struct.field('value'))%0A%20%20%20%20%20%20%20%20%20%20%20%20).list.drop_nulls().list.first().alias('grid')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col('pids').list.eval(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.when(pl.element().struct.field('scheme').str.to_uppercase()%20%3D%3D%20'WIKIDATA')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20.then(pl.element().struct.field('value'))%0A%20%20%20%20%20%20%20%20%20%20%20%20).list.drop_nulls().list.first().alias('wikidata')%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20nl_openaire_orgs_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(nl_openaire_orgs_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20load_nl_endpoint_table(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20io%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20openpyxl%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A%20%20%20%20sys%2C%0A)%3A%0A%20%20%20%20%23%20fetch%20the%20NL%20organisations%20%E2%86%92%20OpenAIRE%20datasource%20endpoint%20table%20from%20Zenodo%0A%20%20%20%20%23%20(DOI%3A%2010.5281%2Fzenodo.18959652)%3B%20maps%20openaire_org_id%20to%20OpenAIRE_DataSource_ID%20%2B%20OAI%20endpoints%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'nl_endpoint.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20nl_endpoint_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_ZENODO_URL%20%3D%20'https%3A%2F%2Fzenodo.org%2Fapi%2Frecords%2F19470205%2Ffiles%2Fnl_orgs_openaire_datasources_with_endpoint_public.xlsx%2Fcontent'%0A%0A%20%20%20%20%20%20%20%20if%20'pyodide'%20in%20sys.modules%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20pyodide.http%20as%20_pyodide_http%0A%20%20%20%20%20%20%20%20%20%20%20%20_resp%20%3D%20await%20_pyodide_http.pyfetch(_ZENODO_URL)%0A%20%20%20%20%20%20%20%20%20%20%20%20_raw%20%3D%20await%20_resp.bytes()%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20urllib.request%20as%20_urllib_request%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20_urllib_request.urlopen(_ZENODO_URL)%20as%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%20%3D%20_r.read()%0A%0A%20%20%20%20%20%20%20%20_wb%20%3D%20openpyxl.load_workbook(io.BytesIO(_raw)%2C%20read_only%3DTrue)%0A%20%20%20%20%20%20%20%20_ws%20%3D%20_wb.active%0A%20%20%20%20%20%20%20%20_all_rows%20%3D%20list(_ws.iter_rows(values_only%3DTrue))%0A%20%20%20%20%20%20%20%20_headers%20%3D%20%5Bstr(h)%20if%20h%20is%20not%20None%20else%20f'col_%7Bi%7D'%20for%20i%2C%20h%20in%20enumerate(_all_rows%5B0%5D)%5D%0A%20%20%20%20%20%20%20%20nl_endpoint_df%20%3D%20pl.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B_headers%5Bi%5D%3A%20%5Br%5Bi%5D%20for%20r%20in%20_all_rows%5B1%3A%5D%5D%20for%20i%20in%20range(len(_headers))%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20nl_endpoint_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(nl_endpoint_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_nl_openaire_datasources(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_endpoint_df%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20query%20OpenAIRE%20datasources%20table%20for%20datasource%20IDs%20from%20the%20endpoint%20table%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'nl_openaire_datasources.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20nl_datasources_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_ds_ids%20%3D%20nl_endpoint_df%5B'OpenAIRE_DataSource_ID'%5D.drop_nulls().unique().to_list()%0A%20%20%20%20%20%20%20%20_ids_clause%20%3D%20'%2C%20'.join(f%22'%7Bi%7D'%22%20for%20i%20in%20_ds_ids)%20if%20_ds_ids%20else%20%22''%22%0A%20%20%20%20%20%20%20%20nl_datasources_df%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20*%0A%20%20%20%20%20%20%20%20FROM%20openaire.datasources%0A%20%20%20%20%20%20%20%20WHERE%20id%20IN%20(%7B_ids_clause%7D)%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20nl_datasources_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(nl_datasources_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_openalex_publications_counts(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20hashlib%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20nl_openalex_orgs_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20Count%20OpenAlex%20works%20for%20selected%20organisations%20by%20querying%20openalex.works%20directly.%0A%20%20%20%20%23%20Uses%20openalex_orgs_id%20(institution%20ID)%20to%20filter%20authorships%5B%5D.institutions%5B%5D.id.%0A%20%20%20%20%23%20WARNING%3A%20full%20scan%20of%20openalex.works%20(364%20M%20rows%20via%20UNNEST)%20%E2%80%94%20expect%2015%2B%20minutes.%0A%20%20%20%20_sel_rors%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_baseline_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('full_name').is_in(org_select.value))%0A%20%20%20%20%20%20%20%20%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20_openalex_ids%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_openalex_orgs_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('ror').is_in(_sel_rors))%0A%20%20%20%20%20%20%20%20%5B'openalex_orgs_id'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_key%20%3D%20hashlib.sha1('%2C'.join(sorted(_sel_rors)).encode()).hexdigest()%5B%3A8%5D%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20f'openalex_works_%7B_key%7D.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20openalex_works_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_openalex_ids_list%20%3D%20'%5B'%20%2B%20'%2C%20'.join(f%22'%7Bi%7D'%22%20for%20i%20in%20_openalex_ids)%20%2B%20'%5D'%20if%20_openalex_ids%20else%20%22%5B''%5D%22%0A%20%20%20%20%20%20%20%20openalex_works_df%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20COUNT(DISTINCT%20w.id)%20AS%20openalex_works_count%0A%20%20%20%20%20%20%20%20FROM%20openalex.works%20AS%20w%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20UNNEST(w.authorships)%20AS%20unnest%0A%20%20%20%20%20%20%20%20WHERE%20array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20unnest.institutions%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20list_contains(%7B_openalex_ids_list%7D%2C%20x.id)%0A%20%20%20%20%20%20%20%20))%20%3E%200%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20openalex_works_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(openalex_works_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_openaire_pubs_counts(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20hashlib%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20nl_openaire_orgs_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20Count%20OpenAIRE%20publications%20for%20selected%20organisations%20using%20openaire_orgs_id.%0A%20%20%20%20%23%20Filters%20publications.organizations%5B%5D.id%20%E2%80%94%20full%20scan%20of%20206%20M%20rows.%0A%20%20%20%20_sel_rors%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_baseline_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('full_name').is_in(org_select.value))%0A%20%20%20%20%20%20%20%20%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20_openaire_ids%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_openaire_orgs_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('ror').is_in(_sel_rors))%0A%20%20%20%20%20%20%20%20%5B'openaire_orgs_id'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_key%20%3D%20hashlib.sha1('%2C'.join(sorted(_sel_rors)).encode()).hexdigest()%5B%3A8%5D%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20f'openaire_pubs_%7B_key%7D.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20openaire_pubs_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_openaire_ids_list%20%3D%20'%5B'%20%2B%20'%2C%20'.join(f%22'%7Bi%7D'%22%20for%20i%20in%20_openaire_ids)%20%2B%20'%5D'%20if%20_openaire_ids%20else%20%22%5B''%5D%22%0A%20%20%20%20%20%20%20%20openaire_pubs_df%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20COUNT(DISTINCT%20pub.id)%20AS%20openaire_pubs_count%0A%20%20%20%20%20%20%20%20FROM%20openaire.publications%20AS%20pub%0A%20%20%20%20%20%20%20%20WHERE%20array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20pub.organizations%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20list_contains(%7B_openaire_ids_list%7D%2C%20x.id)%0A%20%20%20%20%20%20%20%20))%20%3E%200%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20openaire_pubs_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(openaire_pubs_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_cris_pubs_counts(%0A%20%20%20%20CACHE_DIR%2C%0A%20%20%20%20hashlib%2C%0A%20%20%20%20is_wasm%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20refresh_btn%2C%0A)%3A%0A%20%20%20%20%23%20Count%20CRIS%20publications%20for%20selected%20organisations%20%E2%80%94%20fast%20scan%20of%202.4%20M%20rows.%0A%20%20%20%20_sel_rors%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_baseline_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('full_name').is_in(org_select.value))%0A%20%20%20%20%20%20%20%20%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_key%20%3D%20hashlib.sha1('%2C'.join(sorted(_sel_rors)).encode()).hexdigest()%5B%3A8%5D%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20f'cris_pubs_%7B_key%7D.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20cris_pubs_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_rors_clause%20%3D%20'%2C%20'.join(f%22'%7Br%7D'%22%20for%20r%20in%20_sel_rors)%20if%20_sel_rors%20else%20%22''%22%0A%20%20%20%20%20%20%20%20cris_pubs_df%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20COUNT(*)%20AS%20cris_pubs_count%0A%20%20%20%20%20%20%20%20FROM%20cris.publications%0A%20%20%20%20%20%20%20%20WHERE%20repository_info.ror%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20%20%20AND%20repository_info.ror%20IN%20(%7B_rors_clause%7D)%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20cris_pubs_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(cris_pubs_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_openalex_completeness(CACHE_DIR%2C%20is_wasm%2C%20mo%2C%20pl%2C%20refresh_btn)%3A%0A%20%20%20%20%23%20aggregate%20field-level%20completeness%20from%20first%20OpenAlex%20works%20shard%20(data_0)%20via%20direct%20parquet%20read%0A%20%20%20%20%23%20the%20full%20works%20table%20spans%20732%20files%3B%20querying%20data_0%20only%20keeps%20this%20cell%20fast%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'openalex_completeness.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20openalex_compl_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_WORKS_URL%20%3D%20'https%3A%2F%2Fobjectstore.surf.nl%2Fcea01a7216d64348b7e51e5f3fc1901d%3Asprouts%2Fdata%2Fopenalex%2Fworks%2Fdata_0.parquet'%0A%20%20%20%20%20%20%20%20_raw%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%3A%3ABIGINT%20AS%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(title)%3A%3ABIGINT%20AS%20has_title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(abstract_inverted_index)%3A%3ABIGINT%20AS%20has_abstract%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(publication_date)%3A%3ABIGINT%20AS%20has_date%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(doi%20IS%20NOT%20NULL%20AND%20doi%20LIKE%20'https%3A%2F%2Fdoi.org%2F10.%25')%3A%3ABIGINT%20AS%20has_doi%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20authorships%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x.institutions%2C%20y%20-%3E%20y.ror%20LIKE%20'https%3A%2F%2Fror.org%2F%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_ror%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20authorships%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20x.author.orcid%20LIKE%20'https%3A%2F%2Forcid.org%2F%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_orcid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20authorships%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20x.is_corresponding%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AND%20array_length(list_filter(x.institutions%2C%20y%20-%3E%20y.country_code%20%3D%20'NL'))%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_nl_corresponding%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(open_access.oa_status%20IS%20NOT%20NULL)%3A%3ABIGINT%20AS%20has_oa_status%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20primary_location.license%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AND%20lower(primary_location.license)%20LIKE%20'cc-%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%3ABIGINT%20AS%20has_cc_license%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(funders)%20%3E%200)%3A%3ABIGINT%20AS%20has_funder%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(primary_location.source.issn_l)%3A%3ABIGINT%20AS%20has_issn%0A%20%20%20%20%20%20%20%20FROM%20read_parquet('%7B_WORKS_URL%7D')%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%0A%20%20%20%20%20%20%20%20_total%20%3D%20_raw%5B'total'%5D%5B0%5D%0A%20%20%20%20%20%20%20%20openalex_compl_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Abstract'%2C%20'Publication%20Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR%20(affiliation)'%2C%20'ORCID%20(author)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Dutch%20corresp.%20author'%2C%20'Open%20Access%20status'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Creative%20Commons%20licence'%2C%20'Funder%20%2F%20Grant'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'label'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Abstract'%2C%20'Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR'%2C%20'ORCID'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'NL%20corresp.'%2C%20'OA%20status'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'CC%20licence'%2C%20'Funder'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'has_value'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_title'%5D%5B0%5D%2C%20_raw%5B'has_abstract'%5D%5B0%5D%2C%20_raw%5B'has_date'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_doi'%5D%5B0%5D%2C%20_raw%5B'has_ror'%5D%5B0%5D%2C%20_raw%5B'has_orcid'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_nl_corresponding'%5D%5B0%5D%2C%20_raw%5B'has_oa_status'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_cc_license'%5D%5B0%5D%2C%20_raw%5B'has_funder'%5D%5B0%5D%2C%20_raw%5B'has_issn'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'total'%3A%20%5B_total%5D%20*%2011%2C%0A%20%20%20%20%20%20%20%20%7D).with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('has_value')%20*%20100.0%20%2F%20pl.col('total')).round(1).alias('pct')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('total')%20-%20pl.col('has_value')).alias('missing')%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20openalex_compl_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(openalex_compl_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_openaire_completeness(CACHE_DIR%2C%20is_wasm%2C%20mo%2C%20pl%2C%20refresh_btn)%3A%0A%20%20%20%20%23%20aggregate%20field-level%20completeness%20from%20first%20OpenAIRE%20publications%20shard%20(data_0)%20via%20direct%20parquet%20read%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'openaire_completeness.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20openaire_compl_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_PUBS_URL%20%3D%20'https%3A%2F%2Fobjectstore.surf.nl%2Fcea01a7216d64348b7e51e5f3fc1901d%3Asprouts%2Fdata%2Fopenaire%2Fpublications%2Fdata_0.parquet'%0A%20%20%20%20%20%20%20%20_raw%20%3D%20mo.sql(f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%3A%3ABIGINT%20AS%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(mainTitle)%3A%3ABIGINT%20AS%20has_title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(publicationDate)%3A%3ABIGINT%20AS%20has_date%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pids%2C%20x%20-%3E%20x.scheme%20%3D%20'doi'%20AND%20x.value%20LIKE%20'10.%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_doi%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20organizations%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x.pids%2C%20y%20-%3E%20y.scheme%20%3D%20'ROR'%20AND%20y.value%20LIKE%20'https%3A%2F%2Fror.org%2F%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_ror%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20authors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20x.pid.id.scheme%20%3D%20'orcid'%20AND%20x.pid.id.value%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_orcid%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(bestAccessRight.code%20IS%20NOT%20NULL)%3A%3ABIGINT%20AS%20has_oa_status%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(list_filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20instances%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%20-%3E%20x.license%20IS%20NOT%20NULL%20AND%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lower(x.license)%20LIKE%20'%25creativecommons%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20OR%20lower(x.license)%20LIKE%20'cc-%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20OR%20lower(x.license)%20LIKE%20'cc%20by%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20))%20%3E%200)%3A%3ABIGINT%20AS%20has_cc_license%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(array_length(projects)%20%3E%200)%3A%3ABIGINT%20AS%20has_funder%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20container.issnPrinted%20IS%20NOT%20NULL%20OR%20container.issnOnline%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%3ABIGINT%20AS%20has_issn%0A%20%20%20%20%20%20%20%20FROM%20read_parquet('%7B_PUBS_URL%7D')%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%0A%20%20%20%20%20%20%20%20_total%20%3D%20_raw%5B'total'%5D%5B0%5D%0A%20%20%20%20%20%20%20%20openaire_compl_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Publication%20Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR%20(organisation)'%2C%20'ORCID%20(author)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Open%20Access%20status'%2C%20'Creative%20Commons%20licence'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Funder%20%2F%20Grant'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'label'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR'%2C%20'ORCID'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'OA%20status'%2C%20'CC%20licence'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Funder'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'has_value'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_title'%5D%5B0%5D%2C%20_raw%5B'has_date'%5D%5B0%5D%2C%20_raw%5B'has_doi'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_ror'%5D%5B0%5D%2C%20_raw%5B'has_orcid'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_oa_status'%5D%5B0%5D%2C%20_raw%5B'has_cc_license'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_funder'%5D%5B0%5D%2C%20_raw%5B'has_issn'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'total'%3A%20%5B_raw%5B'total'%5D%5B0%5D%5D%20*%209%2C%0A%20%20%20%20%20%20%20%20%7D).with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('has_value')%20*%20100.0%20%2F%20pl.col('total')).round(1).alias('pct')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('total')%20-%20pl.col('has_value')).alias('missing')%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20openaire_compl_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(openaire_compl_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20load_cris_completeness(CACHE_DIR%2C%20is_wasm%2C%20mo%2C%20pl%2C%20refresh_btn)%3A%0A%20%20%20%20%23%20aggregate%20field-level%20completeness%20from%20full%20CRIS%20publications%20table%20(2.4%20M%20rows%20%E2%80%94%20fast%20scan)%0A%20%20%20%20_force%20%3D%20refresh_btn.value%20%3E%200%0A%20%20%20%20_cache%20%3D%20CACHE_DIR%20%2F%20'cris_completeness.parquet'%0A%20%20%20%20if%20not%20is_wasm%20and%20not%20_force%20and%20_cache.exists()%3A%0A%20%20%20%20%20%20%20%20cris_compl_df%20%3D%20pl.read_parquet(_cache)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_raw%20%3D%20mo.sql(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%3A%3ABIGINT%20AS%20total%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22cerif%3ATitle%22%20IS%20NOT%20NULL%20AND%20array_length(%22cerif%3ATitle%22)%20%3E%200)%3A%3ABIGINT%20AS%20has_title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22cerif%3AAbstract%22%20IS%20NOT%20NULL%20AND%20array_length(%22cerif%3AAbstract%22)%20%3E%200)%3A%3ABIGINT%20AS%20has_abstract%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22cerif%3APublicationDate%22%20IS%20NOT%20NULL)%3A%3ABIGINT%20AS%20has_date%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22cerif%3ADOI%22%20IS%20NOT%20NULL%20AND%20%22cerif%3ADOI%22%20LIKE%20'10.%25')%3A%3ABIGINT%20AS%20has_doi%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20repository_info.ror%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20AND%20repository_info.ror%20LIKE%20'https%3A%2F%2Fror.org%2F%25'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%3ABIGINT%20AS%20has_ror%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22ar%3AAccess%22%20IS%20NOT%20NULL)%3A%3ABIGINT%20AS%20has_oa_status%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT_IF(%22cerif%3AISSN%22%20IS%20NOT%20NULL%20AND%20array_length(%22cerif%3AISSN%22)%20%3E%200)%3A%3ABIGINT%20AS%20has_issn%0A%20%20%20%20%20%20%20%20FROM%20cris.publications%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20output%3DFalse)%0A%0A%20%20%20%20%20%20%20%20_total%20%3D%20_raw%5B'total'%5D%5B0%5D%0A%20%20%20%20%20%20%20%20cris_compl_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Abstract'%2C%20'Publication%20Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR%20(repository)'%2C%20'Open%20Access%20status'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'label'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Title'%2C%20'Abstract'%2C%20'Date'%2C%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'ROR'%2C%20'OA%20status'%2C%20'ISSN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'has_value'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_title'%5D%5B0%5D%2C%20_raw%5B'has_abstract'%5D%5B0%5D%2C%20_raw%5B'has_date'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_doi'%5D%5B0%5D%2C%20_raw%5B'has_ror'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_raw%5B'has_oa_status'%5D%5B0%5D%2C%20_raw%5B'has_issn'%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'total'%3A%20%5B_total%5D%20*%207%2C%0A%20%20%20%20%20%20%20%20%7D).with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('has_value')%20*%20100.0%20%2F%20pl.col('total')).round(1).alias('pct')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col('total')%20-%20pl.col('has_value')).alias('missing')%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20not%20is_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20CACHE_DIR.mkdir(parents%3DTrue%2C%20exist_ok%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20cris_compl_df.write_parquet(_cache)%0A%20%20%20%20%20%20%20%20%20%20%20%20(CACHE_DIR%20%2F%20'.last_refreshed').touch()%0A%20%20%20%20return%20(cris_compl_df%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20constants()%3A%0A%20%20%20%20%23%20define%20static%20lookup%20lists%20and%20brand%20colours%20used%20across%20UI%20and%20charts%0A%20%20%20%20CERIF_ENTITIES%20%3D%20%5B%0A%20%20%20%20%20%20%20%20'Outputs%3A%20Publications'%2C%0A%20%20%20%20%20%20%20%20'Outputs%3A%20Products'%2C%0A%20%20%20%20%20%20%20%20'Core%3A%20Organisation%20units'%2C%0A%20%20%20%20%20%20%20%20'Core%3A%20Persons'%2C%0A%20%20%20%20%20%20%20%20'Core%3A%20Projects'%2C%0A%20%20%20%20%5D%0A%20%20%20%20SOURCES%20%3D%20%5B'OpenAlex'%2C%20'OpenAIRE'%2C%20'Crossref'%2C%20'ORCID'%2C%20'ROR'%2C%20'DataCite'%5D%0A%20%20%20%20PUB_TYPES%20%3D%20%5B'All'%2C%20'Journal%20Article'%2C%20'Conference%20Paper'%2C%20'Book%20Chapter'%2C%20'Preprint'%2C%20'Thesis'%2C%20'Report'%5D%0A%20%20%20%20GROUPING_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'UNL'%3A%20%20%20'UNL%20%E2%80%94%20Research%20Universities'%2C%0A%20%20%20%20%20%20%20%20'VH'%3A%20%20%20%20'VH%20%E2%80%94%20Universities%20of%20Applied%20Sciences'%2C%0A%20%20%20%20%20%20%20%20'KNAW'%3A%20%20'KNAW%20%E2%80%94%20Royal%20Academy%20Institutes'%2C%0A%20%20%20%20%20%20%20%20'NFU'%3A%20%20%20'NFU%20%E2%80%94%20University%20Medical%20Centres'%2C%0A%20%20%20%20%20%20%20%20'NWO'%3A%20%20%20'NWO%20%E2%80%94%20Research%20Council'%2C%0A%20%20%20%20%20%20%20%20'NWO-i'%3A%20'NWO-i%20%E2%80%94%20NWO%20Institutes'%2C%0A%20%20%20%20%20%20%20%20'GOV'%3A%20%20%20'GOV%20%E2%80%94%20Government%20Research%20Orgs'%2C%0A%20%20%20%20%20%20%20%20'INDP'%3A%20%20'INDP%20%E2%80%94%20Independent%20Institutes'%2C%0A%20%20%20%20%20%20%20%20'UN'%3A%20%20%20%20'UN%20%E2%80%94%20Other%20%2F%20International'%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20CERIF_ENTITIES%2C%20GROUPING_LABELS%2C%20PUB_TYPES%2C%20SOURCES%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20ui_base_filters(CERIF_ENTITIES%2C%20GROUPING_LABELS%2C%20PUB_TYPES%2C%20SOURCES%2C%20mo)%3A%0A%20%20%20%20%23%20create%20sector%2Ftype%2Fsource%20widgets%20%E2%80%94%20these%20must%20exist%20before%20org_select%20so%20that%0A%20%20%20%20%23%20org_select%20options%20can%20be%20filtered%20reactively%20by%20group_select%20and%20barcelona_toggle%0A%20%20%20%20group_select%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3Dlist(GROUPING_LABELS.keys())%2C%0A%20%20%20%20%20%20%20%20value%3Dlist(GROUPING_LABELS.keys())%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Alayers')%7D%20Sector%20Group%22%2C%0A%20%20%20%20)%0A%20%20%20%20barcelona_toggle%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Aaward')%7D%20Barcelona%20Declaration%20signatories%20only%22%2C%0A%20%20%20%20)%0A%20%20%20%20entity_select%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3DCERIF_ENTITIES%2C%0A%20%20%20%20%20%20%20%20value%3D%5B'Outputs%3A%20Publications'%5D%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Aboxes')%7D%20CERIF%20Entity%22%2C%0A%20%20%20%20)%0A%20%20%20%20source_select%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3DSOURCES%2C%0A%20%20%20%20%20%20%20%20value%3D%5B'OpenAlex'%5D%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Adatabase')%7D%20Primary%20Source%22%2C%0A%20%20%20%20)%0A%20%20%20%20pub_type_select%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3DPUB_TYPES%2C%0A%20%20%20%20%20%20%20%20value%3D%5B'All'%5D%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Afile-type')%7D%20Type%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20barcelona_toggle%2C%0A%20%20%20%20%20%20%20%20entity_select%2C%0A%20%20%20%20%20%20%20%20group_select%2C%0A%20%20%20%20%20%20%20%20pub_type_select%2C%0A%20%20%20%20%20%20%20%20source_select%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20ui_org_select(barcelona_toggle%2C%20group_select%2C%20mo%2C%20nl_baseline_df%2C%20pl)%3A%0A%20%20%20%20%23%20build%20org_select%20options%20filtered%20by%20the%20current%20sector%20group%20and%20Barcelona%20toggle%0A%20%20%20%20_opts%20%3D%20nl_baseline_df%0A%20%20%20%20if%20group_select.value%3A%0A%20%20%20%20%20%20%20%20_opts%20%3D%20_opts.filter(pl.col('grouping').is_in(group_select.value))%0A%20%20%20%20if%20barcelona_toggle.value%3A%0A%20%20%20%20%20%20%20%20_opts%20%3D%20_opts.filter(pl.col('barcelona_signatory'))%0A%20%20%20%20_org_options%20%3D%20sorted(_opts%5B'full_name'%5D.to_list())%0A%20%20%20%20_default%20%3D%20%5Bv%20for%20v%20in%20%5B'University%20of%20Amsterdam'%5D%20if%20v%20in%20_org_options%5D%0A%20%20%20%20org_select%20%3D%20mo.ui.multiselect(%0A%20%20%20%20%20%20%20%20options%3D_org_options%2C%0A%20%20%20%20%20%20%20%20value%3D_default%2C%0A%20%20%20%20%20%20%20%20label%3Df%22%7Bmo.icon('lucide%3Alandmark')%7D%20Organisation%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(org_select%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20selected_org(%0A%20%20%20%20barcelona_toggle%2C%0A%20%20%20%20group_select%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20nl_openalex_orgs_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A)%3A%0A%20%20%20%20%23%20apply%20sector-group%20and%20Barcelona%20Declaration%20filters%20to%20the%20baseline%0A%20%20%20%20_filtered%20%3D%20nl_baseline_df%0A%20%20%20%20if%20group_select.value%3A%0A%20%20%20%20%20%20%20%20_filtered%20%3D%20_filtered.filter(pl.col('grouping').is_in(group_select.value))%0A%20%20%20%20if%20barcelona_toggle.value%3A%0A%20%20%20%20%20%20%20%20_filtered%20%3D%20_filtered.filter(pl.col('barcelona_signatory'))%0A%20%20%20%20filtered_baseline%20%3D%20_filtered%0A%0A%20%20%20%20%23%20resolve%20selected%20org%20names%20%E2%86%92%20RORs%20%E2%86%92%20OpenAlex%20rows%20(for%20KPI%20cards)%0A%20%20%20%20_sel_rors%20%3D%20(%0A%20%20%20%20%20%20%20%20nl_baseline_df%0A%20%20%20%20%20%20%20%20.filter(pl.col('full_name').is_in(org_select.value))%0A%20%20%20%20%20%20%20%20%5B'ror'%5D.drop_nulls().to_list()%0A%20%20%20%20)%0A%20%20%20%20sel_org%20%3D%20nl_openalex_orgs_df.filter(pl.col('ror').is_in(_sel_rors))%0A%20%20%20%20return%20filtered_baseline%2C%20sel_org%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20header(mo)%3A%0A%20%20%20%20%23%20render%20the%20dashboard%20title%20and%20subtitle%20as%20markdown%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20ORI%20Data%20Quality%20Dashboard%0A%20%20%20%20**Metadata%20completeness%2C%20coverage%20%26%20enrichment%20for%20Dutch%20research%20organisations**%0A%20%20%20%20*(OpenAlex%20%C2%B7%20OpenAIRE%20%C2%B7%20Crossref%20%C2%B7%20ORCID%20%E2%80%94%20Barcelona%20Declaration%20on%20Open%20Research%20Information)*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20sidebar(%0A%20%20%20%20barcelona_toggle%2C%0A%20%20%20%20cache_last_refreshed%2C%0A%20%20%20%20entity_select%2C%0A%20%20%20%20group_select%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pub_type_select%2C%0A%20%20%20%20refresh_btn%2C%0A%20%20%20%20source_select%2C%0A)%3A%0A%20%20%20%20%23%20stack%20filter%20dropdowns%20and%20mount%20them%20in%20the%20marimo%20sidebar%0A%20%20%20%20filters%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Filters%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20org_select%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20group_select%2C%0A%20%20%20%20%20%20%20%20barcelona_toggle%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20entity_select%2C%0A%20%20%20%20%20%20%20%20source_select%2C%0A%20%20%20%20%20%20%20%20pub_type_select%2C%0A%20%20%20%20%5D%2C%20gap%3D1%2C%20align%3D'end')%0A%0A%20%20%20%20_last_refreshed_label%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22Last%20refreshed%3A%20**%7Bcache_last_refreshed%7D**%22%0A%20%20%20%20%20%20%20%20if%20cache_last_refreshed%0A%20%20%20%20%20%20%20%20else%20%22_Not%20yet%20cached%20%E2%80%94%20queries%20ran%20live%20on%20first%20load_%22%0A%20%20%20%20)%0A%20%20%20%20_refresh_section%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Data%20Cache%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Refresh%20re-runs%20all%20source%20queries.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22OpenAlex%20and%20OpenAIRE%20scans%20take%20**30%2B%20minutes**.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D'warn'%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20refresh_btn%2C%0A%20%20%20%20%20%20%20%20mo.md(_last_refreshed_label)%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%0A%20%20%20%20mo.sidebar(mo.vstack(%5Bfilters%2C%20_refresh_section%5D%2C%20gap%3D2)%2C%20width%3D%22350px%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20overview(%0A%20%20%20%20cris_pubs_df%2C%0A%20%20%20%20filtered_baseline%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_baseline_df%2C%0A%20%20%20%20nl_datasources_df%2C%0A%20%20%20%20nl_endpoint_df%2C%0A%20%20%20%20nl_openaire_orgs_df%2C%0A%20%20%20%20openaire_pubs_df%2C%0A%20%20%20%20openalex_works_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A)%3A%0A%20%20%20%20%23%20build%20the%20overview%20tab%3A%20KPI%20stat%20cards%2C%20baseline%20org%20table%2C%20and%20getting-started%20guide%0A%20%20%20%20_n_baseline%20%20%20%20%3D%20nl_baseline_df.height%0A%20%20%20%20_n_filtered%20%20%20%20%3D%20filtered_baseline.height%0A%20%20%20%20_n_barcelona%20%20%20%3D%20nl_baseline_df.filter(pl.col('barcelona_signatory')).height%0A%20%20%20%20_n_oa_orgs%20%20%20%20%20%3D%20nl_openaire_orgs_df.height%0A%20%20%20%20_n_ds_links%20%20%20%20%3D%20nl_endpoint_df.height%0A%20%20%20%20_n_datasources%20%3D%20nl_datasources_df.height%0A%0A%20%20%20%20%23%20Get%20record%20counts%20from%20sources%0A%20%20%20%20_openalex_works%20%3D%20openalex_works_df%5B'openalex_works_count'%5D%5B0%5D%20if%20openalex_works_df.height%20%3E%200%20else%200%0A%20%20%20%20_openaire_pubs%20%3D%20openaire_pubs_df%5B'openaire_pubs_count'%5D%5B0%5D%20if%20openaire_pubs_df.height%20%3E%200%20else%200%0A%20%20%20%20_cris_pubs%20%3D%20cris_pubs_df%5B'cris_pubs_count'%5D%5B0%5D%20if%20cris_pubs_df.height%20%3E%200%20else%200%0A%0A%20%20%20%20%23%20Build%20caption%20showing%20selected%20institution(s)%2C%20truncated%20if%20too%20many%0A%20%20%20%20_sel%20%3D%20org_select.value%0A%20%20%20%20_sel_caption%20%3D%20(%0A%20%20%20%20%20%20%20%20'%2C%20'.join(_sel%5B%3A2%5D)%20%2B%20(f'%20%2B%7Blen(_sel)-2%7D%20more'%20if%20len(_sel)%20%3E%202%20else%20'')%0A%20%20%20%20%20%20%20%20if%20_sel%20else%20'(none%20selected)'%0A%20%20%20%20)%0A%0A%20%20%20%20_kpis%20%3D%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_n_filtered%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22NL%20Research%20Orgs%20(filtered)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%7B_n_baseline%7D%20total%20in%20Zenodo%20baseline%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_n_barcelona%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Barcelona%20Declaration%20NL%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22Signatories%20matched%20by%20ROR%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_openalex_works%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22OpenAlex%20Works%20(est.)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D_sel_caption%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_openaire_pubs%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22OpenAIRE%20Publications%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D_sel_caption%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_cris_pubs%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22CRIS%20Publications%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D_sel_caption%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_n_ds_links%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Datasource%20%2F%20CRIS%20Links%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%7B_n_datasources%7D%20unique%20datasources%20in%20OpenAIRE%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%227%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Sources%20monitored%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22OpenAlex%2C%20OpenAIRE%2C%20Crossref%2C%20ORCID%2C%20ROR%2C%20DataCite%2C%20CRIS%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D3%2C%20wrap%3DTrue)%0A%0A%20%20%20%20_SECTOR_FULL%20%3D%20%7B%0A%20%20%20%20%20%20%20%20'UNL'%3A%20'Research%20Universities'%2C%20'VH'%3A%20'Univ.%20Applied%20Sciences'%2C%0A%20%20%20%20%20%20%20%20'KNAW'%3A%20'Royal%20Academy%20Institutes'%2C%20'NFU'%3A%20'Univ.%20Medical%20Centres'%2C%0A%20%20%20%20%20%20%20%20'NWO'%3A%20'Research%20Council'%2C%20'NWO-i'%3A%20'NWO%20Institutes'%2C%0A%20%20%20%20%20%20%20%20'GOV'%3A%20'Government%20Research'%2C%20'INDP'%3A%20'Independent%20Institutes'%2C%0A%20%20%20%20%20%20%20%20'UN'%3A%20'Other%20%2F%20International'%2C%0A%20%20%20%20%7D%0A%20%20%20%20_org_tbl_data%20%3D%20filtered_baseline.with_columns(%0A%20%20%20%20%20%20%20%20pl.col('grouping').replace(_SECTOR_FULL).alias('Sector')%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col('barcelona_signatory')).then(pl.lit('%E2%9C%93')).otherwise(pl.lit('')).alias('Barcelona')%2C%0A%20%20%20%20).select(%5B%0A%20%20%20%20%20%20%20%20pl.col('full_name').alias('Organisation')%2C%0A%20%20%20%20%20%20%20%20pl.col('acronym').alias('Acronym')%2C%0A%20%20%20%20%20%20%20%20pl.col('Sector')%2C%0A%20%20%20%20%20%20%20%20pl.col('ror').alias('ROR')%2C%0A%20%20%20%20%20%20%20%20pl.col('Barcelona')%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_guide%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Getting%20started%0A%0A%20%20%20%20Use%20the%20**filters**%20(left%20panel)%20to%20focus%20on%20a%20specific%20organisation%2C%20sector%20group%2C%20or%20Barcelona%20Declaration%20signatories.%0A%20%20%20%20The%20tabs%20below%20explore%20different%20aspects%20of%20data%20quality%3A%0A%0A%20%20%20%20-%20**Completeness**%20%E2%80%94%20which%20metadata%20fields%20are%20present%2C%20and%20for%20what%20share%20of%20records%0A%20%20%20%20-%20**Coverage**%20%E2%80%94%20which%20records%20appear%20in%20which%20open%20sources%2C%20and%20where%20there%20are%20gaps%0A%20%20%20%20-%20**Accuracy**%20%E2%80%94%20how%20correctly%20formatted%20and%20valid%20the%20field%20values%20are%0A%20%20%20%20-%20**Enrichment**%20%E2%80%94%20opportunities%20to%20add%20missing%20identifiers%20from%20external%20registries%0A%0A%20%20%20%20Data%20is%20drawn%20from%20the%20ORI%20DuckLake%20catalog%20(Parquet%20snapshots%20on%20SURF%20Object%20Store).%0A%20%20%20%20*Part%20of%20the%20%5BPID%20to%20Portal%5D(https%3A%2F%2Fcommunities.surf.nl%2Fen%2Fopen-research-information)%20project.*%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_overview_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20_kpis%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22%23%23%23%20NL%20Research%20Organisations%20*(source%3A%20%5BZenodo%20baseline%5D(https%3A%2F%2Fzenodo.org%2Frecords%2F18957154))*%20%E2%80%94%20%7B_n_filtered%7D%20of%20%7B_n_baseline%7D%20shown%22)%2C%0A%20%20%20%20%20%20%20%20mo.ui.table(_org_tbl_data.to_pandas()%2C%20selection%3DNone%2C%20page_size%3D15)%2C%0A%20%20%20%20%20%20%20%20_guide%2C%0A%20%20%20%20%5D%2C%20gap%3D4)%0A%20%20%20%20_overview_content%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20completeness(%0A%20%20%20%20alt%2C%0A%20%20%20%20cris_compl_df%2C%0A%20%20%20%20entity_select%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20nl_openalex_orgs_df%2C%0A%20%20%20%20openaire_compl_df%2C%0A%20%20%20%20openalex_compl_df%2C%0A%20%20%20%20org_select%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20sel_org%2C%0A)%3A%0A%20%20%20%20%23%20build%20the%20completeness%20tab%3A%20per-source%20publication%20field%20completeness%20and%20institution%20identifier%20completeness%0A%0A%20%20%20%20def%20_make_compl_chart(df%2C%20title)%3A%0A%20%20%20%20%20%20%20%20_bar%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(df.to_pandas())%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('pct%3AQ'%2C%20title%3D'Completeness%20%25'%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%20100%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('field%3AN'%2C%20sort%3D'-x'%2C%20title%3D'')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'pct%3AQ'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B0%2C%2050%2C%2080%2C%20100%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B'%23e74c3c'%2C%20'%23f39c12'%2C%20'%23f39c12'%2C%20'%232ecc71'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('field%3AN'%2C%20title%3D'Field')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('pct%3AQ'%2C%20title%3D'Completeness%20%25'%2C%20format%3D'.1f')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('has_value%3AQ'%2C%20title%3D'Records%20with%20field'%2C%20format%3D'%2C')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('missing%3AQ'%2C%20title%3D'Missing'%2C%20format%3D'%2C')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.properties(title%3Dtitle%2C%20height%3Dmax(220%2C%20len(df)%20*%2028)%2C%20width%3D'container')%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_text%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20alt.Chart(df.to_pandas())%0A%20%20%20%20%20%20%20%20%20%20%20%20.mark_text(dx%3D4%2C%20align%3D'left')%0A%20%20%20%20%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('pct%3AQ')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('field%3AN'%2C%20sort%3D'-x')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dalt.Text('pct%3AQ'%2C%20format%3D'.1f')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20(_bar%20%2B%20_text).configure_view(strokeWidth%3D0)%0A%0A%20%20%20%20def%20_make_gap_stats(df)%3A%0A%20%20%20%20%20%20%20%20return%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7Brow%5B'pct'%5D%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Drow%5B'label'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20caption%3Df%22%7Brow%5B'missing'%5D%3A%2C%7D%20missing%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20row%20in%20df.sort('pct').head(5).to_dicts()%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2%2C%20wrap%3DTrue)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Per-source%20publication%20completeness%20tabs%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_pub_tabs%20%3D%20mo.tabs(%7B%0A%20%20%20%20%20%20%20%20'OpenAlex'%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f'*Fields%20checked%20per%20work%20%E2%80%94%20first%20parquet%20shard%20(%7Bopenalex_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20works).%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Abstract%20%3D%20inverted-index%20present%3B%20ROR%2FORCID%20checked%20in%20authorships%20array.*')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_gap_stats(openalex_compl_df)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_compl_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20openalex_compl_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'OpenAlex%20works%20completeness%20%E2%80%94%20sample%20(%7Bopenalex_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20works)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20'OpenAIRE'%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f'*Fields%20checked%20per%20publication%20%E2%80%94%20first%20parquet%20shard%20(%7Bopenaire_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20pubs).%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'ROR%20checked%20in%20%60organizations%5B%5D.pids%60%3B%20ORCID%20in%20%60authors%5B%5D.pid%60.%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Abstract%20and%20Dutch%20corresponding%20author%20not%20available%20in%20this%20schema.*')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_gap_stats(openaire_compl_df)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_compl_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20openaire_compl_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'OpenAIRE%20publications%20completeness%20%E2%80%94%20sample%20(%7Bopenaire_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20pubs)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20'CRIS'%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f'*Fields%20checked%20per%20publication%20%E2%80%94%20full%20table%20(%7Bcris_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20pubs).%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'ROR%20is%20repository-level%20(institution)%2C%20not%20per-author.%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'ORCID%20and%20funder%20metadata%20not%20available%20in%20CERIF-XML%20schema.*')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_gap_stats(cris_compl_df)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_make_compl_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cris_compl_df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'CRIS%20publications%20completeness%20%E2%80%94%20full%20table%20(%7Bcris_compl_df%5B%22total%22%5D%5B0%5D%3A%2C%7D%20pubs)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Institutions%20identifier%20completeness%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_id_fields%20%3D%20%5B'has_ror'%2C%20'has_grid'%2C%20'has_wikidata'%2C%20'has_wikipedia'%2C%20'has_homepage'%5D%0A%20%20%20%20_id_labels%20%3D%20%5B'ROR'%2C%20'GRID'%2C%20'Wikidata'%2C%20'Wikipedia'%2C%20'Homepage%20URL'%5D%0A%20%20%20%20_id_pcts%20%20%20%3D%20%5B%0A%20%20%20%20%20%20%20%20round(nl_openalex_orgs_df%5Bf%5D.sum()%20*%20100%20%2F%20nl_openalex_orgs_df.height%2C%201)%0A%20%20%20%20%20%20%20%20for%20f%20in%20_id_fields%0A%20%20%20%20%5D%0A%20%20%20%20_inst_compl_df%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'Identifier'%3A%20_id_labels%2C%0A%20%20%20%20%20%20%20%20'pct'%3A%20%20%20%20%20%20%20%20_id_pcts%2C%0A%20%20%20%20%20%20%20%20'count'%3A%20%20%20%20%20%20%5Bnl_openalex_orgs_df%5Bf%5D.sum()%20for%20f%20in%20_id_fields%5D%2C%0A%20%20%20%20%20%20%20%20'total'%3A%20%20%20%20%20%20%5Bnl_openalex_orgs_df.height%5D%20*%205%2C%0A%20%20%20%20%7D)%0A%20%20%20%20_inst_bar%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_inst_compl_df.to_pandas())%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('pct%3AQ'%2C%20title%3D'%25%20of%20NL%20institutions'%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%20105%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('Identifier%3AN'%2C%20sort%3D'-x'%2C%20title%3D'')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'pct%3AQ'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%2050%2C%2080%2C%20100%5D%2C%20range%3D%5B'%23e74c3c'%2C%20'%23f39c12'%2C%20'%23f39c12'%2C%20'%232ecc71'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('Identifier%3AN')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('pct%3AQ'%2C%20format%3D'.1f'%2C%20title%3D'%25')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('count%3AQ'%2C%20title%3D'%23%20institutions')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip('total%3AQ'%2C%20title%3D'total%20NL%20institutions')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df'Institution%20identifier%20completeness%20%E2%80%94%20%7Bnl_openalex_orgs_df.height%7D%20NL%20institutions%20(OpenAlex)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D200%2C%20width%3D'container'%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Selected%20org%20detail%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_sel_fields%20%3D%20%5B%5D%0A%20%20%20%20for%20_f%2C%20_lbl%20in%20zip(_id_fields%2C%20_id_labels)%3A%0A%20%20%20%20%20%20%20%20_val%20%3D%20sel_org%5B_f%5D.any()%20if%20sel_org.height%20%3E%200%20else%20False%0A%20%20%20%20%20%20%20%20_sel_fields.append(%7B'Identifier'%3A%20_lbl%2C%20'Present'%3A%20'%E2%9C%93'%20if%20_val%20else%20'%E2%9C%97'%7D)%0A%0A%20%20%20%20_sel_tbl%20%3D%20mo.ui.table(%0A%20%20%20%20%20%20%20%20pl.DataFrame(_sel_fields).to_pandas()%2C%0A%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20label%3Df%22Identifier%20completeness%20%E2%80%94%20%7B'%2C%20'.join(org_select.value)%7D%22%2C%0A%20%20%20%20)%20if%20sel_org.height%20%3E%200%20else%20mo.md('_(no%20institution%20selected)_')%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Assemble%20completeness%20tab%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_pub_section%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%20Publications%20metadata%20completeness%20*(per-source%2C%20first%20parquet%20shard)*')%2C%0A%20%20%20%20%20%20%20%20_pub_tabs%2C%0A%20%20%20%20%5D%2C%20gap%3D2)%0A%0A%20%20%20%20_inst_section%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%20Organisation%20identifier%20completeness%20*(OpenAlex%20NL%20institutions)*')%2C%0A%20%20%20%20%20%20%20%20_inst_bar%2C%0A%20%20%20%20%20%20%20%20_sel_tbl%2C%0A%20%20%20%20%5D%2C%20gap%3D2)%0A%0A%20%20%20%20_completeness_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20_pub_section%20if%20any(v.startswith('Outputs')%20for%20v%20in%20entity_select.value)%20else%20_inst_section%2C%0A%20%20%20%20%5D%2C%20gap%3D4)%0A%0A%20%20%20%20_completeness_content%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20coverage(alt%2C%20mo%2C%20nl_openaire_orgs_df%2C%20nl_openalex_orgs_df%2C%20pl)%3A%0A%20%20%20%20%23%20build%20the%20coverage%20tab%3A%20cross-source%20institution%20presence%20and%20PID%20completeness%20comparison%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Join%20OpenAlex%20institutions%20with%20OpenAIRE%20organizations%20by%20ROR%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_openalex_nl%20%3D%20nl_openalex_orgs_df.select(%5B%0A%20%20%20%20%20%20%20%20pl.col('display_name').alias('Institution')%2C%0A%20%20%20%20%20%20%20%20pl.col('ror')%2C%0A%20%20%20%20%20%20%20%20pl.col('works_count').alias('OpenAlex%20works')%2C%0A%20%20%20%20%20%20%20%20pl.col('has_grid').alias('OpenAlex%20GRID')%2C%0A%20%20%20%20%20%20%20%20pl.col('has_wikidata').alias('OpenAlex%20Wikidata')%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_openaire_nl%20%3D%20nl_openaire_orgs_df.filter(pl.col('ror').is_not_null()).select(%5B%0A%20%20%20%20%20%20%20%20pl.col('ror')%2C%0A%20%20%20%20%20%20%20%20pl.col('legalName').alias('OpenAIRE%20name')%2C%0A%20%20%20%20%20%20%20%20pl.col('isni').is_not_null().alias('OpenAIRE%20ISNI')%2C%0A%20%20%20%20%20%20%20%20pl.col('grid').is_not_null().alias('OpenAIRE%20GRID')%2C%0A%20%20%20%20%20%20%20%20pl.col('wikidata').is_not_null().alias('OpenAIRE%20Wikidata')%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_coverage_df%20%3D%20_openalex_nl.join(_openaire_nl%2C%20on%3D'ror'%2C%20how%3D'left').with_columns(%0A%20%20%20%20%20%20%20%20pl.col('OpenAIRE%20name').is_not_null().alias('In%20OpenAIRE')%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Coverage%20bar%3A%20how%20many%20NL%20universities%20are%20in%20OpenAlex%20vs%20OpenAIRE%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_n_in_openalex%20%20%3D%20_coverage_df.height%0A%20%20%20%20_n_in_openaire%20%20%3D%20_coverage_df.filter(pl.col('In%20OpenAIRE')).height%0A%20%20%20%20_n_only_openalex%20%3D%20_n_in_openalex%20-%20_n_in_openaire%0A%0A%20%20%20%20_bar_data%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'Source'%3A%20%5B'OpenAlex'%2C%20'OpenAIRE'%5D%2C%0A%20%20%20%20%20%20%20%20'Count'%3A%20%20%5B_n_in_openalex%2C%20_n_in_openaire%5D%2C%0A%20%20%20%20%20%20%20%20'Description'%3A%20%5B'NL%20education%20institutions'%2C%20'Matched%20via%20ROR'%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20_cov_bar%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_bar_data.to_pandas())%0A%20%20%20%20%20%20%20%20.mark_bar(cornerRadius%3D4)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('Source%3AN'%2C%20title%3D'')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('Count%3AQ'%2C%20title%3D'%23%20NL%20institutions')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color('Source%3AN'%2C%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B'OpenAlex'%2C%20'OpenAIRE'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B'%23009de0'%2C%20'%232ecc71'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B'Source%3AN'%2C%20'Count%3AQ'%2C%20'Description%3AN'%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D'NL%20institution%20coverage%20per%20source'%2C%20height%3D220%2C%20width%3D300)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20PID%20completeness%3A%20OpenAlex%20vs%20OpenAIRE%20side-by-side%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_pid_data%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'PID'%3A%20%5B'ROR'%2C%20'GRID'%2C%20'Wikidata'%5D%2C%0A%20%20%20%20%20%20%20%20'OpenAlex%20%25'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20round(_coverage_df%5B'has_ror'%5D.sum()%20*%20100%20%2F%20_coverage_df.height%2C%201)%20if%20'has_ror'%20in%20_coverage_df.columns%20else%20100.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(nl_openalex_orgs_df%5B'has_grid'%5D.sum()%20*%20100%20%2F%20nl_openalex_orgs_df.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(nl_openalex_orgs_df%5B'has_wikidata'%5D.sum()%20*%20100%20%2F%20nl_openalex_orgs_df.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20'OpenAIRE%20%25'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20round(_openaire_nl.height%20*%20100%20%2F%20_openalex_nl.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(_openaire_nl%5B'OpenAIRE%20GRID'%5D.sum()%20*%20100%20%2F%20_openaire_nl.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(_openaire_nl%5B'OpenAIRE%20Wikidata'%5D.sum()%20*%20100%20%2F%20_openaire_nl.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20_pid_long%20%3D%20_pid_data.unpivot(%0A%20%20%20%20%20%20%20%20index%3D'PID'%2C%20on%3D%5B'OpenAlex%20%25'%2C%20'OpenAIRE%20%25'%5D%2C%20variable_name%3D'Source'%2C%20value_name%3D'pct'%0A%20%20%20%20)%0A%0A%20%20%20%20_pid_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_pid_long.to_pandas())%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('pct%3AQ'%2C%20title%3D'%25%20with%20identifier'%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%20105%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('PID%3AN'%2C%20title%3D'')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color('Source%3AN'%2C%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3D%5B'OpenAlex%20%25'%2C%20'OpenAIRE%20%25'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B'%23009de0'%2C%20'%232ecc71'%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yOffset%3D'Source%3AN'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B'PID%3AN'%2C%20'Source%3AN'%2C%20alt.Tooltip('pct%3AQ'%2C%20format%3D'.1f')%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D'PID%20completeness%3A%20OpenAlex%20vs%20OpenAIRE%20(NL%20institutions)'%2C%20height%3D200%2C%20width%3D'container')%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20%23%20Coverage%20table%0A%20%20%20%20%23%20-----------------------------------------------------------------------%0A%20%20%20%20_cov_tbl_df%20%3D%20_coverage_df.select(%5B%0A%20%20%20%20%20%20%20%20'Institution'%2C%0A%20%20%20%20%20%20%20%20pl.lit('%E2%9C%93').alias('OpenAlex')%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col('In%20OpenAIRE')).then(pl.lit('%E2%9C%93')).otherwise(pl.lit('%E2%9C%97')).alias('OpenAIRE')%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col('OpenAlex%20GRID')).then(pl.lit('%E2%9C%93')).otherwise(pl.lit('%E2%9C%97')).alias('GRID')%2C%0A%20%20%20%20%20%20%20%20pl.when(pl.col('OpenAlex%20Wikidata')).then(pl.lit('%E2%9C%93')).otherwise(pl.lit('%E2%9C%97')).alias('Wikidata')%2C%0A%20%20%20%20%20%20%20%20pl.col('OpenAlex%20works')%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_cov_stats%20%3D%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(_n_in_openalex)%2C%20label%3D%22In%20OpenAlex%22%2C%20caption%3D%22NL%20education%20institutions%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(_n_in_openaire)%2C%20label%3D%22Matched%20in%20OpenAIRE%22%2C%20caption%3D%22via%20ROR%20linkage%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(_n_only_openalex)%2C%20label%3D%22Only%20in%20OpenAlex%22%2C%20caption%3D%22Not%20found%20in%20OpenAIRE%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%5D%2C%20gap%3D3)%0A%0A%20%20%20%20_coverage_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%20Coverage%20%E2%80%94%20NL%20institutions%20across%20open%20sources')%2C%0A%20%20%20%20%20%20%20%20mo.md('*Comparing%20which%20organisations%20appear%20in%20OpenAlex%20and%20OpenAIRE%2C%20matched%20via%20ROR.*')%2C%0A%20%20%20%20%20%20%20%20_cov_stats%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_cov_bar%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_pid_chart%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D4)%2C%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%23%20Institution%20%C3%97%20source%20coverage%20matrix')%2C%0A%20%20%20%20%20%20%20%20mo.ui.table(_cov_tbl_df.to_pandas()%2C%20selection%3DNone%2C%20page_size%3D20)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Tip%3A**%20Use%20the%20ROR%20to%20link%20the%20same%20organisation%20across%20sources.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Organisations%20appearing%20only%20in%20OpenAlex%20may%20need%20to%20be%20registered%20in%20OpenAIRE's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%5Bprovide.openaire.eu%5D(https%3A%2F%2Fprovide.openaire.eu).%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D'info'%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D4)%0A%0A%20%20%20%20_coverage_content%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20accuracy(alt%2C%20mo%2C%20nl_openalex_orgs_df%2C%20openalex_compl_df%2C%20pl)%3A%0A%20%20%20%20%23%20build%20the%20accuracy%20tab%3A%20identifier%20format%20validation%20checks%20(ROR%2C%20GRID%2C%20Wikidata)%0A%20%20%20%20_ror_df%20%3D%20nl_openalex_orgs_df.select(%5B%0A%20%20%20%20%20%20%20%20pl.col('display_name')%2C%0A%20%20%20%20%20%20%20%20pl.col('ror')%2C%0A%20%20%20%20%5D).with_columns(%5B%0A%20%20%20%20%20%20%20%20pl.col('ror').str.starts_with('https%3A%2F%2Fror.org%2F').alias('ror_format_valid')%2C%0A%20%20%20%20%20%20%20%20pl.col('ror').str.len_chars().alias('ror_length')%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_ror_valid_pct%20%3D%20round(_ror_df%5B'ror_format_valid'%5D.sum()%20*%20100%20%2F%20_ror_df.height%2C%201)%0A%0A%20%20%20%20_acc_data%20%3D%20pl.DataFrame(%7B%0A%20%20%20%20%20%20%20%20'Check'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20'ROR%20format%20valid%20(https%3A%2F%2Fror.org%2F...)'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'GRID%20format%20present'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Wikidata%20format%20valid%20(Q%20number)'%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20'Pass%20%25'%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_ror_valid_pct%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(nl_openalex_orgs_df%5B'has_grid'%5D.sum()%20*%20100%20%2F%20nl_openalex_orgs_df.height%2C%201)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20nl_openalex_orgs_df.filter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pl.col('has_wikidata')%20%26%20pl.col('wikidata_id').str.starts_with('Q')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20).height%20*%20100%20%2F%20nl_openalex_orgs_df.filter(pl.col('has_wikidata')).height%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20nl_openalex_orgs_df.filter(pl.col('has_wikidata')).height%20%3E%200%20else%200%2C%201%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20'Source'%3A%20%5B'OpenAlex%20NL%20institutions'%2C%20'OpenAlex%20NL%20institutions'%2C%20'OpenAlex%20NL%20institutions'%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20_acc_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_acc_data.to_pandas())%0A%20%20%20%20%20%20%20%20.mark_bar(cornerRadius%3D4)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X('Pass%20%25%3AQ'%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%20105%5D)%2C%20title%3D'Pass%20%25')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y('Check%3AN'%2C%20sort%3D'-x'%2C%20title%3D'')%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Pass%20%25%3AQ'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%2050%2C%2080%2C%20100%5D%2C%20range%3D%5B'%23e74c3c'%2C%20'%23f39c12'%2C%20'%23f39c12'%2C%20'%232ecc71'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B'Check%3AN'%2C%20alt.Tooltip('Pass%20%25%3AQ'%2C%20format%3D'.1f')%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D'Identifier%20format%20accuracy%20checks'%2C%20height%3D160%2C%20width%3D'container')%0A%20%20%20%20)%0A%0A%20%20%20%20_works_completeness_score%20%3D%20round(%0A%20%20%20%20%20%20%20%20openalex_compl_df.filter(pl.col('field').is_in(%5B'Title'%2C%20'DOI'%2C%20'Abstract'%5D))%5B'pct'%5D.mean()%2C%201%0A%20%20%20%20)%0A%0A%20%20%20%20_acc_kpis%20%3D%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_ror_valid_pct%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22ROR%20format%20valid%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22Institutions%20with%20correct%20ROR%20URI%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Df%22%7B_works_completeness_score%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Core%20fields%20avg%20(works)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22Title%20%2B%20DOI%20%2B%20Abstract%20completeness%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22%E2%9A%99%20Coming%20soon%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22ORCID%20checksum%20validation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caption%3D%22Requires%20author-level%20query%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D3)%0A%0A%20%20%20%20_accuracy_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%20Accuracy%20%E2%80%94%20identifier%20format%20%26%20value%20validation')%2C%0A%20%20%20%20%20%20%20%20mo.md('*Accuracy%20checks%20whether%20field%20values%20conform%20to%20the%20expected%20format%20or%20registry%20standard.*')%2C%0A%20%20%20%20%20%20%20%20_acc_kpis%2C%0A%20%20%20%20%20%20%20%20_acc_chart%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'About%20these%20checks'%3A%20mo.md(%22%22%22%0A%20%20%20%20**ROR%3A**%20Must%20match%20%60https%3A%2F%2Fror.org%2F%60%20followed%20by%20a%209-character%20alphanumeric%20identifier.%0A%20%20%20%20Example%3A%20%60https%3A%2F%2Fror.org%2F04dkp9463%60%0A%0A%20%20%20%20**ORCID%3A**%20Must%20match%20pattern%20%600000-0000-0000-000X%60%20(16%20digits%20with%20dashes%2C%20Luhn%20checksum).%0A%0A%20%20%20%20**DOI%3A**%20Must%20start%20with%20%6010.%60%20followed%20by%20registrant%20code%20and%20suffix.%0A%0A%20%20%20%20**Wikidata%3A**%20Entity%20IDs%20should%20start%20with%20%60Q%60%20followed%20by%20digits.%0A%0A%20%20%20%20Full%20record-level%20accuracy%20validation%20(DOI%20resolver%2C%20ORCID%20API%20check)%20is%20planned%20for%20a%20future%20version.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D%2C%20gap%3D4)%0A%0A%20%20%20%20_accuracy_content%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20enrichment(mo%2C%20nl_openalex_orgs_df%2C%20openalex_compl_df%2C%20pl)%3A%0A%20%20%20%20%23%20build%20the%20enrichment%20tab%3A%20prioritised%20recommendations%20to%20fill%20metadata%20gaps%0A%20%20%20%20_missing_pub_fields%20%3D%20openalex_compl_df.filter(pl.col('pct')%20%3C%2080).sort('pct').to_dicts()%0A%20%20%20%20_missing_inst_fields%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%20for%20f%2C%20has%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20('GRID'%2C%20nl_openalex_orgs_df%5B'has_grid'%5D.mean()%20%3C%200.95)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20('Wikidata'%2C%20nl_openalex_orgs_df%5B'has_wikidata'%5D.mean()%20%3C%200.95)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20('Wikipedia'%2C%20nl_openalex_orgs_df%5B'has_wikipedia'%5D.mean()%20%3C%200.95)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20('Homepage%20URL'%2C%20nl_openalex_orgs_df%5B'has_homepage'%5D.mean()%20%3C%200.95)%2C%0A%20%20%20%20%20%20%20%20%5D%20if%20has%0A%20%20%20%20%5D%0A%0A%20%20%20%20INTERVENTIONS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'DOI'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'High'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Register%20missing%20DOIs%20via%20Crossref'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bopenalex_compl_df.filter(pl.col('field')%3D%3D'DOI')%5B'missing'%5D%5B0%5D%3A%2C%7D%20works%20lack%20a%20DOI.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Register%20publications%20with%20Crossref%20to%20obtain%20DOIs.%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'This%20dramatically%20improves%20discoverability%20and%20linking%20across%20sources.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'High'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Fwww.crossref.org%2Fdocumentation%2F'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'Crossref%20Docs'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'ORCID'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'High'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Link%20ORCID%20profiles%20to%20publications'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Author%20ORCIDs%20are%20missing%20from%20many%20records.%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Enable%20institutional%20ORCID%20integration%20to%20auto-link%20author%20profiles%20to%20outputs.%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Improves%20attribution%20and%20reporting%20quality.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'High'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Forcid.org%2Forganizations%2Fintegrators'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'ORCID%20Integration%20Guide'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'Funder'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Enrich%20grant%20metadata%20via%20OpenAIRE'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bopenalex_compl_df.filter(pl.col('field')%3D%3D'Funder%20%2F%20Grant')%5B'missing'%5D%5B0%5D%3A%2C%7D%20works%20lack%20funder%20information.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Use%20the%20OpenAIRE%20API%20to%20match%20publications%20to%20funded%20projects%20and%20add%20grant%20DOIs.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'High'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Fapi.openaire.eu%2F'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'OpenAIRE%20API'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'Creative%20Commons%20licence'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Add%20Creative%20Commons%20licence%20to%20open%20access%20works'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bopenalex_compl_df.filter(pl.col('field')%3D%3D'Creative%20Commons%20licence')%5B'missing'%5D%5B0%5D%3A%2C%7D%20works%20lack%20a%20CC%20licence.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Check%20Unpaywall%20and%20re-harvest%20OA%20location%20data%20to%20obtain%20licence%20strings.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Funpaywall.org%2F'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'Unpaywall%20API'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'Abstract'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Harvest%20abstracts%20from%20publisher%20APIs'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bopenalex_compl_df.filter(pl.col('field')%3D%3D'Abstract')%5B'missing'%5D%5B0%5D%3A%2C%7D%20works%20have%20no%20abstract.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Enrich%20via%20Crossref%2C%20Semantic%20Scholar%2C%20or%20Europe%20PMC%20APIs.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'Medium'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Fapi.semanticscholar.org%2F'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'Semantic%20Scholar%20API'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'field'%3A%20'Wikidata'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'priority'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'title'%3A%20'Add%20Wikidata%20IDs%20to%20institutions'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'description'%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bnl_openalex_orgs_df.filter(~pl.col('has_wikidata')).height%7D%20NL%20institutions%20are%20missing%20Wikidata%20IDs.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20'Wikidata%20enables%20linked%20data%20connections%20across%20multiple%20knowledge%20bases.'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'effort'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'impact'%3A%20'Low'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_url'%3A%20'https%3A%2F%2Fwww.wikidata.org%2F'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'action_label'%3A%20'Wikidata'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20_effort_label%20%3D%20%7B'High'%3A%20'%F0%9F%94%B4%20High%20effort'%2C%20'Medium'%3A%20'%F0%9F%9F%A1%20Medium'%2C%20'Low'%3A%20'%F0%9F%9F%A2%20Low%20effort'%7D%0A%0A%20%20%20%20def%20_make_item(iv)%3A%0A%20%20%20%20%20%20%20%20return%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%5B%7Biv%5B'priority'%5D%7D%5D**%20%7Biv%5B'title'%5D%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22*%7B_effort_label%5Biv%5B'effort'%5D%5D%7D*%20%C2%B7%20impact%3A%20**%7Biv%5B'impact'%5D%7D**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%20justify%3D'space-between'%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(iv%5B'description'%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%E2%86%92%20%5B%7Biv%5B'action_label'%5D%7D%5D(%7Biv%5B'action_url'%5D%7D)%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D1)%0A%0A%20%20%20%20_enrichment_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md('%23%23%23%20Enrichment%20opportunities')%2C%0A%20%20%20%20%20%20%20%20mo.md('*Priority%20recommendations%20to%20improve%20metadata%20completeness%2C%20ranked%20by%20impact.*')%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(sum(1%20for%20i%20in%20INTERVENTIONS%20if%20i%5B'priority'%5D%20%3D%3D%20'High'))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22High-priority%20actions%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(sum(1%20for%20i%20in%20INTERVENTIONS%20if%20i%5B'priority'%5D%20%3D%3D%20'Medium'))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Medium-priority%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(value%3Dstr(sum(1%20for%20i%20in%20INTERVENTIONS%20if%20i%5B'priority'%5D%20%3D%3D%20'Low'))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Low-priority%22%2C%20bordered%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D3)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7Biv%5B'title'%5D%3A%20_make_item(iv)%20for%20iv%20in%20INTERVENTIONS%7D)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Next%20steps%3A**%20Implement%20the%20suggested%20enrichment%20pipelines%20and%20re-check%20this%20dashboard.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Questions%3F%20Contact%20%5Bori-team%40surf.nl%5D(mailto%3Aori-team%40surf.nl).%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D'success'%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D%2C%20gap%3D4)%0A%0A%20%20%20%20_enrichment_content%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20divider(mo)%3A%0A%20%20%20%20%23%20render%20a%20horizontal%20rule%20to%20visually%20separate%20the%20main%20content%20from%20the%20footer%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20footer(mo%2C%20org_select)%3A%0A%20%20%20%20from%20datetime%20import%20date%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22font-size%3A.75rem%3Bcolor%3A%23999%3Bdisplay%3Aflex%3Bjustify-content%3Aspace-between%3Bflex-wrap%3Awrap%3B%22%3E%0A%20%20%20%20%3Cspan%3EORI%20Quality%20Dashboard%20%C2%B7%20PID%20to%20Portal%20%C2%B7%20SURF%20ORI%20team%3C%2Fspan%3E%0A%20%20%20%20%3Cspan%3EOrganisation%3A%20%7B'%2C%20'.join(org_select.value)%20or%20'(none)'%7D%20%C2%B7%20Data%3A%20OpenAlex%20%2F%20OpenAIRE%20via%20SURF%20DuckLake%20%C2%B7%20%7Bdate.today()%7D%3C%2Fspan%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A