Видение ВМО в области науки и техники: продвижение метеорологии и климатологии с помощью науки о данных

Внедрите модель управления, ориентированную на данные, для анализа погоды и климата уже сегодня. Эта миссия сосредоточена на стандартизированных метаданных, надежных проверках качества данных и открытом, безопасном обмене данными между агентствами и границами. Цель: ежедневно принимать 2 петабайта новых наблюдений со спутников, самолетов, наземных станций, океанских датчиков и радиолокационных сетей, с задержкой от начала до конца менее 5 минут для критически важных наборов данных. Создайте централизованного брокера данных, общий каталог и прозрачную структуру доступа, обслуживающую исследователей, операторов и лиц, принимающих решения.

Создайте модульный стек слияния данных, который объединяет текущие наблюдения с результатами моделей. Используйте общую модель данных и принципы FAIR, чтобы обеспечить возможность поиска, доступность, совместимость и повторное использование данных. Внедрите реестр метаданных с машинно-обрабатываемыми дескрипторами и отслеживанием происхождения данных. Разверните масштабируемые микросервисы, которые принимают, проверяют и публикуют данные в вычислительную сеть 24/7.

Инвестируйте в наращивание потенциала и удержание талантов: ежегодно обучайте 250 специалистов по анализу данных и 180 метеорологов; финансируйте 5 совместных проектов по анализу данных между членами ВМО ежегодно; обеспечьте как минимум 30% участие развивающихся регионов в партнерских программах.

Инструменты с открытым исходным кодом и воспроизводимые рабочие процессы становятся базовыми: внедрите xarray, Dask, Apache Arrow и панели управления на основе Jupyter; предоставьте шаблоны для воспроизводимых блокнотов; поддерживайте общий Git-репозиторий с конвейерами CI. Ежегодно определяйте 3 приоритетных пакета программного обеспечения для ускорения проверки прогнозов, обнаружения аномалий и анализа климатических сценариев.

Операционные показатели определяют успех: задержка для поверхностных наблюдений в реальном времени менее 3 минут; целевые показатели качества данных на уровне 95% точности для критически важных краткосрочных прогнозов; 90% основных наборов данных, опубликованных с машиночитаемыми метаданными; и 20-процентное годовое увеличение использования поддержки принятия решений на основе данных странами-членами.

Какие исследовательские приоритеты способствуют улучшению прогнозов погоды и климата?

Эта миссия сосредоточена на усилении интеграции данных и моделей для повышения точности прогнозов погоды и климата. Объединяя радиолокационные, спутниковые, поверхностные и натурные наблюдения с сопряженными моделями, мы можем сократить циклы обновления и уменьшить систематическую ошибку в разных масштабах.

Развивайте методы усвоения данных и ансамбли, чтобы предоставлять вероятностные прогнозы, поддерживающие принятие решений на основе оценки рисков. Создайте оптимизированные конвейеры, которые принимают наблюдения в течение нескольких часов и распространяют неопределенности через прогнозы на дни и сезоны.

Инвестируйте в надежные сети наблюдений, вычислительные мощности и междоменные связи для обеспечения согласованных начальных условий. Используйте машинное обучение для постобработки, коррекции систематических ошибок и быстрого обнаружения аномалий, сохраняя при этом физические ограничения.

Эта миссия требует тесного сотрудничества между агентствами, регионами и исследовательскими сообществами для обмена данными, эталонными показателями и программным обеспечением, ускоряя их внедрение в центры прогнозирования.

Ключевые направления исследований

Приоритет	Обоснование	Действия	Ключевые показатели эффективности
Комплексное усвоение данных по атмосфере-океану-суше-криосфере	Согласовывает начальные условия по доменам для уменьшения междоменных систематических ошибок.	Внедрить сопряженные EnKF/4D-Var, унифицировать QC, делиться пилотными наборами данных между центрами.	Снижение RMSE на 15-25% для прогнозов на 3–7 дней; задержка обновления < 3 часов для основных продуктов.
Оптимизация сети наблюдений и прием данных в реальном времени	Максимизирует эффективные наблюдения в окнах усвоения.	Приоритизировать спутники высокой надежности, расширить радиозонды и наземные сети в регионах с недостаточным обслуживанием, автоматизировать QC.	Улучшение покрытия на 20–40% в целевых регионах; задержка приема менее 1 часа.
Сопряжение климата и погоды для сезонных прогнозов	Улучшает инициализацию для прогнозов климатического масштаба и граничных условий.	Разработать бесшовное сопряжение между сезонными климатическими моделями и ежедневными погодными моделями; перекрестная проверка систематических ошибок.	Улучшение навыков прогнозирования на 2–6 месяцев; вероятностные показатели калибровки улучшены на 10–20%.
Количественная оценка неопределенности и постобработка с использованием машинного обучения	Предоставляет надежные вероятностные прогнозы и действенные показатели риска.	Использовать машинное обучение для изучения остаточных систематических ошибок, калибровки ансамблей, количественной оценки неопределенности; обеспечить соблюдение физических ограничений.	Улучшены показатели надежности; снижение недооценки дисперсии; индикаторы доверия пользователей.

Путь реализации и сотрудничество

Установите совместную программу исследований и разработок с четкими этапами на многолетние циклы и структуру управления для координации обмена данными и управления программным обеспечением. Создайте потенциал посредством программ обучения, общих наборов данных и инструментов с открытым исходным кодом, доступных национальным метеорологическим службам.

Как можно модернизировать всемирные сети наблюдений для получения данных в реальном времени?

Разверните модульные, совместимые сенсорные сети с обработкой на периферии для предоставления потоков данных, близких к реальному времени. Каждый узел объединяет измерения локально для быстрой проверки качества и пересылает проверенные данные в центральные узлы, снижая нагрузку на магистральную сеть и обеспечивая более быстрые оповещения.

Чтобы устранить пробелы в наблюдениях, увеличьте покрытие за счет сочетания недорогих поверхностных датчиков и улучшенных стационарных станций. Установите целевой показатель, согласно которому 90% критически важных наблюдений достигают центра обработки данных в течение пяти минут после сбора, и запланируйте добавление 100 новых микродатчиков на 1000 км² в приоритетных регионах в течение пяти лет. Включите переносные профилографы для быстрых сезонных кампаний.

Создайте многоуровневую нисходящую связь, используя региональные наземные станции, спутниковые каналы и плотные ретрансляционные узлы для сокращения задержки в разных регионах. Уделяйте приоритетное внимание районам, подверженным штормам, и прибрежным зонам, где быстрое обновление спасает жизни и имущество.

Примите открытые стандарты и общие форматы данных, такие как NetCDF, соглашения CF, SensorML и Информационную систему ВМО. Создайте общий API для приема данных и загружайте данные в региональные кубы данных с четким происхождением и точными временными метками для обеспечения отслеживаемости.

Автоматизируйте контроль качества на периферии с помощью облегченных проверок и обнаружения аномалий с помощью машинного обучения. Используйте автоматические флаги QC, проверку метаданных и перекрестную проверку с соседними датчиками, чтобы уменьшить количество ложных срабатываний и повысить уверенность в оповещениях.

Управление должно соответствовать миссии: обеспечьте соглашения о трансграничном обмене данными, стабильное финансирование технического обслуживания и надежную кибербезопасность с контролем доступа и журналами аудита. Создайте двухуровневую модель, в которой региональные узлы управляют локальным слиянием, а глобальный центр координирует стандарты, эталонные показатели и показатели прогресса.

Этапы реализации включают анализ пробелов, пилотные сети в различных климатических условиях, поэтапное расширение и непрерывный мониторинг задержки, времени бесперебойной работы и качества данных. Публикуйте панели мониторинга для заинтересованных сторон и создавайте потенциал посредством программ обучения, связанных с конвейером данных.

Какие стандарты данных и совместимость лежат в основе глобального видения?

Примите основной стек: CF-совместимый NetCDF-4 для данных по сетке, BUFR и GRIB для наблюдений и прогнозов, а также метаданные, выраженные в профилях ISO 19115/19139. Публикуйте данные с постоянными идентификаторами и четкими лицензиями и предоставляйте доступ через стандарты OGC API, чтобы обеспечить беспрепятственное использование между системами.

Эта миссия опирается на открытые, хорошо документированные стандарты, которые команды могут принимать постепенно. Создайте общую модель метаданных, основанную на профиле основных метаданных ВМО и ISO 19115, с контролируемым словарем для переменных, единиц измерения и происхождения. Прикрепите флаги качества данных и сведения о происхождении в машиночитаемой форме для поддержки автоматического обнаружения, цитирования и воспроизводимости.

Открытые интерфейсы подтверждают совместимость: реализуйте OGC API - Features и OGC API - Coverages, а также WMS/WMTS для визуального доступа при необходимости. Предоставляйте данные в нескольких кодировках (NetCDF/CF, JSON-LD для метаданных) и обеспечьте согласованные пространственные системы координат и временные оси по наборам данных.

Управление и администрирование обеспечивают согласованность: определите лицензирование, правила доступа и управление версиями; отслеживайте происхождение данных; требуйте полноты метаданных при приеме; ведите историю и журналы изменений. Используйте DOI для выпуска набора данных и присваивайте стабильные идентификаторы продуктам прогнозирования и потокам наблюдений.

План реализации включает многоинституциональные пилотные проекты со следующими целями: 80 % новых потоков данных, совместимых с CF, в течение двух лет; 90 % потоков прогнозов и наблюдений, доступных через API в течение 15 минут после создания; цель времени бесперебойной работы API составляет 99,5 %, а документация опубликована в центральном репозитории с примерами запросов.

Как ИИ, усвоение данных и HPC могут преобразовать прогностические навыки?

Немедленно примите трехуровневый стек: ИИ-заменители для быстрой физики подсетки, усвоение данных на основе ИИ для усиления анализа и рабочие процессы с поддержкой HPC для масштабирования ансамблей. Эта миссия согласует науку с операциями и обеспечивает более быстрый оборот и более высокую уверенность в прогнозах.

Краткое описание реализации

• ИИ-заменители: замените дорогостоящие компоненты подсетки, такие как радиационный перенос и микрофизика облаков, сетями с физической информацией, которые производят выходные данные при 1/2–1/5 вычислительных затрат. Выполните проверку по результатам работы полной физики в 5 репрезентативных случаях и поддерживайте границы погрешности в пределах 0,5–1,0 K для приземной температуры и в пределах 0,5–1,0 м/с для ключевых диапазонов ветра.
• Улучшения усвоения данных: объедините ковариации, предсказанные ИИ, с ансамблево-вариационной структурой; установите адаптивную инфляцию, настроенную в режиме онлайн; поддерживайте высокое воздействие наблюдений, контролируя при этом ложные сигналы. Ориентируйтесь на снижение RMSE на 10–15 % для 24–72-часовых прогнозов в пилотных регионах.
• Рабочие процессы HPC: контейнеризируйте компоненты, распараллеливайте циклы усвоения с помощью MPI и многопоточности и минимизируйте задержки ввода-вывода за счет поэтапного перемещения данных. Запускайте ансамбли из 32–64 элементов в кластерах с десятками тысяч ядер; стремитесь к общему времени формирования 48-часового прогноза менее 2–3 часов при пиковых запусках.

Конкретные результаты, которых следует ожидать

• Производственная среда: ИИ-заменители сокращают время на ядро на 40–60 %; общее время ансамблевого цикла сокращается на 20–35 %; циклы усвоения данных завершаются в течение окна прогноза.
• Надежность: ковариации, управляемые ИИ, снижают несоответствие разброса ансамбля на 15–25 %, улучшая показатели калибровки для ключевых полей.
• Готовность к внедрению: разверните непрерывную интеграцию для кода модели, обеспечьте воспроизводимые эксперименты с помощью наборов данных с управлением версиями и поддерживайте доступный для проверки отчет для прогнозов и постобработки.

Следующие шаги включают 6-месячный пилотный проект в одном регионе, расширение до соседних областей по мере подтверждения устойчивости результатов и установление управления с четким доступом к данным, воспроизводимостью и журналами аудита для прогнозов и постобработки.

Какие модели управления, доступа и сотрудничества управляют открытыми данными?

Примите трехуровневую модель управления, соответствующую миссии: Руководящий совет, Сеть распорядителей данными и Отдел доступа и соответствия требованиям. Руководящий совет устанавливает политику, определяет приоритеты для наборов данных и утверждает лицензирование. Сеть распорядителей данными занимается метаданными, проверками качества и жизненным циклом набора данных для каждого элемента. Отдел доступа и соответствия требованиям управляет лицензированием, аутентификацией пользователей и журналами аудита.

Лицензирование должно по умолчанию быть CC0 для общедоступных данных и CC BY 4.0 для данных, требующих указания авторства, с четкими условиями для производных работ. Каждый набор данных имеет машиночитаемую лицензию в метаданных. Внедрите каталог данных с DCAT-AP или DataCite DOI. Поддерживайте центральный шлюз API для предоставления данных через конечные точки REST с ограничениями скорости и журналами использования. Включите ограничения конфиденциальности и безопасности, обеспечив защиту конфиденциальной информации.

Уровни доступа: общедоступный для продуктов прогнозирования и исторических данных; исследовательский для проверенных исследователей через двухфакторную аутентификацию; ограниченный для конфиденциальных наборов данных в соответствии с соглашениями об обмене данными. Все события доступа регистрируются для подотчетности. Плата: отменить для некоммерческих исследований и образования; взимать умеренную плату за крупные коммерческие запросы с годовыми лимитами.

Модели сотрудничества: создайте общий устав управления данными, стандартные метаданные и спецификации API; примите стандарты обмена данными, такие как DCAT-AP, OpenAPI и SensorThings API для данных датчиков; используйте DataCite DOI. Используйте межведомственные рабочие группы с ежеквартальными спринтами; публикуйте ежеквартальные отчеты о прозрачности по количеству наборов данных, лицензиям, количеству обращений и журналам инцидентов.

План реализации

Запустите 90-дневный план: опубликуйте устав управления, назначьте распорядителей данными, разверните шаблоны лицензий и подключите каталог к шлюзу API. Установите измеримые цели: решения о предоставлении доступа в течение 2 рабочих дней, оценка качества данных не менее 92 % ��о результатам автоматических проверок и полнота каталога не менее 85 % по 200 лучшим наборам данных.

Собирайте отзывы в ходе регулярных спринтов: собирайте сценарии использования от синоптиков и исследователей, корректируйте уровни и лицензирование и уточняйте каталог. Публикуйте ежеквартальный отчет о прозрачности с подробной информацией о количестве наборов данных, лицензиях, количестве обращений и журналах инцидентов для поддержания доверия.

Как можно организовать наращивание потенциала и передачу знаний для стран-членов?

Запустите три региональных центра CBKT, основанных на общей миссии, предоставляющих три потока: структурированное обучение науке о данных, прикладную работу по прогнозированию и климатическим проектам, а также коучинг на основе наставничества. Обеспечьте обучение 150 практиков в каждом центре в год, а также 25 региональных наставников, которые поддерживают группы, коллег и национальные команды. Каждый центр подключен к центральному центру знаний, в котором размещены модульные курсы, практические упражнения, повторно используемый код и многоязычные материалы, соответствующие стандартам данных ВМО и совместимым системам.

Разработайте потоки передачи знаний с быстрой обратной связью. Предлагайте ежемесячные модули микрообучения по 8–12 минут, ежеквартальные практические семинары в региональных центрах и ежегодные виртуальные учебные лагеря, объединяющие участников из разных стран. Объедините стажеров с наставниками из национальных метеорологических служб и международными экспертами. Предоставьте возможности временного перевода на 3–6 месяцев для работы над национальными проектами и обмена полученными знаниями в рамках программы. Материалы соответствуют оперативной политике совместимости WIS 2.0 и политике открытых данных, где это разрешено. Создайте динамичный сборник, в котором фиксируются успешные пилотные проекты и поддерживается масштабирование.

Обеспечьте устойчивую модель ресурсов, выделив средства на предоставление услуг, разработку репозитория и оценку. Выделите примерно 60 % на предоставление обучения, 25 % на центр знаний и инструменты и 15 % на мониторинг и оценку. Установите партнерские отношения с университетами для аккредитации и с промышленностью для доступа к реальным наборам данных. Переведите материалы на основные национальные языки. Предоставьте облачные практические лаборатории с безопасным доступом к данным, чтобы обеспечить дистанционное обучение, защищая при этом конфиденциальную информацию.

Определите практические показатели для отслеживания прогресса: количество обученного персонала, повышение эффективности рабочих процессов, индикаторы качества данных и удовлетворенность конечных пользователей. Публикуйте ежеквартальную панель мониторинга для стран-членов и проводите ежегодные обзоры с разнообразным представительством от региональных групп. Используйте отзывы для адаптации учебных программ, обновления наборов данных и обновления инструментария, обеспечивая соответствие национальным планам по наращиванию потенциала и потребностям в реагировании на чрезвычайные ситуации.

Этапы реализации: создайте орган управления CBKT в рамках структуры ВМО; разверните 3 региональных центра в течение 12 месяцев; создайте центральный репозиторий курсов, наборов данных и кода; запустите два пилотных проекта на регион в первый год; масштабируйте до всех стран-членов в течение трех лет. Ежеквартально отслеживайте этапы и корректируйте распределение ресурсов для удовлетворения спроса на уровне стран. Результатом является квалифицированная рабочая сила, готовая предоставлять своевременные климатические и метеорологические услуги, поддерживающие устойчивость.

Какие показатели, методы проверки и оценки эффективно отслеживают прогресс?

Примите набор показателей, соответствующий миссии, с 8–12 индикаторами и опубликуйте динамическую панель мониторинга в течение четырех недель после каждого выпуска данных, чтобы команды оставались сосредоточенными и подотчетными.

Показатели для отслеживания

Сосредоточьтесь на трех уровнях: точность прогноза, вероятностные навыки и качество данных. Для точечных прогнозов отслеживайте MAE и RMSE по ключевым переменным (температура, осадки, ветер) с разбивкой по регионам. Для вероятностных прогнозов сообщайте оценки CRPS и Brier, а также кривые надежности для выявления неправильной калибровки. Отслеживайте задержку данных (время от наблюдения до приема), полноту данных (процент ожидаемых наблюдений) и уровень аномалий. Добавьте показатели управления: количество версий модели, охват документацией и индикаторы воспроизводимости (доступность кода, контейнеризация и тегирование версий). Установите такие целевые показатели, как MAE < 1,5 °C для ежедневной температуры в регионах средних широт, CRPS ниже 0,25 для вероятности осадков, задержка менее 15 минут для потоковой передачи, а также полнота данных выше 98 % на критически важных станциях. Ежемесячно проверяйте показатели и сравнивайте их с базовым уровнем климатологии, чтобы обеспечить прозрачность миссии.

Методы проверки и оценки

Используйте проверку с фиксированным началом с горизонтом прогнозирования 12 месяцев и окном данных 5 лет, чтобы отразить сезонные циклы и климатические тенденции. Примените пространственно-временную перекрестную проверку, чтобы избежать переобучения, разделив регионы и сезоны. Сделайте заблаговременные прогнозы на последние пять-десять лет и сравните прогнозы с наблюдаемыми результатами. Проведите исследования абляции, чтобы измерить влияние источников данных, сглаживания и компонентов модели. Выполните проверки калибровки с помощью диаграмм надежности и PIT-тестов, чтобы убедиться, что вероятностные выходные данные соответствуют наблюдаемым частотам. Количественно оцените неопределенность с помощью интервалов прогнозирования и охватов (например, 90 % интервалов отражают наблюдаемые результаты примерно в 90 % случаев). Отслеживайте дрейф модели, наблюдая за сдвигами во входных и выходных распределениях, обновляя план проверки не реже двух раз в год. Задокументируйте план оценки, по возможности опубликуйте код и происхождение данных и автоматизируйте создание отчетов, чтобы информировать заинтересованные стороны о прогрессе в достижении целей миссии.