2
2.5 Проект 5/2.1.1.5 Развить технологии сбора, первичной обработки и формирования баз данных и информации, накопления и ведения фонда информационных ресурсов об обстановке в Мировом океане и прибрежных территориях
(ВНИИГМИ-МЦД, ААНИИ, ГМЦ России, ГОИН, ДВНИГМИ, ИГКЭ, КаспМНИЦ, НИЦ «Планета», СПО ГОИН, Мурманское УГМС, Северное УГМС и Северо-Кавказское УГМС Росгидромета, АтлантНИРО, ВНИРО, ВНИЭРХ и ТИНРО Госкомрыболовства, ГИЦ “Недра” МПР России, ИО РАН, ТОИ ДВО РАН, СОПС Минэкономразвития России и РАН )
2.5.1 Ожидаемый результат по проекту
Решения по технологиям сбора, управления и накопления информационных ресурсов по морской среде. Опытная технология ведения объединенных баз морских прибрежных, океанографических и морских судовых данных, поступающих в оперативном и задержанном режимах, включая сопряжение с СРБД ЕСИМО. Технические решения и тематические технологии управления данными о состоянии и загрязнении морской среды, ее живым и неживым ресурсами в Центрах ЕСИМО. Проекты НМД по представлению в Центры ЕСИМО данных по морской среде и морской деятельности.
2.5.2. Содержание и характеристика полученных результатов
Работы по проекту осуществлялись по следующим направлениям:
— разработка ноpмативно-методических документов по формированию, ведению и обеспечению сохранности фонда данных ЕСИМО;
— разработка технологий сбора и усвоения потоков данных по морской среде в оперативном и задержанном режимах;
— разработка технологий формирования глобальных объединенных баз данных по морской среде;
— составление каталогов и формирование массивов и баз данных о природной среде Мирового океана в единых стандартах.
2.5.2.1. Результаты работы головного исполнителя
2.5.2.1.1 Разработка нормативной и методической документации
Разработан проект НМД и тестовое программное обеспечение в виде АРМ по оповещению Центров о производстве наблюдений и включению сведений в систему. АРМ позволяет формировать стандартизованные описания материалов гидрометеорологических, океанографических, геолого-геофизических, морских биологических наблюдений и наблюдений за загрязнением морской среды (метаданных), полученных в ходе экспедиционных наблюдений в Мировом океане и внутренних морях, с целью передачи их в Госфонд и Центры данных ЕСИМО. Описания составляются в среде СУБД MsAcсess (рис.34)., что позволяет производить их накопление и систематизацию в Центрах данных ЕСИМО, регулярно выпускать итоговые отчеты о проведенных экспедиционных исследованиях и полученных материалах наблюдений.
Разработана первая версия НМД “Формы отчетности Центров ЕСИМО о поступлении оперативных и задержанных данных и пополнении фонда данных”. Форма отчетности Центра ЕСИМО состоит из текстовой части отчета и табличной формы предназначенной для представления количественных характеристик пополнения фонда данных. В нормативно-методическом документе представлены формы отчетности на примере Центров ЕСИМО, относящихся к Федеральной службе России по гидрометеорологии и мониторингу окружающей среды (Росгидромету). Для других ведомств формы отчетности должны быть изменены в соответствии с профилем деятельности Центров ЕСИМО этих ведомств на основании предложений и дополнений этих Центров.
Разработан проект НМД “Рекомендации по комплектованию и хранению документов фонда данных ЕСИМО”. Настоящие рекомендации распространяются на работы в организациях и учреждениях различных министерств и ведомств, других юридических и физических лиц, осуществляющих комплектование и хранение документов фонда данных ЕСИМО и используются для рукописных, графических, машинописных и изданных документов на бумажном носителе информации, для документов на технических носителях (оптических дисках, магнитооптических накопителях, магнитоленточных картриджах, дискетах и др.), получаемых при работе на ПЭВМ.
Рис. 34 Формы АРМ описания материалов наблюдений и наблюдений за морской среды полученных в ходе экспедиционных наблюдений
2.5.2.1.2. Разработки технологий сбора и усвоения потоков данных по морской среде
Подсистема усвоения потока оперативных данных из каналов ГСТ дополнена технологическими блоками, позволяющими принимать, декодировать и накапливать информацию в кодах METAR, SPECI, TAF. Разработаны соответствующие таблицы базы данных, к которым предоставлен сетевой доступ различным категориям пользователей, расширено программное обеспечение этапов предварительной и первичной обработки.
Продолжено развитие системы мониторинга данных собираемых по ГСТ. Разработаны программы, позволяющие получать несколько видов статистических сводок о поступлении данных за любой интервал времени, в том числе получать ежемесячные отчеты для телеграмм БАТИ и ТЕСАК по международной форме, для представления в ответственный центр мониторинга MEDS.
Разработаны для ОС Windows первые версии программ контроля метеорологических и океанографических данных НИС, поступающих в задержанном режиме в форматах АЭРОМЕТАКТ и ОКЕАНПЭВМ.
2.5.2.1.3. Разработка технологий формирования глобальных объединенных баз данных по морской среде
Разработана технология и сформирована глобальная база морских метеорологических данных за весь исторический период наблюдений, включающая в себя 45 млн. записей данных. Выполнено тестирование архива, устранение структурных и форматных ошибок и другие элементы кондиционирования. Одной из сложнейших проблем, потребовавших проведения специальных исследований и экспериментов с различными критериями, была проблема удаления дублей наблюдений при объединении нескольких массивов (рис.35) .
Рис. 35. Сравнение критериев для определения дублей в массиве метеорологических наблюдений
Разработана технология формирования объединенного глобального массива океанографических данных, включающая модули конвертирования данных из различных национальных и зарубежных источников (рис.36), компоненты преобразования и стандартизации метаданных на основе прямого взаимодействия с Интегрированной базой метаданных ЕСИМО, систему поверок для предотвращения дублирования данных.
Рис. 36. Основные источники данных для Глобального массива океанографических данных
В состав данных включены важнейшие гидрофизические и гидрохимические параметры. Метаданные включают сведения о наблюдательной платформе, измерительном устройстве, стране и организации, проводивших наблюдений, методах измерения и определения параметров. Каждая запись сопровождается такими ключевыми атрибутами, как номер 10-градусного квадрата и номер региона Мирового океана, что позволит в дальнейшем осуществлять быструю выборку и обработку данных по заданному району.
В качестве среды формирования и поддержки глобального массива выбрана СУБД Oracle. Формирование глобального массива производится по клиент-серверной технологии, когда приложение подготовки и загрузки данных расположено на удаленном компьютере.
АРМы ведения баз и массивов данных о морской среде дополнены функциональными компонентами доступа и визуализации данных для ОС Windows с дружественным интерфейсом пользователя.
2.5.2.1.4. Формирование каталогов и массивов данных по морской среде
Проведено пополнение, систематизация и сверка каталогов океанографических, морских биологических, морских метеорологических данных, данных по загрязнению.
Составлен перечень организаций Российской Федерации, располагающих базами данных по морским биоресурсам.
Оперативная база данных ГСТ пополнена океанографическими и метеорологическими наблюдениями с судов и буев различных типов, в том числе АРГО, за 2003 год, общим объемом свыше 5 млн. сообщений.
Во ВНИИГМИ-МЦД и других организациях продолжались работы по занесению исторических данных с листовых отчетов на технический носитель, по конвертированию данных из различных форматов. Занесены из отчетов на техноситель исторические данные 80 рейсов отечественных НИС и 20 береговых станций.
Завершены работы по контролю и редактированию национального массива океанографических данных (20 тыс. рейсов), включавшие в себя сверку с первоисточниками. Проверка файлов на наличие внутренних дублей по критерию идентичности гидрофизических профилей позволила выявить и удалить 1400 станций-дублей (0.1% от всех данных).
Для организации сбора текущих и исторических данных океанографических наблюдений из разных мореведческих организаций осуществлялось внедрение и сопровождение разработанного во ВНИИГМИ-МЦД автоматизированного рабочего места подготовки и контроля океанографических данных «КЕНАРМ» и исторических данных береговых станций «ИСТОР». АРМы внедрены в Северном, Сахалинском и Северо-Кавказском УГМС, Астраханском ЦГМС, ТОИ ДВО РАН, ТИНРО, АтлантНИРО, ГМЦ ВМФ, что позволило перейти к формированию базы океанографических данных в едином формате и гарантировать стандартный уровень ее качества.
2.5.2.2. Результаты работы соисполнителей
В работах по проекту участвовало 16 соисполнителей. Результаты работы соисполнителей приведены в табл. 4 и в целом соответствуют запланированным.
Таблица 4
|
Наименование учреждения |
Полученный результат |
|
ААНИИ |
1. Осуществлено формализованное описание технологий управления ледовыми данными, предназначенных для использования в ААНИИ как Центре ЕСИМО, и технические решения по их развитию в 2004-2007 г.г; 2. Подготовлен проект объединенной базы исторических обобщенных данных за морской средой в прибрежных и устьевых районах Арктики и технологии ее создания и ведения; 3. Осуществлена проектная разработка базы исторических данных рейдовых наблюдений за морской средой в прибрежных и устьевых районах Арктики, подготовлен опытный массив данных на магнитном носителе 4. Разработана технология переформатирования массивов данных НИС ААНИИ в формат ОКЕАНПЭВМ |
АтлантНИРО |
1. Составлен порейсовый каталог биологических наблюдений АтлантНИРО 2. Занесены на технический носитель ПЭВМ батитермографные данные 10 рейсов АтдантНИРО за 1991г. |
|
ГМЦ России |
1. На основе спутниковой и судовой информации сформированы массивы данных по ТПО за 2002 г. по северному и южному полушарию МО. 2. Подготовлен массив данных о поверхностной температуре Каспийского моря за 199-2002 г.г. |
|
ГОИН |
1. Разработан проект базы данных по уровню морей и технологии ее формирования 2. Развиты элементы технологии сбора и управления данными по загрязнению морской среды. |
|
КаспМНИЦ |
1. Проведены работы по инвентаризации фонда данных организации по загрязнению морской среды. Составлен каталог данных. 2. Подготовлены массивы океанографических данных и данных о загрязнении морской среды в северо-западной части Каспийского моря за 2001-2003 гг. |
ДВНИГМИ |
1. Разработана технология и программное обеспечение по подготовке данных судовых метеорологических наблюдений в формате АЭРОМЕТАКТ. 2. Подготовлены данные океанографических наблюдений для передачи в Госфонд в количестве 8 рейсов,1260 океанографических станций. 3. Проводилось формирование региональной базы данных по дальневосточным морям и Тихому океану. |
СПО ГОИН |
1. На основании анализа состава исходной базы вдольтрековых альтиметрических данных представлены рекомендации по формированию базы альтиметрических данных для Балтийского моря. 2. Переформатированы в форматы ОКЕАНПЭВМ данные экспедиционных наблюдений на НИС различных стран, выполнявших наблюдения на Балтийском море с 1978 по 1981 гг для последующего включения ее в Госфонд РФ |
|
НИЦ “ПЛАНЕТА” |
1. На основе данных отечественных и зарубежных КА ДЗЗ выполнено формирование и пополнение систематизированных массивов спутниковых информационных продуктов (ледовая обстановка и температура водной поверхности). |
ВНИРО |
1. Разработан проект общедоступной базы данных общего вылова биоресурсов 2. Созданы информационных массивы базы данных общего вылова биоресурсов Россией, |
ТИНРО |
1. Составлен порейсовый каталог биологических наблюдений ТИНРО. 2. Преобразованы в единый формат и переданы во ВНИИГМИ для включения в Госфонд данные 10 рейсов за 1995-1998 г.г. |
|
ИО РАН |
1. Сформирован каталог рейсов ИОРАН с указанием видов наблюдений. 2. 2. Подготовлены и переданы во ВНИИГМИ для включения в Госфонд данные 6 рейсов за 1995-1998 г.г. |
|
ТОИ ДВО РАН |
1. Сформирован каталог рейсов ТОИ, в которых проводились гидробиологические наблюдения. 3. Выполнены работы по контролю и редактированию материалов этих наблюдений для 6 рейсов с помощью программы KENARM и проведена их запись в формат ОКЕАНПЭВМ. 4. Проводилось формирование региональной базы данных по дальневосточным морям и Тихому океану. |
|
Мурманское УГМС |
1. Продолжены работы по инвентаризации и восстановлению исторических данных береговых станций 2. Подготовлены среднесуточные данные по 6-м береговым станциям за период 1958-1967г.г. |
|
Северное УГМС |
1. Проведены работы по инвентаризации и восстановлению исторических данных НИС и береговых станций 2. Подготовлены данные по 6-ти прибрежным станциям за период 1958-1976г.г. 3. Подготовлены океанографические данные 10 рейсов НИС. |
|
Северо-Кавказское УГМС |
1. Проведены работы по инвентаризации и восстановлению исторических данных береговых станций и океанографических данных НИС 2. Подготовлены данные 10 прибрежных станций за период 1958-1976 г.г. |
2.5.3. Использование и внедрение полученных результатов
Сформированные массивы и базы данных используются для обеспечения пользователей и выполнения научно-исследовательских работ по изучению изменчивости морской среды, ее влияния на экономическую деятельность. Программное обеспечение подготовки данных НИС и береговых станций внедрено в пяти УГМС и шести научных учреждениях.
Программа контроля качества гидрометеорологических и океанографических данных и данных по загрязнению морской среды используется для анализа результатов работы инструментальных средств и при формировании баз данных.
Разработанные алгоритмы и программы контроля океанографических данных применяются при передаче в Госфонд данных текущих и исторических наблюдений.
2.5.4. Оценка соответствия полученных результатов
Рассматриваемый проект НИОКР выполнен в соответствии с техническим заданием и календарным планом работ, ожидаемые результаты по проекту полностью достигнуты.
2.5.5. Проблемы и трудности
Архивы исторических данных океанографических наблюдений, формировавшиеся в течение нескольких десятков лет по различным технологиям, и не проверявшиеся до сих пор в массовом порядке даже на соответствие формату, обладают многочисленными изъянами в структуре и ошибками в данных. Устранение их требует кропотливого рутинного труда программистов и операторов. Решение этой проблемы требует разработки специальных технологий и вычислительных ресурсов.
Автоматизированные процедуры контроля и простановки флагов качества пока еще значительно уступают возможностям экспертного контроля. Поэтому, с одной стороны, нужно их усовершенствование, а с другой необходимо разрабатывать рабочие места эксперта с удобным графическим интерфейсом и визуализацией данных в разнообразных срезах, которые позволили ли бы облегчить его труд.