В книге «Service Design. ITIL Version 3» вопросам управления данными и информацией посвящено несколько весьма полезных страниц в 5-ой главе «Service Design technology-related activities». Эта глава рассматривает связанную с технологиями деятельность по разработке и управлению требованими; и по разработке технологической архитектуры. Технологигеские архитектуры охватывают аспекты Service Design в следующих областях: Управление инфраструкттурой (Infrastructure Management); Управление окружением (Environmental Management); Управление данными и информацией (Data and Information Management); Управление приложениями (Application Management).
Итак, что же ITIL говорит об Управление данными и информацией
5.2 Управление данными и информацией (Data and Information Management)
Данные являются одним из важнейших видов активов, которыми необходимо управлять для того, чтобы эффективно развивать, предоставлять и поддерживать услуги ИТ.
Управление Данными/ Управление Информацией (Data/Information Management) – это все относящееся к тому, как организация планирует, собирает, создает, организует, использует, контролирует, распространяет и избавляется от своих данных (информации), это относится к структурированным и неструктурированным данным. Управление данными гарантирует, что ценность данных/информации выявлена и используется, как для поддержки внутренней деятельности, так и для повышения стоимости бизнес-процессов, обслуживающих клиентов.
В этой области широко используются термины: «Управление данными», «Управление информацией» и «Управление информационными ресурсами». В рамках настоящей публикации, используется термин «Управление данными» в качестве условного обозначения всех трех вышеприведенных.
Роль Управления данными состоит не просто в управлении сырыми данными; она в управлении всеми контекстуальными метаданными - дополнительными «данными о данных», - что идут с ними, а при добавлении к необработанным данным дают «информацию» или «данные в контексте» («data in context»).
Данные, как основа для информации организации, имеют все необходимые атрибуты, чтобы рассматриваться в качестве актива или ресурса (asset or resource). Например, данные важны для «достижения бизнес-целей и успешной повседневной работы организации». Кроме того, они могут быть «получены и сохранены в организации, но только с финансовыми затратами». Наконец, возможно, наряду с другими ресурсами / активами, будут использованы для «дальнейшего достижения целей организации».
Ключевые факторы успешного Управления данными следующие:
- Все пользователи имеют доступ через различные каналы к информации, необходимой для выполнения своей работы
- Ценные данные полностью эксплуатируются, путем совместного использования (data sharing) данных в пределах организации и с другими организациями
- Качество данных организации сохраняется на приемлемом уровне и информация, используемая в бизнесе, является точной, надежной и последовательной
- Юридические требования к защите неприкосновенности частной информации, безопасности, конфиденциальности и целостности данных соблюдаются
- Организация обеспечивает высокий уровень эффективности и результативности в деятельности по обработке данных и информации
- Модель данных предприятия определяет наиболее важные сущности и их связи - это поможет избежать избыточности и ухудшения архитектуры, которая и без того меняется с годами.
5.2.1 Управление активами данных (Managing data assets)
Если нет эффективного Управления данными, то:
- Люди поддерживают и собирают данные, которые не нужны
- Организация может иметь историческую информацию, которая не используется
- Организация может хранить много данных, которые доступны потенциальным пользователям
- Информация может предоставляться большему числу людей, чем необходимо, или не тем, кому она необходима
- Организация может использовать неэффективные и устаревшие методы сбора, анализа, хранения и извлечения данных
- Организация может не справиться со сбором необходимых данных, уменьшить качество и потерять целостность данных, например, между связанными источниками данных.
Кроме того, трудно ответить на вопрос: «действительно ли информация получена из данных хорошего качества?», потому что нет показателей для сравнения. Например, низкое качество данных зачастую возникает из-за плохих проверок в процедурах ввода и/или обновления. После ввода неточных или неполных данных в ИТ-системах, любые отчеты, полученные с использованием этих данных будут отражать эти неточности и пробелы.
Также может быть отсутствие согласованности информации, генерируемой различными оперативными и прочими многочисленными внутренними системами, созданными и используемыми, потому что центральным данным не доверяют.
Одним из путей повышения качества данных, является использование процесса Управления данными (Data Management process), который устанавливает политику и стандарты, предоставляет экспертизу и облегчает обработку аспектов, связанных с данными для новых услуг. Это должно обеспечить полный Data/Information Asset Management:
- Увеличить ценность услуг, предоставляемых клиентам
- Снизить риски в бизнесе
- Сократить расходы на бизнес-процессы
- Стимулировать инновации во внутренние бизнес-процессы.
5.2.2 Область охвата Управления данными (Scope of Data Management)
Существуют четыре области менеджмента, включенных в область действия Управления данными/информацией (Data/Information Management):
- Управление информационными ресурсами (Management of data resources): governance информацией в организации должны обеспечить, чтобы все эти ресурсы были известны и были назначены ответственные лица для управления ими, в том числе владельцы данных (ownership) и метаданных. Этот процесс обычно упоминается как администрирование данных (data administration) и включает ответственность за:
- Определение потребности в информации
- Построение реестра данных (data inventory) и модели данных предприятия
- Выявление дублирования и недостатков данных
- Поддержку каталога/индекса информационного контента (data/information content)
- Измерение затрат и ценности данных организации.
- Управление технологиями данных/информации (Management of data/information technology): управление подразделением ИТ, поддерживающим информационные системы организации, что включает в себя такие процессы, как проектирование баз данных и управления базами данных. Этими аспектами обычно занимаются специалисты подразделения ИТ (см. «Service Operation» для более подробной информации).
- Управление информационными процессами (Management of information processes): бизнес-процессы приводят услуги ИТ к использованию тех или иных данных. Процессы создания, сбора, доступа, модификации, хранения, удаления и архивирования данных - то есть процессы жизненного цикла данные, - должны быть надлежащим образом контролируемыми, часто совместно с процессом управления приложениями.
- Управление стандартами и политикой данных (Management of data standards and policies): организация должна определить стандарты и политику в области Управления данными (Data Management), как элемент стратегии развития ИТ. Эта политика будет регулировать процедуры и ответственности по Управлению данными в организации, техническую политику, архитектуру и стандарты, которые будут применяться к ИТ-инфраструктуре, поддерживающей информационные системы организации.
Область действия процесса Управления данными (согласно best practices) включает в себя управление неструктурированными данными, которые не содержатся в обычных системах баз данных - например, использующие такие форматы, как текст, изображение и звук. Процесс Управления данными также отвечает за обеспечение качества на всех этапах жизненного цикла данных, от сбора требований до окончания эксплуатации. Основное внимание в этой публикации будет сосредоточено на роле Управления данными в фазах сбора требований, проектирования и разработки активов и на жизненном цикле сервиса (Service Lifecycle).
Команда, поддерживающая процесс Управления данными, может также предоставлять службу поддержки бизнес-информации. В этом случае они в состоянии отвечать на вопросы о значении, формате и возможности использования данных внутри организации, потому что они управляют метаданными. Они также в состоянии понять и объяснить, какие внешние данные могут быть необходимы для выполнения необходимых бизнес-процессов и предпринять необходимые действия для доступности внешнего источника данных.
Чрезвычайно важно понимать, при создании или реорганизации процессов и поддержки ИТ-услуг, что хорошая практика – продумывать повторное использования данных и метаданных в различных областях деятельности организации. Способность сделать это может быть поддержана корпоративной моделью данных – иногда называемой общей информационной моделью. Поддержка повторного использования – зачастую одна из главных задач для Управления данными.
5.2.3 Управление данными и Жизненный цикл сервиса (Data Management and the Service Lifecycle)
Рекомендуется, чтобы подход на основе понятия «lifecycle» был принят в понимании использования данных в бизнес-процессах. Общие задачи включают в себя:
- Какие данные в настоящее время имеются и как они могут быть классифицированы?
- Какие данные необходимо собирать или создавать бизнес-процессами?
- Каким образом данные будут храниться и поддерживаться?
- Каким образом будет осуществляться доступ к данным?
- Кому будет предоставлен доступ к данным?
- Каким образом данные будут удаляться, и по чьему решению?
- Каким образом будет поддерживаться качество данных (точность, последовательность, еденицы измерения и т.д.)?
- Каким образом данные будут сделаны более удобными (accessible) и доступными (available)?
5.2.4 Поддерживая Жизненый цикл сервиса (Supporting the Service Lifecycle)
В ходе сбора требований и начального проектирования, группа Управления данными (Data Management) может способствовать командам проектировщиков и разработчиков в моделировании данных, специфичных для предметной области, и дать рекомендации по использованию различных методов моделирования данных.
Во время детального ("физического") проектирования и разработки, группа Управления данными (Data Management function) может обеспечить техническую экспертизу по системам управления базами данных и в преобразовании начальной "логической" модели данных в физическую реализацию, характерную продукту.
Много новых сервисов потерпели неудачу, потому что плохое качество данных не было учтено во время разработки сервиса, или потому что некотрые разработчики создали свои собственные данные и метаданные (metadata), без консультации с другими владельцами сервисов и/или с Управлением данными.
5.2.5 Оценивание данных (Valuing data)
Данные являются ресурсом, активом (asset) и имеют ценность. Понятно, что в некоторых организациях это более очевидно, чем в других. Организации, которые являются поставщиками данных другим организациям – Yell, Dun and Bradstreet, агенство Reuters – могут оценить данные как «продукцию» с точки зрения цены, что они приказывают внешним организациям получать это. Также возможно подумать о ценности с точки зрения того, сколько внутренние данные стоили для другой организации.
Больше распространено оценивать данные с точки зрения того, что они стоят организации владельцу. Предлагается несколько способов, как это делать:
- Оценка данных по возможности использования (Valuing data by availability): один из часто используемых подходов, основанный на взвешивание: какие бизнес-процессы будут невозможны, если часть данных будет недоступна, и как много это будет стоить бизнесу.
- Оценка потери данных (Valuing lost data): еще один часто используемый подход – думать о затратах необходимых для получения (восстановления) определенных данных, если они будут уничтожены.
- Оценка данных с учетом жизненного цикла данных (Valuing data by considering the data lifecycle): этот способ предлагает думать о том, как данные были созданны или полученны первоначально, как они стали доступны людям для использования, и о том, что сделать с данными после их устаревания: архивировать или физически уничтожить. Вполне возможно, что некоторые данные были предоставлены из внешнего источника, а затем хранились внутри организации, или же данные изначально были созданы внутренней системой организации. В этих двух случаях жизненный цикл отличается и процессы, которые используются для сбора данных, будут различными. В обоих случаях затраты переделывания этих этапов могут быть оценены. Чем более ценные данные, тем больше усилий, которые должны быть затрачены на обеспечение их целостности, доступности и конфиденциальности.
5.2.6 Классификация данных (Classifying data)
Данные могут быть первоначально классифицированы как операционные (operational), тактические (tactical) или стратегические (strategic):
- Операционные данные (Operational data). Данные, необходимые для текущей деятельности организации, их можно рассматриваться как самый низкий, наиболее детализированный, уровень.
- Тактические данные (Tactical data). Обычно, данные необходимые второй линии управления (или выше). Как правило, это обобщеные и исторические данные, например, ежегодные и квартальные данные. Зачастую данные, что упоминаются здесь, предоставляются в информационных системах руководителей и требуют суммарных данных из целого ряда операционных систем для того, чтобы, например, соответсвовать правилам бухгалтерской отчётности.
- Стратегические данные (Strategic data). Данные, касающиеся долгосрочных тенденций и в сравнении с внешним миром. Таким образом, предоставление необходимых данных для стратегических систем предполагает объединение оперативных и тактических данных из разных областей с соответствующими внешними данными. Гораздо больше данных требуется из внешних источников.
Альтернативный метод заключается в использовании категории секретности (security classification) данных и документов. Это обычно принимается как корпоративная политика внутри организации.
Ортогональная классификация различает общеорганизационные данные (organization-wide data), данные функциональной области (functional-area data) и данные определенных сервисов (service-specific data).
- Общеорганизационные данные требуют централизованного управления.
- Следующий уровень данных - данные функциональной области, которые должны совместно использоваться через деловую функцию. Это включает совместно используемый "экземпляр" ("instance") данных (например, отдельные записи о клиенте) и гарантию, что используются согласованные метаданные для функциональной области, такие как стандартные форматы адреса.
- Заключительный уровень - данные определенных сервисов ИТ, где данные и метаданные действительны для одного сервиса ИТ и не должны совместно использоваться с другими сервисами.
5.2.7 Учреждение стандартов на данные (Setting data standards)
Одним из критических аспектов администрирования данных является обеспечение применения стандартов для метаданных. Например, какие метаданные должны храниться для различных основных типов данных (‘data types’). Различные подробности хранятся о различных структурированных табличных данных. Сведения о 'Владение' (‘Ownership’) является одним из важнейших элементов этих метаданных, другие не менее значимые элементы метаданных:
различные виды уникальных идентификаторов;
описание в бизнес-значимых терминах;
описание формата.
Куратор (custodian) или стюард (steward) – кто-то в отделе ИТ, отвечающий за повседневное управление данными, также регистрируются в метаданных.
Другая выгода от процесса Управления данными (Data Management process) возможна в области справочных данных (reference data). Определенные типы данных, такие как почтовые индексы или названия стран, могут быть необходимы множеству систем и должны быть согласованными. Это часть ответственности администратора данных – управлять справочными данными от имени целого бизнеса, и обеспечить , что одинаковые справочные данные используются всеми системами в организации.
Должны применяться стандарты наименования, например, если новый тип данных требуются для нового сервиса, то необходимо использовать названия в соответствии с этими стандартами. Например, стандарт может указывать: «все заглавными буквами, без подчеркиваний и без сокращений».
5.2.8 Владение данными (Data ownership)
Администрация данных может помочь разработчику сервисов обеспечить распределить ответственность за данные между бизнесом и отдел ИТ. Один из наиболее удачных способов сделать это заключается в том, чтобы заставить бизнес и отдел ИТ подписать устав данных (data charter) – набор процедурных стандартов и положений о тщательном управлении данными в организации в соответствии с определенными корпоративными стандартами. Обязанности владельца данных часто определяются в этом уставе и могут включать:
- Согласование бизнес описания и цели для данных
- Определение списка тех, кто может создавать, изменять, читать и удалять данные
- Санкционирование изменений способов захвата или получения данных
- Утверждение форматов, областей (доменов) и диапазонов значений данных
- Обеспечение соответствующего уровня безопасности, в том числе обеспечение соблюдения юридических требований и внутренней политики о безопасности данных.
5.2.9 Миграция данных (Data migration)
Миграция данных (Data migration) - проблема (issue), когда новый сервис заменяет один или несколько существующих сервисов, и необходимо предоставить новому сервису данные хорошего качества из существующих систем и сервисов.
Существуют два вида миграции данных (Data migration), представляющих интерес для рассмотрения здесь: первый – миграция данных (Data migration) в хранилища данных и подобные системы для целей бизнес аналитики; другой вид – миграция данных в новый транзакционный оперативный сервис. В обоих случаях будет полезно, если стандарты, процедуры и процессы перемещения данных будут установлены подразделением Управления данными.
Инструменты для миграции данных, возможно, уже были приобретены для организации командой Управления данными. Без поддержки интструментария очень легко недооценить объем требуемых усилий, особенно если консолидации и очистка данных должны проводиться между различными исходными системами, а качество существующих данных, как известно, сомнительно.
5.2.10 Хранение данных (Data storage)
Одна из областей, где технология развивалась очень быстро – область хранения данных (Data storage).
Необходимо рассмотреть различные носители информации - например, оптическое запоминающее устройства - и быть в курсе их объемов и стоимости этих устройств.
Главная причина для отслеживания разработок в этой области состоит в том, что это делает возможным применение различных направлений в управлении данными, которые прежде считались слишком дорогими. Например, сохранять видео в режиме реального времени, используя огромную полосу пропускания, до недавнего времени расценивалось как слишком дорогое «удовольствие». То же самое можно сказать и о сканировании большого количества бумажных документов, особенно, содержащих подробные схемы и фотографии.
Понимание технологигеских разработок в области электронного хранения данных имеет решающее значение для того, чтобы понять какие максимально эффективные возможности дает бизнесу использование новых технологий.
5.2.11 Сбор данных (Data capture)
Также очень важно процессу Управления данными (Data Management) воздействовать на эффективные меры для сбора данных (data capture). Цель здесь состоит в том, чтобы захватывать/собирать данные (data capture) так быстро и точно, насколько это возможно.
Необходимо обеспечить, чтобы в процессе сбора данных требовалось минимальное количество манипуляций, а также уменьшить возможность ошибок в ходе сбора данных. Для этого необходимо использовать преимущества (с точки зрения минимизации числа нажатий клавиш), предоставляемые графическим пользовательским интерфейсом.
Разумно ожидать, что процесс Управления данными (Data Management) имеет стандарты для эффективных методов сбора данных в различных средах. Включая 'неструктурированный' сбор данных, используя механизмы подобные сканированию. И может обеспечить экспертизу относительно соблюдения этих стандартов.
5.2.12 Извлечение и использование информации (Data retrieval and usage)
После того, как данные были захвачены (captured) и сохранены, следующий аспект, который мы рассмотрим – это извлечение информации из данных.
Сервисы, обеспечивающие легкий доступ к данным с помощью инструментов (query tools) различного уровня сложности, нужны во всех организациях. Также в организациях появляются свои собственные специфические архитектурные требования.
Поиск информации в отсканированном тексте и в других неструктурированных данных, таких как видео, статическое изображение или звук – это главное направление развития. Методы, такие как автоматическая индексация (automatic indexing) и использование поисковых машин (search engines), для предоставления эффективного доступ по ключевым словам (keywords) к соответствующим частям документов, являются определяющими технологиями, которые широко применяются, особенно в Интернете.
Экспертиза в использовании данных или содержания на вебсайтах – стандарты и процедуры, которые жизненно важны для вебсайтов – должна существовать в рамках Управления данными (Data Management) и Управления контентом (Content Management) – стандарты и процедуры, которые жизненно важны для вебсайтов.
5.2.13 Целостность данных и сопутствующие проблемы (Data integrity and related issues)
При определении требований к ИТ-услугам, необходимо, чтобы рассматривались требования руководства и эксплуатационные требования, относящиеся к данным. В частности следующие вопросы должны быть рассмотрены:
- Восстановление потерянных или поврежденных данных
- Контролируемый доступ к данным
- Реализация политики в области архивирования данных, включая соблюдение нормативных сроков хранения
- Периодические проверки целостности данных.
Целостность данных (Data integrity) касается обеспечения неповрежденности и высокого качества данных. Это также относится к предотвращению неконтролируемого дублирования данных, и, следовательно, уходу от какой-либо путаницы в вопросах о достоверной версии данных. Есть несколько подходов, которые могут помочь с этим. Различные технологические устройства, такие как ‘блокировщики базы данных’ (‘database locking’) используются, чтобы предотвратить многократное, несогласованное обновление данных. Кроме того, предотвращение несанкционированного обновления может быть достигнуто через механизмы управления доступом.
