Подход к управлению качеством данных при создании информационных систем на базе технологий DWH

Submitted by admin on Sat, 01/03/2009 - 16:05

Author(s):

В случае использования материалов презентация «Подход к управлению качеством данных...», просьба указывать ссылки на авторов.

Заглавный слайд презентации "Подход к управлению качеством данных при создании информационных систем на базе технологий DWH"; Авторы: Сергей Коломиец, Владимир Кореневич; 29.08.2007.

План презентации

План презентации: Терминология качества данных; Особенности процедур контроля качества данных; Анализ вариантов реализации контроля качества данных; Критерии принятия решения при выборе подхода к реализации контроля качества данных; Примеры выбора подхода к реализации контроля качества данных.

Архитектура информационной системы на базе DWH

Архитектура информационной системы на базе DWH: Data sources; ETL processes; Data Warehouse; Data Mart; Data Presentation Layer: OLAP, Reporting; Data Warehouse Development Methodology; Technical, Business, and Quality Metadata

Основные понятия качества данных

Основные понятия качества данных: Техническое качество исходных данных (полнота, ссылочная целостность, уникальность полей и т.п.); Процедуры проверки технического качества исходных данных - очистка данных, технический контроль качества данных; Бизнес качество данных; Процедуры проверки бизнес-качества данных - аудит данны DWH.

Типовая схема контроля качества данных

Типовая схема контроля качества данных: Источники данных; Данные, не удовлетворяющие требованиям качества; ETL backroom; ETL frontroom; Хранилище данных; Аудит данных; Витрины данных; Отчеты о качестве данных.

Особенности процедур контроля качества данных

Группы критериев технического качества данных

Группы критериев технического качества данных: Уникальность ключевых полей; Наличие данных в обязательных для заполнения полях; Целостность ссылочных данных; Корректность форматов; Соответствие значений допустимым значениям; Бизнес логика уровня отдельной записи.

Варианты реализации контроля качества данных

Варианты реализации контроля качества данных: Стандартные средства ETL и специально спроектированная база метаданных качества; Специализированные инструменты контроля качества данных.

Реализация контроля качества данных без применения специализированных инструментов

Реализация контроля качества данных без применения специализированных инструментов: Сильные стороны решения; Слабые стороны решения; Угрозы; Возможности.

Реализация контроля качества данных с помощью специализированных инструментов

Реализация контроля качества данных с помощью специализированных инструментов: Сильные стороны решения; Слабые стороны решения; Угрозы; Возможности.

Критерии принятия решения при выборе подхода к реализации контроля качества данных

Критерии принятия решения при выборе подхода к реализации контроля качества данных: Время реализации проекта DWH; Наличие разнородных ETL-инструментов или различных подрядчиков; Наличие бизнес-заказчика, готового оплачивать управление качеством данных; Наличие методики и инструмента управления качеством данных; Наличие квалифицированного персонала.

Примеры выбора подхода к реализации контроля качества данных

Примеры выбора подхода к реализации контроля качества данных: Время реализации не критично; нет бизнес-заказчика на работу с качеством данных; Короткое время реализации проекта; Одновременная работа нескольких команд разработчиков; Есть бизнес-заказчик качества данных.

Спасибо за внимание. Вопросы.

Вопросы. Последний слайд презентации "Подход к управлению качеством данных при создании информационных систем на базе технологий DWH"; Авторы: Сергей Коломиец, Владимир Кореневич; 29.08.2007.

English