Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога

Тема 4 : Концепция формирования баз данных

__________________________________________________________________________________________________
Тема 4. Концепция формирования баз данных

4.1. Базы данных как метод организации информации.

В процессе эксплуатации очистных сооружений накапливается большое количество
показателей, сигналов от датчиков, данных от расходомеров и из внешних источников. Данные
поступают к эксплуатирующему лицу разрозненно, соответственно не всегда возможно увязать влияние
факторов из разных источников на процессы очистки и неполадки оборудования. Таким образом,
организация хранения этих данных поможет выявить источник неполадки или отследить влияние на
процессы различных факторов.
Базы данных использовались в вычислительной технике с незапамятных времен. Согласно
определению, база данных – это совокупность организованных взаимосвязанных данных на
машиночитаемых носителях.
В первых компьютерах использовались два вида внешних устройств - магнитные ленты и
магнитные барабаны. Емкость магнитных лент была достаточно велика. Устройства для чтения-записи
магнитных лент обеспечивали последовательный доступ к данным. Для чтения информации, которая
находилась в середине или конце магнитной ленты, необходимо было сначала прочитать весь
предыдущий участок. Следствием этого являлось чрезвычайно низкая производительность операций
ввода-вывода данных во внешнюю память. История БД фактически началась с появлением магнитных
дисков. Такие устройства внешней памяти обладали существенно большей емкостью, чем магнитная
лента и барабаны, а также обеспечивали во много раз большую скорость доступа в режиме
произвольной выборки. В отличие от современных систем управления, которые могут применяться для
самых различных баз данных, подавляющее большинство ранее разработанных СУБД были тесно
связаны с пользовательской базой для того, чтобы увеличить скорость работы, хоть и в ущерб гибкости.
Банк данных (БнД) - это система специальным образом организованных данных - баз данных,
программных, технических, языковых, организационно-методических средств, предназначенных для
обеспечения централизованного накопления и коллективного многоцелевого использования данных.
База данных (БД) - именованная совокупность данных, отражающая состояние объектов и их
отношений в рассматриваемой предметной области.
Система управления базами данных (СУБД) - совокупность языковых и программных средств,
предназначенных для создания, ведения и совместного использования БД многими пользователями.
К организации данных в системах автоматизированной обработки информации возможны два
подхода:
1. Каждый пользователь системы создает наборы данных, необходимых для решения его задач,
и пишет программы обработки данных.
___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 1
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
2. Вся информация, описывающая определенную предметную область, хранится,
интегрировано, в единой базе данных (БД) и каждый из пользователей имеет доступ к тем
данным, которые необходимы ему для решения его задач.
Первый из подходов имеет ряд недостатков:
 В различных подсистемах часто хранится одна и та же информация, т.е. данные дублируются,
и возникает избыточность информации. При появлении изменений в данных необходимо обновлять
многочисленные наборы данных и если отдельные наборы окажутся не скорректированы, возникнет
противоречивость данных.
 Обмен данными между отдельными подсистемами затруднен или невозможен, т.к.
прикладные программы отдельных подсистем написаны на различных языках программирования, а
данные представлены в различных форматах.
 При появлении в подсистеме новых задач, а, следовательно, и новых данных придется
вносить изменения в уже созданные файлы и программы, т.к. данные описаны в каждой из прикладных
программ (описаны типы и форматы данных, типы файлов). В подобном случае говорят, что
прикладные программы зависят от хранимых данных.
Существенным достоинством первого подхода является наличие у каждого набора данных
единственного владельца, что снижает риск неавторизованного доступа к данным, их искажения и
разрушения.
При хранении данных в БД перечисленные недостатки снимаются. Однако в этом случае
возникает другой недостаток: у данных нет единого хозяина. Из-за этого снижается ответственность за
правильность хранимых данных и нарушается секретность. Для устранения этого недостатка для БД
разрабатывается специальная система защиты.
БД - это совокупность специальным образом организованных данных, описывающих
определенный класс объектов или определенную предметную область и используемая различными
пользователями и приложениями для решения своих задач.
Слова "специальным образом организованные" означают то, что БД должна строиться по
определенным правилам и должна удовлетворять ряду определенных требований.
Комплекс программных и языковых средств, обеспечивающих создание и функционирование
БД, называется Системой Управления Базой Данных - СУБД.
Совокупность БД, СУБД, технических средств и обслуживающего персонала образует банк
данных (БнД). Комплекс программных средств, управляющих БнД, называется Системой Управления
Банком Данных (СУБнД).
Существуют некоторые рекомендации по формированию базы данных показателей:

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 2
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
Минимальная избыточность означает то, что данные в БД не должны дублироваться.
Избыточность данных, если она существует, влечет две опасности:
- неоправданно большой расход памяти и уменьшение времени отклика системы при обработке
излишне больших объемов данных.
- нарушение непротиворечивости данных, т.е. возникновение такой ситуации, когда в различных
местах машинной памяти хранятся противоречивые данные. Возникновение противоречивости
чрезвычайно опасно для БД.
Противоречивость может возникнуть в результате корректировки избыточных данных. При
внесении изменений в логическую запись может случиться так, что отдельные экземпляры этой записи,
хранящиеся в различных местах машинной памяти, окажутся нескорректированы. Программисту
приходится проявлять особое внимание к организации процесса корректировки избыточных данных и
разрабатывать специальные программы, предотвращающие появление противоречивости.
Противоречивость может возникнуть и при корректировке не избыточных данных.
Централизованное хранение данных является причиной высокой вероятности того, что двум или более
пользователям одновременно понадобятся одни и те же данные. Если один из пользователей
обращается к данным, а другой в то же время вносит в них изменения, будут получены противоречивые
данные. Объясняется это тем, что процесс обновления данных требует определенного времени, в
течение которого одни и те же данные оказываются на разных стадиях обновления. При обращении к
таким данным параллельно работающих программ будут получены противоречивые сведения.
В СУБД существуют сложные механизмы блокирования обновляемых данных от доступа к ним
других пользователей. Параллельные запросы к одним и тем же данным обычно выполняются
последовательно.
В ряде СУБД есть средства, предотвращающие дублирование и возникновение
противоречивости данных. В противном случае такие средства разрабатывает системный программист.
Целостность данных означает то, что в БД должны храниться только правильные данные, т.е.
соблюдаются логические условия, в соответствии с которыми данные считаются правильными.
Разрушение и искажение данных возможно в результате неосторожных действий пользователей, в
результате ошибок в программах и сбоев оборудования.
Существуют специальные методы и приемы обеспечения целостности.
Для обеспечения целостности на данные, хранящиеся в БД, накладывают ограничения. При этом
определяются условия, которым должны соответствовать значения данных. Например, один и тот же
служащий не может иметь два различных года рождения и т.п.. Подобные ограничения называются
законами БД. Выполнимость законов БД периодически проверяется СУБД.

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 3
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
Для предотвращения возможности ввода неправильных данных разрабатываются средства
контроля правильности вводимых данных. Например, можно использовать процедуры, проверяющие
принадлежность вводимых значений определенному диапазону допустимых значений. Например,
количество рабочих дней ограничивается сверху количеством дней в текущем месяце.
Целостность данных может нарушиться при неудачном завершении транзакции. Транзакцией
называется некоторая неделимая последовательность операций над данными, выполняемая по одному
запросу к БД. Примером транзакции является операция перевода денег с одного счета на другой в
банковской системе. Здесь необходимо последовательное выполнение нескольких операций. Деньги
снимаются с одного счета, данные корректируются, затем деньги добавляются к другому счету и
данные вновь корректируются. Если хотя бы одно из действий не выполняется успешно, результат
транзакции окажется неверным. СУБД должна отслеживать ход выполнения транзакции от начала до ее
завершения. Если по какой-то причине какая-либо из операций не выполнилась, то транзакция
отменяется полностью. При этом выполняется "откат" путем отмены всех уже выполненных изменений.
В БД должны быть предусмотрены средства восстановления данных после программных сбоев и
сбоев оборудования. Существуют программы создания резервных копий и специальные программы,
которые автоматически фиксируют любые внесенные в БД изменения (создается файл корректур). Если
текущая версии БД испорчена, то берется предыдущая версия, в нее вносятся изменения
зафиксированные в файле корректур, и текущее (актуальное) состояние БД восстанавливается.
Различные СУБД в той или иной мере располагают средствами обеспечения целостности
данных. В противном случае такие средства разрабатываются системным программистом.
. Независимость данных означает то, что прикладные программы не должны зависеть от
хранимых данных, т.е. от способа хранения данных в физической памяти. Это позволяет добавлять в БД
новые данные, изменять структуры хранения данных, создавать на БД новые приложения. Ранее
созданные программы при этом не должны "чувствовать" эти изменения.
СУБД обычно обеспечивают это требование.
. Структура БД должна позволять включать новые и удалять устаревшие данные, корректировать
хранимые данные без разрушения логических связей, установленных в схеме БД. Для этого схема БД
должна быть правильно разработана, а операции ведения БД не должны нарушать схему БД.
. Безопасность и секретность означает защиту данных от несанкционированного доступа,
преднамеренного и непреднамеренного разрушения данных, хищения данных. Система защиты БД
призвана решать следующие задачи.
Идентификация пользователей. Данными, хранящимися в БД должны пользоваться только лица,
имеющие на это право и подтвердившие свои полномочия. Наиболее распространенным способом

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 4
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
решения этой задачи является система паролей.
Ограничение доступа к данным. Каждый пользователь должен работать только с теми данными,
которые необходимы для решения его задач, остальные данные должны быть для него "невидимыми".
Каждому пользователю предоставляются определенные полномочия (привилегии) для работы с
данными. Ему может быть предоставлено право только чтения из БД, право ввода в БД или право
обновления и т.п. Все привилегии предоставляются только администратору БД.
Обеспечение секретность данных. Секретные данные необходимо защищать от доступа системой
специальных, достаточно сложных паролей. Сильно уязвимые данные следует шифровать.
Средства защиты и безопасности данных содержатся в СУБД или разрабатываются системным
программистом.
Организация БД и методы доступа к данным должны обеспечивать высокую скорость обработки
данных так, чтобы пользователь мог работать с БД в диалоговом режиме. Стоимость обслуживания
пользователей не должна быть высокой.
Возможность выполнения этих требований определяется рядом факторов: объемом хранимых
данных, быстродействием техники, способом организации данных в БД и во многом зависит от
решений, принимаемых разработчиками на этапе создания БД. Например, можно организовать способ
размещения данных на носителе таким образом, что наиболее часто используемые данные хранятся на
наиболее доступных участках внешней памяти.
Представление данных в БД, сопровождающая документация, способ взаимодействия
пользователя с БД должны удовлетворять определенным стандартам. Стандарты могут быть
корпоративными, ведомственными, промышленными, национальными и международными.
Соблюдение стандартов совершенно необходимо для совместного использования данных и для
организации обмена данными между отдельными системами.

4.2 Накопление базы данных параметров сточной воды.

Организацию базы данных показателей работы очистных сооружений необходимо начинать с

контроля и накопления параметров качества поступающей и очищенной воды. Стандартный список
параметров состоит из следующих показателей:
1 Приток воды среднесуточный 6 Осадок по объему, мл/л
2 Температура воды 7 Взвешенные в-ва (при 105 гр полный анализ),
3 Реакция среды РН мг/л
4 Окраска, см 8 БПК-5 (взб), мг/л
5 Запах, баллы 9 ХПК, мг/л

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 5
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
10 Растворенный кислород, мг/л 24 Металлы хром (3+), мг/л
11 Азот (общий), мг/л 25 Металлы медь, мг/л
12 Азот (аммонийных солей), мг/л 26 Металлы цинк, мг/л
13 Азот (нитритов), мг/л 27 Металлы никель, мг/л
14 Азот (нитратов), мг/л 28 Металлы кадмий, мг/л
15 Фосфор общий (по Р), мг/л 29 Металлы марганец, мг/л
16 Фосфор фосфатов, мг/л 30 Металлы алюминий, мг/л
17 Фенолы, мг/л 31 Хлориды, мг/л
18 Трилон, мг/дм3 32 Сульфаты, мг/л
19 Сероводород и сульфиды, мг/л 33 Общие колиформные бактерии КОЕ в 100
20 Нефтепродукты, мг/л мл
21 СПАВ, мг/л 34 Термотолерантные колиформные бактерии
22 Металлы железо, мг/л КОЕ в 100 мл
23 Металлы хром (6+), мг/л

Наиболее оптимально хранить данные показатели в формате Excel. Бесконечная длина листа
позволит максимально эффективно и быстро добавлять данные за очередное число. Встроенные в
программу математические функции и функции построения графиков и диаграмм позволят эффективно
обрабатывать полученную информацию.
Рекомендуется помимо точек входа и выхода на станцию контролировать параметры в
промежуточных точках для получения информации о работе конкретного сооружения.
Обработка накопленных данных проводят как непосредственно в файле накопления
информации, так и применяя технологические средства, автоматизирующие процесс как добавления
новых данных в базу, так и вывода обработанной информации:
1. Создание программного интерфейса для подготовки отчетной документации.
2. Работа с файлами исходных данных с возможностью чтения из них необходимой
информации.
3. Создание критериев поиска информации и ее формирование в соответствии с
заданными критериями.
4. Создание и сохранение значений регламентных параметров в базе данных.
5. Сортировка и упорядочение прочитанной информации для возможности построения
диаграмм.
6. Занесение информации в таблицы результатов.

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 6
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
7. Построение диаграмм в файле результатов Excel с возможностью их сохранения и
приведение к виду, удобному для включения их в отчеты.
8. Построение таблиц и графиков в виде отчета в программе MS Word.
Решение этих задач позволяет обвязать все основные контролируемые параметры, быстро и
удобно формировать требуемые запросы и подготавливать вывод на графики выбранные параметры в
соответствии с заданными запросами.

Рис 1. Функциональная схема работы с многолетней динамикой

Предварительные графики строятся по результатам чтения исходной информации, ее обработки
и приведения к виду, удобному для построения диаграмм и графиков. Они предназначены для
быстрого и удобного просмотра полученных результатов на основании выбранных критериев поиска.
Основной целью подготовки для создания отчетной документации является построение
требуемых диаграмм графиков контролируемых параметров на рабочем листе в среде Microsoft Excel c
последующим их анализом, минимальными изменениями, копирования в буфер обмена Windows и их
вставки в необходимые места отчета, написанного в среде Microsoft Word.

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 7
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________
Как известно, для построения диаграмм в Excel, сначала создаются наборы таблиц, в которые
заносятся значения параметров, составляющих ось абсцисс и ось ординат. Они называются областью
данных. По этим данным составляются диапазоны для построения диаграмм.
.

Рис 2. Расположение области данных и диаграмм на рабочем листе Excel

Диаграммы могут быть как встроенные объекты на рабочем листе, а могут занимать целый
рабочий лист Excel, специально отформатированный под построение диаграмм.
Формирование отчетов носит общий характер и не привязано к созданию отчетов, выполненных
по заданным шаблонам, и демонстрирует лишь возможность использования программы для их
создания. Вместе с тем, можно создать определенные шаблоны и итоговые формы вывода информации
и использовать возможности программы для построения законченных отчетных форм.

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 8
Курс : Мониторинг энергоэффективных технологий и программа анализа данных для технолога
Тема 4 : Концепция формирования баз данных
__________________________________________________________________________________________________

Рис 3. Вид отчета при включенной опции “Таблицы и графики”

___________________________________________________________________________________________________________
к.т.н. Мойжес Станислав Игоревич, ООО «Водако» 9