Како компаније стварају све више и више података, традиционални приступ складиштењу података постаје све тежи и скупљи за одржавање. Трезор података, релативно нов приступ складиштењу података, нуди решење за овај проблем тако што пружа скалабилан, агилан и исплатив начин за управљање великим количинама података.
У овом посту ћемо истражити како су трезори података будућност складиштења података и зашто све више компанија усваја овај приступ. Такође ћемо обезбедити ресурсе за учење за оне који желе да зароне дубље у тему!
Преглед садржаја
Шта је трезор података?
Трезор података је техника моделирања складишта података посебно погодна за агилна складишта података. Нуди висок степен флексибилности за проширења, потпуну историзацију података по јединици времена и омогућава снажну паралелизацију процеса учитавања података. Дан Линстедт је развио моделирање трезора података 1990-их.
Након првог објављивања 2000. године, већу пажњу је привукла 2002. низом чланака. Године 2007. Линстедт је добио подршку Била Инмона, који га је описао као „оптимални избор“ за своју архитектуру Дата Ваулт 2.0.
Свако ко се бави термином агилно складиште података брзо ће завршити са Трезором података. Оно што је посебно у вези са технологијом је то што је фокусирана на потребе компанија јер омогућава флексибилна прилагођавања складишта података са малим напором.
Дата Ваулт 2.0 разматра цео развојни процес и архитектуру и састоји се од метода компоненти (имплементација), архитектуре и модела. Предност је у томе што овај приступ узима у обзир све аспекте пословне интелигенције са основним складиштем података током развоја.
Модел Дата Ваулт нуди савремено решење за превазилажење ограничења традиционалних приступа моделирању података. Својом скалабилношћу, флексибилношћу и агилношћу, пружа солидну основу за изградњу платформе података која може да се прилагоди сложености и разноликости савремених окружења података.
Хуб-анд-споке архитектура Дата Ваулт-а и раздвајање ентитета и атрибута омогућавају интеграцију и хармонизацију података у више система и домена, олакшавајући инкрементални и агилан развој.
Кључна улога Трезора података у изградњи платформе података је успостављање јединственог извора истине за све податке. Његов јединствени поглед на податке и подршка за хватање и праћење историјских промена података путем сателитских табела омогућавају усклађеност, ревизију, регулаторне захтеве и свеобухватну анализу и извештавање.
Могућности Дата Ваулт-а за интеграцију података у скоро реалном времену путем делта учитавања олакшавају руковање великим количинама података у окружењима која се брзо мењају као што су Биг Дата и ИоТ апликације.
Трезор података наспрам традиционалних модела складишта података
Трећи нормални облик (3НФ) је један од најпознатијих традиционалних модела складишта података, који се често преферира у многим великим имплементацијама. Узгред, ово одговара идејама Била Инмона, једног од „претника“ концепта складишта података.
Инмон архитектура је заснована на моделу релационе базе података и елиминише редундантност података разбијањем извора података у мање табеле које се чувају у базама података и међусобно су повезане коришћењем примарних и страних кључева. Обезбеђује да су подаци доследни и тачни применом правила о референтном интегритету.
Циљ нормалног облика био је да се изгради свеобухватан модел података за целу компанију за основно складиште података; међутим, има проблема са скалабилности и флексибилношћу због веома повезаних продајних места, потешкоћа са учитавањем у режиму скоро у реалном времену, напорних захтева и дизајна одозго надоле и имплементације.
Кимбал модел, који се користи за ОЛАП (онлине аналитичку обраду) и витрине података, је још један познати модел складишта података у којем табеле чињеница садрже агрегиране податке, а табеле димензија описују ускладиштене податке у шеми звезда или пахуљица. У овој архитектури, подаци су организовани у табеле чињеница и димензија које су денормализоване да поједноставе упите и анализу.
Кимбал је заснован на димензионалном моделу који је оптимизован за упите и извештавање, што га чини идеалним за апликације пословне интелигенције. Међутим, имао је проблема са изолацијом информација оријентисаних на предмет, редундантношћу података, некомпатибилним структурама упита, потешкоћама у скалабилности, недоследном грануларношћу табела чињеница, проблемима синхронизације и потребом за дизајном одозго надоле са имплементацијом одоздо према горе.
Насупрот томе, архитектура трезора података је хибридни приступ који комбинује аспекте и 3НФ и Кимбалл архитектуре. То је модел заснован на релационим принципима, нормализацији података и математици редунданције који другачије представља односе између ентитета и другачије структурира поља табеле и временске ознаке.
У овој архитектури, сви подаци се чувају у трезору сирових података или језеру података, док се обично коришћени подаци чувају у нормализованом формату у пословном трезору који садржи историјске податке и податке специфичне за контекст који се могу користити за извештавање.
Трезор података решава проблеме у традиционалним моделима тако што је ефикаснији, скалабилнији и флексибилнији. Омогућава учитавање скоро у реалном времену, бољи интегритет података и лако проширење без утицаја на постојеће структуре. Модел се такође може проширити без миграције постојећих табела.
Приступ моделирањуСтруктура податакаПриступ дизајну3НФ МоделирањеТабеле у 3НФМоделирање одоздо нагореКимбал моделирањеСтар шема или шема пахуљица Одозго надоле Трезор податакаХуб-анд-СпокеБоттом-уп
Архитектура трезора података
Трезор података има архитектуру чворишта и реке и у суштини се састоји од три слоја:
Слој за постављање: Прикупља необрађене податке из изворних система, као што су ЦРМ или ЕРП
Слој складишта података: Када је моделиран као модел трезора података, овај слој укључује:
- Трезор сирових података: чува необрађене податке.
- Трезор пословних података: укључује усклађене и трансформисане податке засноване на пословним правилима (опционо).
- Трезор метрика: чува информације о времену извођења (опционо).
- Оперативни трезор: складишти податке који теку директно из оперативних система у складиште података (опционо.)
Дата Март Лаиер: Овај слој моделира податке као звездасте шеме и/или друге технике моделирања. Пружа информације за анализу и извештавање.
Извор слике: Ламиа Иессад
Трезор података не захтева ре-архитектуру. Нове функције се могу градити паралелно директно користећи концепте и методе Дата Ваулт-а, а постојеће компоненте се не губе. Оквири могу знатно олакшати рад: стварају слој између складишта података и програмера и на тај начин смањују сложеност имплементације.
Компоненте трезора података
Током моделирања, Дата Ваулт дели све информације које припадају објекту у три категорије – за разлику од класичног моделирања треће нормалне форме. Ове информације се затим чувају строго одвојене једна од друге. Функционалне области се могу мапирати у трезору података у такозваним чвориштима, везама и сателитима:
#1. Чворишта
Чворишта су срце основног пословног концепта, као што су купац, продавац, продаја или производ. Табела чворишта се формира око пословног кључа (назив продавнице или локација) када се нова инстанца тог пословног кључа први пут уведе у складиште података.
Чвориште не садржи описне информације и ФК-ове. Састоји се само од пословног кључа, са секвенцом ИД или хеш кључева генерисаном у складишту, датумом/време учитавања и извором записа.
#2. Линкови
Везе успостављају односе између пословних кључева. Сваки унос у вези моделира нм односа било којег броја чворишта. Омогућава трезору података да флексибилно реагује на промене у пословној логици изворних система, као што су промене у срдачности односа. Баш као и чвориште, веза не садржи никакве описне информације. Састоји се од ИД-ова секвенце чворишта на које упућује, ИД-а секвенце генерисаног у складишту, ознаке датума/времена учитавања и извора записа.
#3. Сателити
Сателити садрже дескриптивне информације (контекст) за пословни кључ који се чува у чворишту или однос сачуван у вези. Сателити раде „само за уметање“, што значи да се комплетна историја података чува у сателиту. Више сателита може описати један пословни кључ (или однос). Међутим, сателит може описати само један кључ (чвориште или везу).
Извор слике: Царбидфисцхер
Како направити модел трезора података
Изградња модела трезора података укључује неколико корака, од којих је сваки кључан за осигурање да је модел скалабилан, флексибилан и да може да задовољи потребе пословања:
#1. Идентификујте ентитете и атрибуте
Идентификујте пословне субјекте и њихове одговарајуће атрибуте. То укључује блиску сарадњу са пословним актерима како би се разумели њихови захтеви и подаци које треба да сакупе. Када су ови ентитети и атрибути идентификовани, раздвојите их на чворишта, везе и сателите.
#2. Дефинишите односе ентитета и креирајте везе
Када сте идентификовали ентитете и атрибуте, односи између ентитета су дефинисани, а везе се креирају да представљају ове односе. Свакој вези је додељен пословни кључ који идентификује однос између ентитета. Сателити се затим додају да би се ухватили атрибути и односи ентитета.
#3. Успоставити правила и стандарде
Након креирања веза, треба успоставити скуп правила и стандарда за моделирање трезора података како би се осигурало да је модел флексибилан и да може да поднесе промене током времена. Ова правила и стандарде треба редовно ревидирати и ажурирати како би се осигурало да остају релевантни и усклађени са пословним потребама.
#4. Попуните модел
Када је модел креиран, треба га попунити подацима користећи приступ инкременталног учитавања. То укључује учитавање података у чворишта, везе и сателите помоћу делта оптерећења. Делта се учитава како би се осигурало да се учитавају само промене направљене у подацима, смањујући време и ресурсе потребне за интеграцију података.
#5. Тестирајте и потврдите модел
Коначно, модел треба тестирати и валидирати како би се осигурало да испуњава пословне захтеве и да је довољно скалабилан и флексибилан да се носи са будућим променама. Редовно одржавање и ажурирања треба да се обављају како би се осигурало да модел остаје усклађен са пословним потребама и да настави да пружа јединствен поглед на податке.
Ресурси за учење трезора података
Овладавање трезором података може да обезбеди вредне вештине и знања која су веома тражена у данашњим индустријама заснованим на подацима. Ево свеобухватне листе ресурса, укључујући курсеве и књиге, који могу помоћи у учењу замршености Трезора података:
#1. Моделирање складишта података са трезором података 2.0
Овај Удеми курс је свеобухватан увод у приступ моделирању Дата Ваулт 2.0, Агиле управљање пројектима и интеграцију великих података. Курс покрива основе и основе Дата Ваулт-а 2.0, укључујући његову архитектуру и слојеве, пословне и информационе трезоре и напредне технике моделирања.
Учи вас како да дизајнирате модел трезора података од нуле, конвертујете традиционалне моделе као што су 3НФ и димензионални модели у трезор података и разумете принципе димензионалног моделирања у трезору података. Курс захтева основно познавање база података и основе СКЛ-а.
Са високом оценом од 4,4 од 5 и преко 1.700 рецензија, овај најпродаванији курс је погодан за све који желе да изграде јаку основу у Дата Ваулт 2.0 и интеграцији великих података.
#2. Моделирање трезора података објашњено са случајем употребе
Овај Удеми курс има за циљ да вас води у изградњи модела трезора података користећи практичан пословни пример. Служи као водич за почетнике за моделирање трезора података, покривајући кључне концепте као што су одговарајући сценарији за коришћење модела трезора података, ограничења конвенционалног ОЛАП моделирања и систематски приступ конструисању модела трезора података. Курс је доступан појединцима са минималним знањем базе података.
#3. Гуру трезора података: прагматичан водич
Гуру за трезор података господина Патрика Кубе је свеобухватан водич за методологију трезора података, који нуди јединствену прилику за моделирање складишта података предузећа користећи принципе аутоматизације сличне онима који се користе у испоруци софтвера.
Књига пружа преглед модерне архитектуре, а затим нуди детаљан водич о томе како да се испоручи флексибилан модел података који се прилагођава променама у предузећу, трезор података.
Поред тога, књига проширује методологију трезора података обезбеђујући аутоматизовану корекцију временске линије, ревизијске трагове, контролу метаподатака и интеграцију са агилним алатима за испоруку.
#4. Изградња скалабилног складишта података са Трезором података 2.0
Ова књига пружа читаоцима свеобухватан водич за креирање скалабилног складишта података од почетка до краја користећи Дата Ваулт 2.0 методологију.
Ова књига покрива све битне аспекте изградње скалабилног складишта података, укључујући технику моделирања трезора података, која је дизајнирана да спречи типичне грешке у складишту података.
Књига садржи бројне примере који помажу читаоцима да јасно разумеју концепте. Са својим практичним увидима и примерима из стварног света, ова књига је суштински ресурс за све који су заинтересовани за складиштење података.
#5. Слон у фрижидеру: вођени кораци до успеха у трезору података
Слон у фрижидеру Џона Џајлса је практичан водич који има за циљ да помогне читаоцима да постигну успех у трезору података тако што ће почети са послом и завршити са послом.
Књига се фокусира на важност онтологије предузећа и моделирања пословног концепта и пружа упутства корак по корак о томе како применити ове концепте за креирање солидног модела података.
Кроз практичне савете и узорке образаца, аутор нуди јасно и некомпликовано објашњење компликованих тема, чинећи књигу одличним водичем за оне који тек почињу са трезором података.
Завршне речи
Трезор података представља будућност складиштења података, нудећи компанијама значајне предности у погледу агилности, скалабилности и ефикасности. Посебно је погодан за предузећа која морају брзо да учитавају велике количине података и за оне који желе да развију своје апликације пословне интелигенције на агилан начин.
Штавише, компаније које имају постојећу силос архитектуру могу имати велике користи од имплементације узводног основног складишта података користећи Дата Ваулт.
Можда ћете бити заинтересовани да сазнате више о линији података.