<\/strong>Wyb\u00f3r pomi\u0119dzy MS SQL & Synapse Dedicated Pool zale\u017cy od konkretnych potrzeb organizacji i rodzaju przetwarzania danych, kt\u00f3re maj\u0105 by\u0107 obs\u0142ugiwane.<\/p>\n\n\n\n
MS SQL Server to tradycyjna baza danych typu relacyjnego o architekturze monolitycznej, kt\u00f3ra dzia\u0142a na pojedynczym serwerze lub klastrze serwer\u00f3w.<\/p>\n\n\n\n
Platforma Synapse Dedicated SQL Pool to zaawansowane rozwi\u0105zanie bazodanowe typu MPP o architekturze rozproszonej, kt\u00f3re umo\u017cliwia r\u00f3wnoczesne przetwarzanie na wielu w\u0119z\u0142ach.<\/p>\n\n\n\n
Czym jest modern data warehouse?<\/p>\n\n\n\n Modern data warehouse to zaawansowana platforma, kt\u00f3ra integruje i zarz\u0105dza danymi z r\u00f3\u017cnych \u017ar\u00f3de\u0142, takimi jak bazy danych, chmurowe us\u0142ugi lub aplikacje, w spos\u00f3b efektywny i skalowalny. To umo\u017cliwia organizacjom gromadzenie, przetwarzanie i analizowanie du\u017cych ilo\u015bci danych w czasie rzeczywistym lub w trybie wsadowym.<\/p>\n\n\n\n \u00a0Platforma Azure oferuje narz\u0119dzia do analizy danych, takie jak Azure Synapse Analytics, kt\u00f3ry \u0142\u0105czy w sobie rozwi\u0105zania oparte na SQL takich jak dedicated pool oraz mo\u017cliwo\u015b\u0107 korzystania z rozwi\u0105za\u0144 serverless z u\u017cyciem notebook\u00f3w w technologii Spark. Ponadto, Azure zapewnia skalowalno\u015b\u0107 i elastyczno\u015b\u0107, co oznacza, \u017ce firmy mog\u0105 dostosowywa\u0107 swoje zasoby do zmieniaj\u0105cych si\u0119 potrzeb i rozmiar\u00f3w danych. To rozwi\u0105zanie pomaga organizacjom usprawni\u0107 zarz\u0105dzanie danymi, zwi\u0119kszy\u0107 efektywno\u015b\u0107 i konkurencyjno\u015b\u0107 na rynku.<\/p>\n\n\n\n MS SQL vs Synapse<\/p>\n\n\n\n SQL Engine to komponent w bazach danych relacyjnych, kt\u00f3ry obs\u0142uguje zapytania SQL nad danymi w bazie danych.W standardowym SQL Serverze pracujemy z \u015brodowiskiem SMP (symteric multi-processing). SMP oznacza, ze mamy pojedynczy storage, kt\u00f3ry jest po\u0142\u0105czony z CPUs, a zapytania s\u0105 r\u00f3wnolegle dla tych CPUs po przez service bus. Wszystkie CPUs potrzebuje dost\u0119pu do tego samego storage przez co pojawi\u0105 si\u0119 w\u0105skie gard\u0142o, szczeg\u00f3lnie gdy wywo\u0142ujemy du\u017ce zapytania<\/p>\n\n\n\n .MPP to architektura przetwarzania danych, kt\u00f3ra umo\u017cliwia r\u00f3wnoczesne przetwarzanie du\u017cych ilo\u015bci danych na wielu w\u0119z\u0142ach obliczeniowych. MPP jest szczeg\u00f3lnie przydatne w kontek\u015bcie analizy danych i hurtowni danych.W MPP ka\u017cdy storage jest szeroko dystrybu\u0142owany i zapewnia pewn\u0105 okre\u015blon\u0105 liczbe oblicze\u0144. Ka\u017cdy node (w\u0119ze\u0142) jest tak naprawd\u0119 oddzielna baza SQL i posiada sw\u00f3j w\u0142asny storage, oddzielony od innych nod\u00f3w<\/p>\n\n\n\n W SMP mo\u017ce istnie\u0107 rywalizacja o zasoby pami\u0119ciowe z powodu jednego punktu dost\u0119pu, ten problem jest rozwi\u0105zany w MPP gdy\u017c ka\u017cdy node ma w\u0142asny storage.<\/p>\n\n\n\n Symetric multi-procesising<\/p>\n\n\n\n Massively Parallel Processing Engine<\/p>\n\n\n\n <\/p>\n\n\n\n Kluczow\u0105 spraw\u0105 jak\u0105 musimy zrozumie\u0107 pracuj\u0105c z Azure Synapse Analytics jest dystrybucja. Hash distribution<\/p>\n\n\n\n Kluczow\u0105 spraw\u0105 jak\u0105 musimy zrozumie\u0107 pracuj\u0105c z Azure Synapse Analytics jest dystrybucja. Zagro\u017cenia po stronie Synapse Dedicated Pool:<\/strong><\/p>\n\n\n\n Primary key i indexy bez unique key<\/strong><\/p>\n\n\n\n Niestety nie jeste\u015bmy wstanie zdefiniowa\u0107 unikalnego primary key i\/lub utworzy\u0107 unikalny index czy constrein. Mimo, \u017ce Synapse pozwoli nam utworzy\u0107 taki klucz lub index, b\u0119dziemy musieli wymusi\u0107, \u017ce nie musi by\u0107 unikalny<\/p>\n\n\n\n Identity column per node<\/strong><\/p>\n\n\n\n Niestety funckja identity nie dzia\u0142a tak jakby\u015bmy tego chcieli. Ka\u017cdy identity tworzy si\u0119 na osobnym nodzie, przez co ich numeracja wyst\u0119puje losowo ale unikalnie dla ca\u0142ego control noda.<\/p>\n\n\n\n Data skew<\/strong><\/p>\n\n\n\n Data skew ma miejsce, gdy dane nie s\u0105 prawid\u0142owo rozmieszczone w r\u00f3\u017cnych dystrybucjach pami\u0119ci masowej.<\/p>\n\n\n\n Szybkim sposobem sprawdzenia Data Skew jest u\u017cycie DBCC PDW_SHOWSPACEUSED. Poni\u017cszy kod SQL zwraca liczb\u0119 wierszy tabeli przechowywanych w ka\u017cdym z 60 rozk\u0142ad\u00f3w. Aby zapewni\u0107 zr\u00f3wnowa\u017con\u0105 wydajno\u015b\u0107, wiersze tabeli rozproszonej powinny by\u0107 r\u00f3wnomiernie roz\u0142o\u017cone we wszystkich dystrybucjach.<\/p>\n\n\n\n DBCC PDW_SHOWSPACEUSED(‘dbo.FactInternetSales’);<\/p>\n\n\n\n Azure Synapse Concurency Slots<\/strong><\/p>\n\n\n\n Azure Synapse Concurency Slots to liczba zapyta\u0144, kt\u00f3re mo\u017cna jednocze\u015bnie wykona\u0107 w bazie danych.<\/p>\n\n\n\n Liczba miejsc wsp\u00f3\u0142bie\u017cno\u015bci zale\u017cy od liczby zasob\u00f3w przydzielonych do dedykowanej puli SQL us\u0142ugi Azure Synapse Analytics. Je\u015bli w bazie danych dzia\u0142a jednocze\u015bnie wiele zapyta\u0144 i jest dost\u0119pna wystarczaj\u0105ca liczba miejsc wsp\u00f3\u0142bie\u017cno\u015bci, niekt\u00f3re zapytania zostan\u0105 umieszczone w kolejce.<\/p>\n\n\n\n Typy danych<\/strong><\/p>\n\n\n\n Oba systemy wspieraj\u0105 tylko tabularyczny zapis danych<\/p>\n\n\n\n W Synapse nie ma mo\u017cliwo\u015bci u\u017cycia non\/semi-structured data<\/p>\n\n\n\n Dla danych w formacie JSON preferuje si\u0119 zapis w formacie nvarchar(max) i wykorzystanie funkcji OPENJSON<\/p>\n\n\n\n W Synapse nie powinno u\u017cywa\u0107 si\u0119 typu danych n\/varchar(max), zamiast tego lepiej stosowa\u0107 nvarchar(4000). Je\u017celi ju\u017c musimy u\u017cyc varchar czy nvarchar(max) mo\u017cemy ustawi\u0107 dystrybucje na heap.<\/p>\n\n\n\n Extrenal tables<\/strong><\/p>\n\n\n\n W takim razie co z danymi non\/semi-structured data? Na te zapotrzebowanei przychodzi nam wirtualizacja danych za pomoc\u0105 external tables. Tabele zewn\u0119trzne mo\u017cesz wykorzysta\u0107 do:<\/p>\n\n\n\n Generowania zapyta\u0144 do us\u0142ugi Azure Blob Storage i Azure Data Lake Gen2 za pomoc\u0105 T-SQL.<\/p>\n\n\n\n Przechowuj wyniki zapyta\u0144 w plikach w us\u0142udze Azure Blob Storage lub Azure Data Lake Storage przy u\u017cyciu technologii CETAS.<\/p>\n\n\n\n Importuj dane z Azure Blob Storage i Azure Data Lake Storage i przechowuj je w dedykowanej puli SQL CREATE EXTERNAL DATA SOURCE, aby odwo\u0142ywa\u0107 si\u0119 do zewn\u0119trznego magazynu Azure i okre\u015bl po\u015bwiadczenia, kt\u00f3rych nale\u017cy u\u017cywa\u0107 w celu uzyskania dost\u0119pu do magazynu.<\/p>\n\n\n\n CREATE EXTERNAL FILE FORMAT, aby opisa\u0107 format plik\u00f3w CSV lub Parquet.<\/p>\n\n\n\n CREATE EXTERNAL TABLE na plikach umieszczonych w \u017ar\u00f3dle danych o tym samym formacie pliku.<\/p>\n\n\n\n <\/p>\n\n\n\n Por\u00f3wnanie MS SQL vs Synapse Dedicated Pool<\/p>\n\n\n\n Standardowy data warehouse czy synapse dedicated pool? Wyb\u00f3r pomi\u0119dzy MS SQL & Synapse Dedicated Pool zale\u017cy od konkretnych potrzeb organizacji i rodzaju przetwarzania danych, kt\u00f3re maj\u0105 by\u0107 obs\u0142ugiwane. MS SQL Server to tradycyjna baza danych typu relacyjnego o architekturze monolitycznej, kt\u00f3ra dzia\u0142a na pojedynczym serwerze lub klastrze serwer\u00f3w. Platforma Synapse Dedicated SQL Pool to zaawansowane…<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"om_disable_all_campaigns":false,"inline_featured_image":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"_uf_show_specific_survey":0,"_uf_disable_surveys":false,"footnotes":""},"categories":[1],"tags":[],"acf":[],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/posts\/70"}],"collection":[{"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/comments?post=70"}],"version-history":[{"count":2,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/posts\/70\/revisions"}],"predecessor-version":[{"id":206,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/posts\/70\/revisions\/206"}],"wp:attachment":[{"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/media?parent=70"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/categories?post=70"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.fubuha.com\/index.php\/wp-json\/wp\/v2\/tags?post=70"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/mdw_model.png\")
<\/figure>\n\n\n\n
Nowoczesna hurtownia danych to zaawansowane podej\u015bcie do zarz\u0105dzania danymi i analizy, kt\u00f3re integruje dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142 i umo\u017cliwia efektywn\u0105 analiz\u0119 oraz raportowanie. G\u0142\u00f3wne cechy nowoczesnej hurtowni danych:<\/p>\n\n\n\n\n
![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/smp.jpg\")
<\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/mpp.png\")
<\/figure>\n\n\n\n
Round robin distribution:<\/p>\n\n\n\nCREATE TABLE myTable
(
id int NOT NULL,
firstName varchar(20),
lastName varchar(20)
)
WITH
(
DISTRIBUTION = ROUND_ROBIN, CLUSTERED COLUMNSTORE INDEX
);<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/rrd-1.png\")
<\/figure>\n\n\n\nCREATE TABLE myTable
(
id int NOT NULL,
firstName varchar(20),
lastName varchar(20)
)
WITH
(
DISTRIBUTION = HASH (id),
CLUSTERED COLUMNSTORE INDEX
);<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/hash.png\")
<\/figure>\n\n\n\n
<\/p>\n\n\n\n
Na pocz\u0105tek w us\u0142udze Azure Synapse Analytics liczba wsp\u00f3\u0142bie\u017cnych miejsc zale\u017cy od jednostek magazynu danych (DWU) przydzielonych do dedykowanej puli SQL.<\/p>\n\n\n\n![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/dwu.png\")
<\/figure>\n\n\n\n
Tabela zewn\u0119trzna wskazuje dane znajduj\u0105ce si\u0119 w us\u0142udze Hadoop, obiekcie blob us\u0142ugi Azure Storage lub us\u0142udze Azure Data Lake Storage.
Tabele zewn\u0119trzne umo\u017cliwiaj\u0105 odczytywanie danych z plik\u00f3w lub zapisywanie danych w plikach w us\u0142udze Azure Storage.<\/p>\n\n\n\n
Tabele zewn\u0119trzne w pulach SQL Synapse mo\u017cna tworzy\u0107, wykonuj\u0105c nast\u0119puj\u0105ce kroki:<\/p>\n\n\n\n![\"\"](\"https:\/\/blog.fubuha.com\/wp-content\/uploads\/2023\/10\/tablemsvssyn-1024x713.png\")
<\/figure>\n","protected":false},"excerpt":{"rendered":"