SSIS handledning ger grundläggande och avancerade koncept för SQL Server Integration Services. Vår SSIS-handledning är designad för nybörjare och proffs.
SQL Server Integration Service är ett snabbt och flexibelt datalagerverktyg som används för dataextraktion, transformation och dataladdning. Det gör det enkelt att ladda data från en databas till en annan databas som SQL Server, Oracle, Excel-fil, etc.
I den här handledningen kommer vi att diskutera följande ämnen:
- Vad är SSIS
- Vad är dataintegration
- Varför SSIS
- Hur SSIS fungerar
- Krav för SQL Server Integration Service
- Vad är SSIS-paketet
- SSIS uppgifter
- Exempel på dataflödesuppgift
- Exempel på Execute SQL Task
Vad är SSIS?
- SSIS står för SQL Server Integration Services.
- Det är en komponent tillgänglig i Microsoft SQL Server-databasprogramvaran som används för att utföra ett brett utbud av integrationsuppgifter.
- Det är ett datalagerverktyg som används för dataextraktion, laddning av data till en annan databas, transformationer som rensning, aggregering, sammanslagning av data, etc.
- SSIS-verktyget innehåller också de grafiska verktygen och fönsterguidens arbetsflödesfunktioner som att skicka e-postmeddelanden, ftp-operationer, datakällor.
- SSIS används för att utföra ett brett utbud av transformations- och integrationsuppgifter. Som helhet används SSIS-verktyget vid datamigrering.
SSIS är ett verktyg som huvudsakligen används för att utföra två funktioner:
SSIS utför dataintegration genom att kombinera data från flera källor och tillhandahåller enhetlig data till användarna.
Workflow kan användas för att utföra flera saker. Ibland behöver vi utföra några specifika steg eller en viss sökväg som antingen är baserad på tidsperioden eller parametern som skickas till paketet eller data som efterfrågas från databasen. Den kan användas för att automatisera underhållet av SQL Server-databaser och tillhandahåller uppdateringen av multidimensionella analytiska data.
Vad är dataintegration?
Dataintegration är en process som du följer för att integrera data från flera källor. Uppgifterna kan vara antingen heterogena data eller homogena data. Data kan vara strukturerad, semi-strukturerad eller ostrukturerad. I dataintegration integreras data från olika olika datakällor för att bilda meningsfull data.
Vissa metoder används för att uppnå dataintegration:
Fördelar med dataintegration:
Det minskar datakomplexiteten vilket gör att data kan levereras till vilket system som helst. Dataintegration upprätthåller komplexiteten, strömlinjeformade anslutningar och gör det enkelt att leverera data till alla system.
Dataintegritet spelar en stor roll vid dataintegrering. Det handlar om att rensa och validera data. Alla vill ha hög kvalitet och robust data, så för att uppnå detta används dataintegrationskonceptet. Dataintegration är till hjälp för att ta bort fel, inkonsekvens och dubbelarbete.
Tillgänglighet faller under datasamarbete. Tillgänglighet innebär att data enkelt kan omvandlas, och människor kan enkelt integrera data i projekt, dela sina resultat och hålla data uppdaterade.
Det ger dig också möjlighet att fatta smartare beslut. En integrerad data hänvisar till överföringsprocessen inom ett företag så att vi lättare kan förstå informationen. En integrerad data är mycket enklare och informativ.
Varför SSIS?
SSIS används av följande skäl:
SSIS används för att kombinera data från flera datakällor för att generera en enda struktur i en enhetlig vy. I grund och botten är det ansvarigt för att samla in data, extrahera data från flera datakällor och slå samman till en enda datakälla.
SSSIS är en plattform som har förmågan att ladda en stor mängd data från Excel till en SQL Server-databas.
SSSIS-verktyget ger tät integration med andra produkter från Microsoft.
SSSIS-verktyget är billigare än de flesta andra verktyg. Det kan motstå med andra basprodukter, deras hanterbarhet, business intelligence, etc.
SSSIS låter dig hantera det komplexa felet i ett dataflöde. Du kan starta och stoppa dataflödet baserat på hur allvarlig felet är. Du kan till och med skicka ett e-postmeddelande till admin när något fel uppstår. När ett fel har åtgärdats kan du välja vägen mellan arbetsflödet.
Hur fungerar SSIS?
Vi vet att SSIS är en plattform för två funktioner, dvs dataintegration och arbetsflöde. Både uppgifterna Datatransformationer och arbetsflödesskapande utförs med hjälp av SSIS-paketet. SSIS-paketet består av tre komponenter:
Driftsdata
Operationella data är en databas som används för att integrera data från flera datakällor för att utföra ytterligare operationer på data. Det är platsen där data lagras för aktuell drift innan de skickas till datalagret för lagring, rapportering eller arkivering.
maskinskriven var och en
ETL
- ETL är den viktigaste processen i SSIS-verktyget. ETL används för att extrahera, transformera och ladda data till ett datalager.
- ETL är en process som ansvarar för att dra ut data från flera datakällor, omvandla data till användbar data och sedan lagra data i ett datalager. Data kan vara i valfritt format xml-fil, platt fil eller vilken databasfil som helst.
- Det säkerställer också att data som lagras i datalagret är relevant, korrekt, hög kvalitet och användbar för affärsanvändarna.
- Det kan lätt nås så att datalagret kan användas effektivt och effektivt.
- Det hjälper också organisationen att fatta datadrivna beslut genom att hämta strukturerad och ostrukturerad data från flera datakällor.
En ETL är ett begrepp på tre ord, men det är uppdelat i fyra faser:
Fånga: Capture phase är också känd som extraktfas. I den här fasen väljer den källdata eller metadata, och data kan vara i vilket format som helst som xml-fil, platt fil eller vilken databasfil som helst.
Skrubba: I denna fas kontrolleras originaldata. Den kontrollerar data, oavsett om den består av några fel eller inte. Den letar efter fel eller inkonsekvens i data genom att använda vissa artificiella intelligenstekniker. Kort sagt, det verifierar om produktens kvalitet uppfylls eller inte.
Omvandla: Det är den tredje fasen i ETL. Transformation är den process där originalformatet konverteras till ett önskat format som du vill ha. Transformation är att modellera eller ändra data enligt användarens krav. Ändringarna kan antingen vara ändringar i antalet kolumner eller rader.
Ladda och indexera: Den fjärde fasen är Last och index. Den laddar data och validerar antalet rader som har bearbetats. När laddningen av data är klar används indexeringen. Indexering hjälper dig att spåra antalet rader som laddas i datalagret. Indexering hjälper också till att identifiera data, oavsett om den är i rätt format eller inte.
Datalager
Data warehouse är ett enda, komplett och konsekvent datalager som är formulerat genom att kombinera data från flera datakällor.
Skillnaden mellan databas och datalager
Svaret kan vara både ja och nej. Både databasen och datalagret har en stor enhet av data och liknande fysisk representation men svarstiden för komplexa frågor i Data warehouse är snabbare än databasen.
Krav för SQL Server Integration Services
Följande är kraven för att installera SQL Server Integration Services:
- Installera SQL Server
- Installera SQL Server Data Tools
Följ stegen nedan för att installera SQL Server Data-verktygen:
Steg 1: Klicka på länken https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 för att ladda ner SQL Server-dataverktygen.
Steg 2: När du klickar på länken ovan visas skärmen nedan:
Välj den version av SSDT som du vill installera på skärmen ovan.
Steg 3: När nedladdningen är klar, kör den nedladdade filen. När du kör den nedladdade filen visas skärmen som visas nedan:
Steg 4: Klicka på knappen Nästa.
Steg 5: Välj visual studio-instansen och verktygen som du vill installera i visual studio 2017.
Steg 6: Klicka på Installera knapp.
Vad är SSIS-paketet?
Paketet är ett grundläggande block där du kodar i SSIS. Här betyder kod inte att du kodar i något programmeringsspråk; det betyder den utveckling du gör. Utvecklingen görs i SSIS-paketet. SSIS används huvudsakligen för ETL-processen, och ETL-processen utförs inuti SSIS-paketet.
SSIS-paketet består av tre delar:
SSIS-paketet kommer att ha några anslutningar, och dessa anslutningar används för att ansluta till olika datakällor.
SSIS-paketet består av två element, dvs kontrollflödeselement och dataflödeselement. Kontrollflödeselement hanterar arbetsflöden. Arbetsflöde innebär att vi utför vissa uppgifter i steg, så sekvensen görs genom kontrollflöde.
Dataflödeselementen utför transformationer.
SSIS uppgifter
I SSIS-paketet kan vi lägga till uppgifterna. En uppgift är en arbetsenhet och vi kommer att ha olika typer av uppgifter för att utföra olika sorters arbete. Det finns olika typer av uppgifter, men vi kommer att diskutera de vanligaste uppgifterna som används i SSIS:
Den används för att köra SQL-satserna mot en relationsdatabas.
Den används främst för att läsa data från en eller flera datakällor, transformera data och kan även ladda data till en eller flera destinationer.
Den används för att bearbeta objekt av en SSAS-kub eller tabellmodell.
Denna uppgift används för att anropa de andra paketen inom samma projekt. Du kan till och med skicka variabelvärdena till det anropade paketet.
Det låter dig köra ett program eller batchskript som en SQL Server Integration Services. Den kan användas för att öppna standardapplikationen som Microsoft Excel, Microsoft Word, etc. Den används också för att packa upp den komprimerade filen.
Den kan användas för att utföra manipulationerna i filsystemet som att flytta filer, ta bort filer, byta namn på filerna, byta katalog etc.
IFTP-uppgifter används för att utföra operationerna på filer och mappar. Om du till exempel vill skicka eller ta emot filen från FTP-servern till den lokala katalogen, används SSIS FTP-uppgiften.
Denna uppgift låter dig skriva .Net-koden som du vill utföra.
Denna uppgift används för att skicka ett e-postmeddelande. Det används huvudsakligen när du vill meddela användarna om uppgiftens tillstånd om den är i körning eller om något fel har uppstått.
Låt oss se ett fungerande exempel på en dataintegrationstjänst.
Exempel på dataflödesuppgift
Steg 1: Först skapar vi en excel-fil i Microsoft Excel. Anta att jag skapar elevdatabasen i Microsoft Excel och fälten i elevtabellen är student_id, student_name, markers och gender.
Steg 2: Öppna den visuella studion (SQL Server Data Tools).
Steg 3: Klicka på alternativet Arkiv och flytta sedan till Nytt->Projekt.
Steg 4: När du klickar på projektet visas skärmen som visas enligt nedan:
På skärmen ovan klickar du på integrationstjänsterna som visas längst till vänster på panelen och klickar sedan på projektet Integrationstjänster.
Steg 5: Efter att ha klickat på projektet Integration Services alternativ visas skärmen som nedan:
Skärmen ovan består av fem flikar som kontrollflöde, dataflöde, parametrar, händelsehanterare och paketutforskare. Vi har redan diskuterat kontrollflödet och dataflödet, både kontrollflödet och dataflödet finns i SSIS-paketet.
steg 6: För att importera data måste vi först skapa databasen där vi skapar tabellen i SQL Server-databasen. Eftersom vi vet att studentdata finns i Excel-filen, och vi vill importera data i SQL Server-databasen. För att uppnå detta måste vi först skapa tabellen i SQL Server. Öppna SQL Server Management-studion.
Steg 7: Skapa studerande databas. Högerklicka på databasen och klicka sedan på Ny databas alternativ.
Steg 8: Ange databasnamnet i skärmdumpen nedan:
Jag har gett StudentWarehouse som databasnamn.
Steg 9: Klicka på OK knapp.
svm
Steg 10: Nu skapar vi tabellen i en Studentlager databas. Högerklicka på tabellerna och klicka sedan på Ny tabell.
Steg 11: Nu lägger vi till fälten i en tabell som student_id, student_name, markers och gender. Vi ställer in student_id som en primärnyckel som unikt identifierar varje rad.
Skärmen ovan visar att vi lägger till fyra fält i en tabell. Efter att ha lagt till alla fält i en tabell, sparar vi tabellen genom att ge ett användbart namn. Anta att jag har angett studenten som ett tabellnamn.
Steg 12: Gå tillbaka till den visuella studion. Kontrollflödet innehåller dataflödesuppgiften, dra och släpp dataflödesuppgiften i huvudfönstret.
Steg 13: När vi dubbelklickar på dataflödesuppgiften flyttas kontrollen automatiskt till dataflödet från kontrollflödet, så vi kan säga att kontrollflödet är en behållare för dataflöde.
Steg 14: Nu kan vi utföra transformationerna i Data Flow. Vi vill extrahera data från Excel-fil som vi skapade tidigare, så dra och släpp Excel-källan från de andra källorna som visas längst till vänster i panelen.
Från ovanstående skärm ser vi att det röda krysset visas inuti Excel-källan, det betyder att komponenten är konfigurerad med Excel-källan.
Steg 15: För att konfigurera komponenten, högerklicka på Excel-källan och klicka på alternativet Redigera som visas i skärmdumpen nedan:
Steg 16: Fyll i uppgifterna som visas i skärmdumpen nedan:
Steg 17: Efter att ha angett alla detaljer visas skärmen som visas nedan:
Steg 18: Klicka på Excel-källan.
Skärmen ovan visar två pilar, röd och blå pil. Den blå pilen definierar de faktiska data som vi får från Excel-filen, och den röda pilen anger de fel som vi har. Nu måste vi utföra transformationerna, och innan vi utför transformationerna måste vi ladda databasen.
Steg 19: För att ladda databasen, klicka på Andra destinationer och klicka sedan på destinationen.
Steg 20: När du har lagt till destinationen ansluter du källan till destinationen.
Steg 21: I steget ovan märkte vi det röda krysset i ADO NET Destination, vilket betyder att det inte är konfigurerat med en komponent. Högerklicka på ADO NET-destinationen och klicka sedan på alternativet Redigera som visas i skärmdumpen nedan:
Steg 22: Du måste ange konfigurationshanteraren.
Steg 23: Klicka på Ny för att lägga till anslutningshanteraren. När du klickar på Ny knappen visas skärmen nedan:
Steg 24: Lägg till servernamnet och välj databasnamnet från SQL Server.
Steg 25: Klicka på OK-knappen.
Steg 26: Lägg till tabellnamnet där du vill ladda data.
Steg 27: På skärmen nedan, mappa fältet för ingångskällan till fältet för destinationskällan.
kvartal i verksamheten
Steg 28: Efter att ha lagt till en mappning ansluts källan till destinationen, som visas i skärmdumpen nedan:
Steg 29: Klicka på Start knappen för att köra Integration Services Project. När du kör projektet laddas data till destinationen, dvs. SQL Server .
Exempel på Execute SQL Task
- Följ stegen från steg 2 till steg 5 i föregående exempel.
- Dra och släpp Kör SQL-uppgift visas längst till vänster i huvudfönstret.
På skärmen ovan ser vi att det röda krysset visas i Execute SQL Task, vilket betyder att Anslutningshanterare är inte konfigurerad med Kör SQL-uppgift . För att konfigurera det måste vi lägga till Connection Manager.
- För att lägga till anslutningshanteraren, högerklicka på anslutningshanteraren och klicka sedan på den nya anslutningshanteraren som visas i skärmdumpen nedan:
- Välj OLEDB som en Connection Manager-typ och klicka sedan på Lägg till knappen som visas i skärmdumpen nedan:
- Efter att ha klickat på Lägg till knappen visas skärmen som visas i skärmdumpen nedan:
På skärmen ovan ser vi att dataanslutningen för Studentlager databasen är redan tillgänglig som vi skapade i föregående steg. Klicka på OK knapp.
- När du klickar på OK-knappen visas skärmen som visas nedan:
I ovanstående skärm måste du ange detaljer som namnet på din uppgift, beskrivning, SQL-sats (SQL-uppgift som du behöver utföra på tabellen).
- Jag angav följande detaljer i skärmdumpen ovan:
I ovanstående fall har jag tillhandahållit kommandot insert i SQLStatement.
- Klicka på OK knapp.
- När du konfigurerar komponenten med Execute SQL Task, försvinner det röda krysset som visas i skärmdumpen nedan:
- Kör projektet genom att klicka på Start .
- När du klickar på Start , visas skärmen som nedan:
På skärmen ovan visar bockmarkeringen att din SQL-uppgift har slutförts. Insert-satsen som vi lade till i de föregående stegen har körts och data läggs till i tabellen. dvs student1.
- Resultatet av denna uppgift visas nedan
Nödvändig förutsättning
Innan du lär dig SSIS måste du ha grundläggande kunskaper om SQL Server.
Publik
Vår SSIS-handledning är utformad för att hjälpa nybörjare och proffs.
Problem
Vi försäkrar att du inte kommer att hitta några problem i denna SSIS-handledning. Men om det finns något misstag eller fel, vänligen posta felet i kontaktformuläret.