Datadeduplisering er en populær og populær lagringsteknologi som optimerer lagringskapasiteten.Den eliminerer overflødige data ved å fjerne dupliserte data fra datasettet, og etterlater bare én kopi.Som vist i figuren nedenfor.Denne teknologien kan i stor grad redusere behovet for fysisk lagring plass for å møte den økende etterspørselen etter datalagring.Dedupe-teknologi kan gi mange praktiske fordeler, hovedsakelig inkludert følgende aspekter:
| (1) | Møt ROI(Return On Investment)/TCO(Total Cost of Ownership) krav; |
| (2) | Den raske veksten av data kan effektivt kontrolleres; |
| (3) | Øk effektiv lagringsplass og forbedre lagringseffektiviteten; |
| (4) | Spar de totale lagringskostnadene og administrasjonskostnadene; |
| (5) | Lagre nettverksbåndbredden for dataoverføring; |
| (6) | Spar drifts- og vedlikeholdskostnader som plass, strømforsyning og kjøling. |
Dedupe-teknologi er mye brukt i datasikkerhetskopierings- og arkiveringssystemer, fordi det er mange dupliserte data etter flere sikkerhetskopier av data, noe som er veldig egnet for denne teknologien. Faktisk kan dedupe-teknologi brukes i mange situasjoner, inkludert online data, nærlinjedata og offline datalagringssystemer. Det kan implementeres i filsystemer, volumbehandlere, NAS og sans.Dedupe kan også brukes til datakatastrofegjenoppretting, dataoverføring og synkronisering, da en datakomprimeringsteknologi kan brukes til datapakking.Dedupe-teknologi kan hjelpe mange applikasjoner med å redusere datalagring, spar nettverksbåndbredde, forbedre lagringseffektiviteten, reduser sikkerhetskopieringsvinduet og spar kostnader.
Dedupe har to hoveddimensjoner: deduplocation ratio og ytelse. Dedupe ytelse avhenger av den spesifikke implementeringsteknologien, mens Dedupe rate bestemmes av egenskapene til selve dataene og applikasjonsmønstre, som vist i tabellen nedenfor. Lagerleverandører rapporterer for tiden dedupliseringsrater som varierer fra 20:1 til 500:1.
| Høy dedupliseringsrate | Lav dedupliseringsrate |
| Data opprettet av brukeren | Data fra den naturlige verden |
| Data lav endringshastighet | Data høy endringshastighet |
| Referansedata, inaktive data | Aktive data |
| Søknad med lav dataendringshastighet | Søknad med høy dataendringshastighet |
| Full datasikkerhetskopiering | Inkrementell sikkerhetskopiering av data |
| Data langtidslagring | Data korttidslagring |
| Bredt utvalg av dataapplikasjoner | Lite utvalg av dataapplikasjoner |
| Kontinuerlig dataforretningsbehandling | Generell dataforretningsbehandling |
| Små datasegmentering | Big data segmentering |
| Langstrakt datasegmentering | Datasegmentering med fast lengde |
| Datainnhold oppfattet | Datainnhold ukjent |
| Tidsdata deduplisering | Deduplisering av romdata |
Dedupe-implementeringspunkter
Ulike faktorer bør vurderes ved utvikling eller bruk av Dedupe-teknologi, da disse faktorene direkte påvirker ytelsen og effektiviteten.
| (1) | Hva | Hvilke data er de-vektet? |
| (2) | Når | Når vil vekten bli eliminert? |
| (3) | Hvor | Hvor er vektelimineringen? |
| (4) | Hvordan | Hvordan redusere vekten? |
Dedupe Key-teknologi
Dedupliseringsprosessen for lagringssystem generelt er dette: først av alt er datafilen delt inn i et sett med data, for hver blokk med data for å beregne fingeravtrykket, og deretter basert på fingeravtrykk Hash-søkeord, indikerer matching dataene for duplikatet datablokker, lagrer bare datablokkindeksnummer, ellers betyr det at datablokken er den eneste delen av en ny, lagring av datablokk og opprette relevant metainformasjon. Dermed tilsvarer en fysisk fil i lagringssystemet en logisk representasjon av et sett med FP-metadata.Når du leser filen, les først den logiske filen, deretter i henhold til FP-sekvensen, ta ut den tilsvarende datablokken fra lagringssystemet, gjenopprett kopien av den fysiske filen.Det kan sees fra prosessen ovenfor inkluderer nøkkelteknologiene til Dedupe hovedsakelig fildatablokksegmentering, datablokkfingeravtrykkberegning og datablokkhenting.
(1) Fildatablokksegmentering
(2) Datablokk fingeravtrykkberegning
(3) Datablokkhenting
For å finne disse anbefalte modellene for å starte nettverkspakkededuplisering:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ pluss 4*40GE/100GE QSFP28, maks 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 pluss 48*10GE/25GE SFP28, maks 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ pluss 2*40GE QSFP, maks 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Maks 480 Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, maks 480 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Maks 240Gbps, DPI-funksjon
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ pluss 4*40GE/100GE QSFP28, maks 880 Gbps
Innleggstid: 18. oktober 2022
