Produktivitet

Slik splitter du et stort CSV Excel-regneark i separate filer

Slik splitter du et stort CSV Excel-regneark i separate filer / Produktivitet

Excel er utmerket på så mange daglige oppgaver. Men nå og da møter du en av sine mangler: størrelsen på et regneark. Hvis du trenger å vite hvordan du lager et Excel-regneark, eller hvordan du deler en stor CSV, har vi dekket deg.

Å treffe regnearkraden er en ganske alvorlig oppgave i seg selv. Nåværende grensegrense for Excel-regnearket er 1.048.576. Det er riktig - over 1 million rader, og samme antall kolonner også.

Men det er utrolig enkelt å slå den grensegrensen, under visse oppgaver. Hvis du markedsfører via e-post, kan du importere en CSV-fil Slik importerer du data til Excel-regnearkene på en enkel og enkel måte Slik importerer du data til Excel-regnearkene på den fine og enkle måten Har du noen gang slitt med å importere eller eksportere data til et regneark? Denne opplæringen hjelper deg med å mestre kunsten å flytte data mellom Microsoft Excel, CSV, HTML og andre filformater. Les mer som inneholder millioner av e-postadresser. Det eneste problemet er hvordan styrer du faktisk et regneark med så mange adresser i? Videre, hva hvis noen sender deg en CSV som allerede er over grensen (fra et annet program)?

Vel, jeg skal vise deg hvordan du kan bryte ned den enorme CSV-en i lett håndterbare biter.

(Ikke ha en stor CSV-handy? Det finnes noen ganske store CSV-datasett 15 Massive Online Databaser Du bør vite om 15 Massive Online Databaser Du bør vite om Internett dokumenterer alt. Noen av disse dataene blir konsentrert i massive kunnskapsbaser. de elektroniske encyklopediene eller databasene deres - spørsmålet er, vet du om de beste? Les mer over på data.gov. Jeg skal bruke 260.000-raden Hospital Sammenlign-listen, slik at du kan bruke samme fil.)

1. Bruk et program

Det finnes en rekke nyttige CSV splitter programmer der ute. Jeg skal vise deg to av de beste.

CSV Chunker

CSV Chunker er en åpen kildekode CSV splitter. Det kan håndtere massive filer, raskt splitte dem inn i biter av ditt valg. Det tok ca 3 sekunder å dele vår sykehus Sammenlign CSV i 106 biter, som inneholder 2500 rader hver.

CSV Splitter

CSV Splitter er vårt andre verktøy. Den tilbyr mye samme funksjonalitet av CSV Chunker, om enn med en litt slankere design. CSV Splitter tok ca 4 sekunder for å dele vår Hospital Sammenlign CSV i 106, igjen inneholdende 2500 rader hver.

2. Bruk en batchfil

Neste opp, en programmerbar batchfil Hvordan skrive en enkel batchfil (BAT) -fil Slik skriver du en enkel batchfil (BAT) Batchfiler kan automatisere hverdags datamaskinoppgaver. Slik fungerer batchfiler og hvordan du skriver ditt første batch script. Les mer . Vi kan bruke en batchfil for å behandle CSV i mindre biter, tilpasse filen for å levere forskjellige biter.

Åpne et nytt tekstdokument. Kopier og lim inn følgende:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Rediger denne verdien for å endre navnet på filen som må splitte. Inkluder utvidelsen. SET BFN = HCAHPSHospital.csv REM Rediger denne verdien for å endre antall linjer per fil. SET LPF = 2500 REM Rediger denne verdien for å endre navnet på hver kort fil. Det blir etterfulgt av et nummer som angir hvor det er i listen. SET SFN = HosptialSplitFile REM Ikke bytt utover denne linjen. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 For / F "delims ==" %% 1 i (% BFN%) Gjør (SET / A LineNum + = 1 echo %% l >>% SFN%! FilNum!.% SFX% hvis! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) Endlocal Pause

Du må konfigurere batchfilen før du kjører. Jeg forteller deg hva hver kommando gjør, og du kan endre den slik at den passer til størrelsen på batchfilen din, så vel som den nødvendige utdata.

  • “SET BFN =” bør peke på CSV du trenger å bryte ned
  • “SET LPF =” er antall rader du vil begrense din nye fil til
  • “SET SFN =” er det nye navngivningssystemet for splitfilene dine

Når du har tastet inn variablene dine, gå til Fil> Lagre som. Velg filnavn, og velg Lagre. Deretter velger du den nylig lagrede tekstfilen og trykker på F2 å gi nytt navn til det. Bytt TXT-forlengelsen med BAT, og trykk OK når advarselen vises. Nå kan du dele din store CSV!

Jeg advarer deg selv, denne metoden tar litt tid. Du er sannsynligvis bedre av å bruke en av de nevnte splitters.

Det originale skriptet og tråden finner du her.

3. Bruk et PowerShell-skript

Batchfiler er hendige. Du kan bruke dem til et bredt spekter av daglige oppgaver. Men PowerShell-skript er store og større, spesielt for denne typen behandling og deling.

Følgende skript vil raskt kutte din store CSV i mindre filer. Igjen, jeg har brukt sykehuset Sammenlign CSV for mitt eksempel. Det tok ca 3 sekunder før kommandoen skulle løpe. Åpne Windows PowerShell ISE. Hvis du er usikker på hvordan du gjør dette, skriver du inn powerhell ise i Start-menysøket og velg det tilsvarende alternativet. Når PowerShell ISE er åpen, velger du Vis skript pilen, plassert i øverste høyre hjørne (angitt i rødt i bildet under).

Kopier og lim inn følgende kommando i skriptpanelet øverst på skjermen.

$ I = 0; Hent innhold C: \ Brukere \ Gavin \ Nedlastinger \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ I ++; $ _ | Utfil C: \ Brukere \ Gavin \ Nedlastinger \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Først må du endre innstillingsfilens plassering. For det andre må du angi hvor mange rader dine utdatafiler skal inneholde. Til slutt spesifiser du utdatafilens plassering. Jeg har forlatt filbanene mine der inne for å illustrere situasjonen. Videre, ditt filnavn må ha de “_ $ I.csv”suffiks som passer til min. Ellers vil utgangsfiler ikke nummerere riktig.

Når du har redigert filen med dine egne data, trykker du på CTRL + S for å lagre skriptet ditt.

Det opprinnelige skriptet finner du her.

4. Legg det inn i en datamodell

Vår endelige løsning er faktisk ikke å dele den store CSV i mindre deler. Du ser, Jose Barreto, medlem av OneDrive-teamet, nylig illustrert nøyaktig hvordan du kan laste inn en stor CSV-fil i Excel. I dette tilfellet betyr stor på over 1,048,567 radgrensen. Han forklarer i en veiledning at i stedet for å laste filen faktisk, kan Excel 2016 opprette en datatilkobling til CSV-filen.

Dataene fra den opprinnelige CSV vil være tilgjengelig for brukeren innenfor en datamodell. Barreto opprettet et pivottabell ved hjelp av “opptil 8,5 millioner rader uten problem i det hele tatt.” Bildet ovenfor er hentet fra Barretos blogginnlegg (koblet under), som viser totalt 2 millioner rader i Excel. (Lær hvordan du bruker et pivottabell for dataanalyse Slik bruker du en Excel-pivottabell for dataanalyse Slik bruker du en Excel-pivottabell for dataanalyse Pivottabellen er et av de mest kraftfulle verktøyene i Excel 2013-repertoaret. Det er Brukes ofte til stor dataanalyse. Følg vår trinnvise demonstrasjon for å lære alt om det. Les mer.)

Hvis dette er løsningen som passer deg, følg Jose Barretos detaljerte opplæring her. Husk at dette ikke deler CSV-en, men det betyr at du kan manipulere dataene dine i enkelte Excel-verktøy. Slik visualiserer du dataanalysen med Excels verktøymaskiner. Slik visualiserer du dataanalysen med Excels verktøy. Excel dreper det med sin avanserte dataadministrasjonsfunksjoner. Når du har brukt et av de nye verktøyene, vil du ønske dem alle. Bli en mester i dataanalysen din med verktøy! Les mer . Hvis du får tilgang til dataene dine for å kommunisere direkte med det, kan dette være verdt et forsøk.

Bryte det ned!

Vi har oppført fire løsninger for å bryte ned dine massive CSV-filer, inkludert to forskjellige verktøy.

Av de fire løsningene er batchfilen sannsynligvis den tregeste. 5 Grunner du bør bruke PowerShell I stedet for Batch Scripting 5 grunner til at du bør bruke PowerShell I stedet for Batch Scripting PowerShell er hva du vil få hvis du krysset kommandoprompt med Batch Scripting, kastet i noen ekstra funksjoner, og sparket alt opp flere hakk. Her er flere grunner til at du bør prøve det. Les mer . PowerShell-skriptet er raskt og enkelt tilpassbart, mens de to programmene er enkle å bruke ut av boksen. Endelig har du muligheten til å importere dataene dine direkte til Excel, med millioner av rader.

Hvilken metode velger du? Og har du andre tips? Vennligst del med oss ​​i kommentarene!

Bildekreditt: lucadp / Depositphotos

Utforsk mer om: Microsoft Excel, regneark.