Opdel AI-download

Opdel AI-download er et dataforberedelsesværktøj, der omdanner et enkelt AI-download-artifact til en række mindre dele til overførsel og automatisk sammensætning. Det beregner antallet af dele, størrelsen af hver del og eventuelle per-del integritets-hashes. Det genererer et struktureret manifest og en kort del-indeks, der muliggør deterministisk genopbygning og parallel download-workflows. Værktøjet henvender sig til dataingeniører, ML-ingeniører og drifts teams, der håndterer store modellfiler, datasæt eller bundter, der skal leveres over ustabile netværk eller begrænset båndbredde. Det udfører ikke den faktiske filoverførsel; det fokuserer på pakning og metadataskabelse.

Konceptuelt består input af total_size og chunk_size, med en valgfri max_parts-limitation. Den centrale beregning bruger parts = ceil(total_size / chunk_size). Hvis sidste del er mindre end chunk_size, afspejler størrelsen resten. Når total_size <= chunk_size, produceres én del. Validering kræver positive numeriske værdier og konsekvent enhedsbrug (bytes/KB/MB/GB). Værktøjet normaliserer enheder til bytes internt og rapporterer størrelser i bytes samt menneskelig læselige ekvivalenter i manifestet, hvis ønsket.

Output omfatter: en liste af dele med indeks, start_byte, end_byte og size_bytes; en valgfri sha256_hash per del; et total_parts-værdi; og et download-manifest, der indeholder disse felter i JSON. Valgfrie indstillinger muliggør strikse justeringer til faktiske filgrænser og inkludering af base64-kodede hashes. Algoritmer sikrer, at summen af delstørrelserne er lig total_size, med kontrol for overløb og heltalsafrundning. Kantfælder håndteres deterministisk for at undgå huller eller overlap.