AI-nedlastning Deling

AI-nedlasting Oppdeling er et dataforberedelsesverktøy som omformer et enkelt AI-nedlastingsartefakt til et sett med mindre deler for overføring og automatisk sammensetting. Det beregner antallet deler, størrelsen på hver del og valgfri per-del integritets-hash. Det produserer et strukturert manifest og en kort delindeks som muliggjør deterministisk gjenoppbygging og parallell nedlasting. Verktøyet retter seg mot dataingeniører, ML-ingeniører og drifts-team som håndterer store modellfiler, datasett eller pakker som må leveres over ustabile nettverk eller begrenset båndbredde. Det gjør ikke selve filoverføringen; fokuset er emballasje og metadata-skaping.

Konseptuelt består inndata av total_size og chunk_size, med en valgfri max_parts-grense. Den sentrale beregningen bruker parts = ceil(total_size / chunk_size). Hvis siste del er mindre enn chunk_size, speiler størrelsen rest. Når total_size <= chunk_size, produseres én del. Validering krever positive numeriske verdier og konsekvent bruk av enheter (bytes/KB/MB/GB). Verktøyet normaliserer enheter til bytes internt og rapporterer størrelser i bytes samt menneskelig-lesbare ekvivalenter i manifest hvis ønsket.

Output inkluderer: en liste over deler med indeks, start_byte, end_byte og size_bytes; en valgfri sha256_hash per del; et total_parts-verdier; og et nedlastingsmanifest som inneholder disse feltene i JSON. Valgfri innstillinger muliggjør streng tilpassing til faktiske filgrenser og inkludering av base64-kodede hash-verdier. Algoritmene sikrer at summen av delstørrelser er lik total_size, med kontroller for overflow og heltallsrundinger. Randtilfeller håndteres deterministisk for å unngå hull eller overlapp.