Një mënyrë më e shpejtë e ecjes së Drejtorisë në vend të os.listdir?

Unë thjesht po përpiqesha të kuptoja se si të shpejtoja os.walk në një sistem skedarësh të madh (350,000 skedarë të shpërndarë në rreth 50,000 drejtori). Unë jam në një kuti linux duke përdorur një sistem skedari ext3. Zbulova se ka një mënyrë për ta përshpejtuar këtë për rastin TIM.

Në mënyrë të veçantë, duke përdorur një ecje nga lart-poshtë, sa herë që os.walk kthen një listë me më shumë se një direktori, unë përdor os.stat për të marrë numrin inode të çdo drejtorie dhe për të renditur listën e drejtorive sipas numrit inode. Kjo bën që ecja të vizitojë më së shumti nëndirektoritë në rend inode, gjë që redukton kërkimet e diskut.

Për rastin tim të përdorimit, ajo shpejtoi ecjen time të plotë të drejtorisë nga 18 minuta në 13 minuta ...

A e kontrollove scandir (më parë betterwalk)? Nuk e kam provuar vetë, por ka një diskutim rreth tij këtu dhe një tjetër këtu. Ai pretendon se ka një shpejtësi prej 3~10x në MacOSX/Linux dhe 7~50x në Windows duke shmangur thirrjet e tepërta në os.stat(). Është gjithashtu i përfshirë tani në bibliotekën standarde që nga Python 3.5.

os.walk() i integruar i Python është dukshëm më i ngadalshëm nga sa duhet, sepse -- përveç thirrjes së listdir() në çdo drejtori -- ai thërret stat() në çdo skedar për të përcaktuar nëse emri i skedarit është një drejtori ose jo. Por si FindFirstFile / FindNextFile në Windows ashtu edhe readdir në Linux/OS X tashmë ju tregojnë nëse skedarët e kthyer janë drejtori apo jo, kështu që nuk nevojiten thirrje të mëtejshme të sistemit. Me pak fjalë, ju mund të zvogëloni numrin e thirrjeve të sistemit nga rreth 2N në N, ku N është numri total i skedarëve dhe drejtorive në pemë.

Në praktikë, heqja e të gjitha atyre thirrjeve shtesë të sistemit e bën os.walk() rreth 7-50 herë më të shpejtë në Windows dhe rreth 3-10 herë më shpejt në Linux dhe Mac OS X.

Nga readme e projektit.

Ju duhet të matni drejtpërdrejt në makinat (OS, sistemet e skedarëve dhe memoriet e tyre, etj) të interesit tuaj specifik -- nëse os.walk është apo jo më i shpejtë se os.listdir në një makinë / OS / FS specifike dhe krejtësisht të ndryshme, do t'ju tregojë shumë pak për performancën në i juaji.

Nuk jam i sigurt se çfarë nënkuptoni me cachedir.listdir -- nuk ka modul/funksion standard të bibliotekës me atë emër. listdir tashmë lexon të gjithë direktoriumin me një gllënjkë (pasi duhet të renditë rezultatet) ashtu si edhe os.walk (pasi duhet të ndajë nëndirektoritë nga skedarët). Nëse, në varësi të platformës suaj, keni një mënyrë të shpejtë për t'u njoftuar në lidhje me ndryshimet e skedarëve/direktorive, atëherë ndoshta ia vlen ta ndërtoni pemën një herë dhe ta redaktoni atë gradualisht ndërsa vijnë njoftimet për ndryshime... por kjo varet nga frekuenca relative e ndryshimeve kundrejt kërkesave, e cila, përsëri, varet tërësisht nga tuaj rrethanat specifike të aplikimit.

Në mënyrë:

• Dyshoj se do të shihni shumë një përshpejtim midis os.walk dhe os.listdir, pasi që të dyja mbështeten në sistemin e skedarëve themelor. Në fakt, dyshoj se sistemi i skedarëve themelor do të ketë një efekt të madh në shpejtësinë e operacionit.

• Çdo operacion i cache-it do të jetë dukshëm më i shpejtë se goditja e sistemit të skedarëve (të paktën për kontrollet e dyta dhe të mëvonshme).

• Ju gjithmonë mund të shkruani ndonjë mjet (ose të thërrisni një komandë shell) që gjeneron listën e drejtorive jashtë Python, dhe ta thërrisni atë përmes modulit subprocess. Por kjo është pak e komplikuar, dhe unë do t'i drejtohesha kësaj zgjidhjeje vetëm nëse cache nuk funksiononte për ju.

• Nëse nuk keni gjetur një shfletues skedari në dyqani i djathit, ndoshta nuk do ta gjeni.

Si thua ta bësh atë në bash?

import subprocess
command = 'ls .... or something else'
subprocess.Popen([command] ,shell=True) 

Në rastin tim, i cili po ndryshonte lejet për mijëra skedarë, kjo ka funksionuar shumë më mirë.

os.path.walk mund të rrisë performancën tuaj, për dy arsye:

1) Nëse mund të ndaloni së ecuri përpara se të keni ecur gjithçka, atëherë me të vërtetë do të jetë më shpejt se listdir, edhe pse vërehet vetëm kur keni të bëni me pemë të mëdha

2) Nëse po listoni drejtori të mëdha, atëherë mund të jetë e shtrenjtë ta ktheni listën nga listdir. (Nuk është e vërtetë, shikoni komentin e Alex më poshtë)

Megjithatë, ndoshta nuk do të bëjë ndonjë ndryshim dhe në fakt mund të jetë më i ngadalshëm, për shkak të shpenzimeve shtesë potencialisht të shkaktuara duke thirrur funksionin tuaj visit dhe duke bërë të gjithë paketimin dhe zbërthimin e argumenteve shtesë.

(Me të vërtetë mënyra e vetme për t'iu përgjigjur kësaj pyetjeje është ta provoni vetë - duhet të duhen vetëm disa minuta)

Po kërkoni për fsdir. Është shkruar në C dhe është krijuar për të punuar me python. Është shumë më i shpejtë sesa të ecësh nëpër pemë me bibliotekat standarde të pitonëve.

E di që kjo është një temë e vjetër, por thjesht duhej të merrja të njëjtin vendim tani, kështu që të postoja rezultatet. Me të gjitha përditësimet në Python 3.5+, os.walk() është mënyra më e shpejtë për ta bërë këtë, krahasuar me os.listdir() dhe os.scandir().

Po mblidhja skedarë brenda dy dosjeve kryesore dhe rreth 30 dosjesh në secilën dosje kryesore.

files_list = [os.path.join(dir_, root, f)
              for dir_ in folder_list
              for root, dirs, files in os.walk(dir_)
              for f in files
              if (os.path.basename(f).startswith(prefix) and f.endswith(ext))]

Rezultatet e testeve të mia:
os.scandir(): 10,949 skedarë, 35,579052 sekonda
os.listdir(): 10,949 skedarë, 35,197001 sekonda
os.walk(): 10,949 skedarë, 01,544174 sekonda