Programim dhe zhvillim, javascript, python, php, html

Duke përdorur Python për të gërvishtur Divs dhe Spans të Nested në Twitter?

Po përpiqem të fshij pëlqimet dhe retweet-et nga rezultatet e një kërkimi në Twitter.

Pas ekzekutimit të Python më poshtë, marr një listë boshe, []. Unë nuk jam duke përdorur API-në e Twitter sepse nuk i shikon tweet-et me hashtag deri më tani.

Kodi që po përdor është:

from bs4 import BeautifulSoup
import requests

url = 'https://twitter.com/search?q=%23bangkokbombing%20since%3A2015-08-10%20until%3A2015-09-30&src=typd&lang=en'
r  = requests.get(url)
data = r.text
soup = BeautifulSoup(data, "lxml")
all_likes = soup.find_all('span', class_='ProfileTweet-actionCountForPresentation')
print(all_likes)

Mund ta ruaj me sukses html në skedar duke përdorur këtë kod. Mungojnë sasi të mëdha informacioni kur kërkoj tekstin, si për shembull emrat e klasave që kërkoj...

Pra (pjesë e) problemi është me sa duket në aksesin e saktë të kodit burimor.

 filename = 'newfile2.txt'
 with open(filename, 'w') as handle:
      handle.writelines(str(data))

Kjo pamje e ekranit tregon hapësirën që po përpiqem të heq.

Pamja e ekranit saktësisht e hapësirës dhe përmbajtjes që po përpiqem të fshij.

E kam shikuar këtë pyetje dhe të tjera si ajo, por nuk po arrij plotësisht.
Si mund ta përdor BeautifulSoup për të marrë vlera të thella div?

python html web-scraping beautifulsoup twitter
20.01.2016

  • Faleminderit që a) e dini se twitter ka një API dhe b) shpjegoni pse nuk po e përdorni. 21.01.2016

Përgjigjet:


1

Duket se kërkesa juaj GET kthen HTML të vlefshëm, por pa elementë tweet në elementin #timeline. Megjithatë, shtimi i një agjenti përdoruesi në titujt e kërkesës duket se e rregullon këtë.

from bs4 import BeautifulSoup
import requests

url = 'https://twitter.com/search?q=%23bangkokbombing%20since%3A2015-08-10%20until%3A2015-09-30&src=typd&lang=en'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36'}
r = requests.get(url, headers=headers)
data = r.text
soup = BeautifulSoup(data, "lxml")
all_likes = soup.find_all('span', class_='ProfileTweet-actionCountForPresentation')
print(all_likes)
21.01.2016
  • Faleminderit. Kjo zgjidh pjesën e parë të problemit tim. Do t'i rikthehem punës për këtë tani që në fakt po gërmoj sitin dhe do të filloj një pyetje të re nëse has në probleme të ndryshme. 21.01.2016
    • Materiale të reja
    Masterclass Coroutines: Kapitulli-3: Anulimi i korutinave dhe trajtimi i përjashtimeve.
    Mirë se vini në udhëzuesin gjithëpërfshirës mbi Kotlin Coroutines! Në këtë seri artikujsh, unë do t'ju çoj në një udhëtim magjepsës, duke filluar nga bazat dhe gradualisht duke u thelluar në..
    Faketojeni derisa ta arrini me të dhënat false
    A e gjeni ndonjëherë veten duke ndërtuar një aplikacion të ri dhe keni nevojë për të dhëna testimi që duken dhe duken më realiste ose një grup i madh të dhënash për performancën e ngarkesës...
    Si të përdorni kërkesën API në Python
    Kërkesë API në GitHub për të marrë depot e përdoruesve duke përdorur Python. Në këtë artikull, unë shpjegoj procesin hap pas hapi për të trajtuar një kërkesë API për të marrë të dhëna nga..
    Një udhëzues hap pas hapi për të zotëruar React
    Në këtë artikull, do të mësoni se si të krijoni aplikacionin React, do të mësoni se si funksionon React dhe konceptet thelbësore që duhet të dini për të ndërtuar aplikacione React. Learning..
    AI dhe Psikologjia — Pjesa 2
    Në pjesën 2 të serisë sonë të AI dhe Psikologji ne diskutojmë se si makineritë mbledhin dhe përpunojnë të dhëna për të mësuar emocione dhe ndjenja të ndryshme në mendjen e njeriut, duke ndihmuar..
    Esencialet e punës ditore të kodit tim VS
    Shtesat e mia të preferuara - Git Graph 💹 Kjo shtesë është vërtet e mahnitshme, e përdor përpara se të filloj të punoj për të kontrolluar dy herë ndryshimet dhe degët më të fundit, mund të..
    Pse Python? Zbulimi i fuqisë së gjithanshme të një gjiganti programues
    Në peizazhin gjithnjë në zhvillim të gjuhëve të programimit, Python është shfaqur si një forcë dominuese. Rritja e tij meteorike nuk është rastësi. Joshja e Python qëndron në thjeshtësinë,..