Programim dhe zhvillim, javascript, python, php, html

kolona përditësuese e llojit të grupit në rreshtin Cassandra

Unë kam një vlerë RDD [PersonType] = [pid, cid, mbiemri, mbiemri, mosha, burimi, lloji i burimit, mesazhi] vlerë si RDD = [1000,100, Vikash, Singh, 33, burimi, lloji i burimit, mesazhi]

dhe unë kam rreshtin csaandra si [pid,cid,emri,mbiemri,mosha,dept,mrids] këtu mrids është vendosur . supozoni se vlera në cassandra është [1000,100,vikash,singh,33,bank,{sourceold.sourceTypeold.messageold}

Dua të përditësoj mrid-et e kolonës cassandra me vlerën e vjetër dhe të re. kështu që vlera ime e re e përditësuar në cassandra duhet të jetë [1000,100,vikash,singh,33,bank,{sourceold.sourceTypeold.messageold, source.sourceType.message}

Ju lutem më tregoni se si të përditësoj kolonën mrids.

val rdd[personType] = rdd1
val rdd2 = sc.cassandraTable(keyspace,tablename)
              .select("p_id","c_id", "mrids")

çfarë kodi duhet të shkruaj më pas për ta arritur këtë?

cassandra apache-spark apache-spark-sql scala spark-cassandra-connector
18.04.2016

Përgjigjet:


1

Kjo duhet t'ju bëjë të filloni.

Ju tregon se si të bëni bashkimin e rdd bazuar në çelësin dhe të shtoni të dhëna në grupin e një rdd tjetër.

val temp = List((1, 4, Set(1)),
                    (2, 5, Set(2)),
                    (3, 6, Set(3))
                    )
val temp2 = List((1, 11, 11),
                  (2, 11, 22),
                  (3, 11, 33)
                )
val temp_rdd = sc.parallelize(temp)

val temp2_rdd = sc.parallelize(temp2)

val test = temp_rdd.map{case(key, data, set)=>((key),(data, set))}
                        .join(temp2_rdd.map{case(key, data, set_new_value)=>((key),(data, set_new_value))})
                        .map{case(key, ((data1, set),(data2, set_new_value)))=>(key, set.toSet + set_new_value)}


test.collect().foreach(println)

në fund mund të përdorni rdd.saveToCassandra për të ruajtur grupin e rezultateve rdd.

18.04.2016
Materiale të reja
Masterclass Coroutines: Kapitulli-3: Anulimi i korutinave dhe trajtimi i përjashtimeve.
Mirë se vini në udhëzuesin gjithëpërfshirës mbi Kotlin Coroutines! Në këtë seri artikujsh, unë do t'ju çoj në një udhëtim magjepsës, duke filluar nga bazat dhe gradualisht duke u thelluar në..
Faketojeni derisa ta arrini me të dhënat false
A e gjeni ndonjëherë veten duke ndërtuar një aplikacion të ri dhe keni nevojë për të dhëna testimi që duken dhe duken më realiste ose një grup i madh të dhënash për performancën e ngarkesës...
Si të përdorni kërkesën API në Python
Kërkesë API në GitHub për të marrë depot e përdoruesve duke përdorur Python. Në këtë artikull, unë shpjegoj procesin hap pas hapi për të trajtuar një kërkesë API për të marrë të dhëna nga..
Një udhëzues hap pas hapi për të zotëruar React
Në këtë artikull, do të mësoni se si të krijoni aplikacionin React, do të mësoni se si funksionon React dhe konceptet thelbësore që duhet të dini për të ndërtuar aplikacione React. Learning..
AI dhe Psikologjia — Pjesa 2
Në pjesën 2 të serisë sonë të AI dhe Psikologji ne diskutojmë se si makineritë mbledhin dhe përpunojnë të dhëna për të mësuar emocione dhe ndjenja të ndryshme në mendjen e njeriut, duke ndihmuar..
Esencialet e punës ditore të kodit tim VS
Shtesat e mia të preferuara - Git Graph 💹 Kjo shtesë është vërtet e mahnitshme, e përdor përpara se të filloj të punoj për të kontrolluar dy herë ndryshimet dhe degët më të fundit, mund të..
Pse Python? Zbulimi i fuqisë së gjithanshme të një gjiganti programues
Në peizazhin gjithnjë në zhvillim të gjuhëve të programimit, Python është shfaqur si një forcë dominuese. Rritja e tij meteorike nuk është rastësi. Joshja e Python qëndron në thjeshtësinë,..