Programim dhe zhvillim, javascript, python, php, html

Kyç me kokë të vogël ose pa kyçje

Unë kam një rresht të njëkohshëm që mbushet me objekte nga një thread dhe një fill tjetër merr objekte prej tij dhe i përpunon ato.

Nëse radha bëhet e madhe, mund ta "kompres" atë duke hequr dublikatat. Kompresimi merr radhën dhe e bën atë në një listë, përsëritet përmes saj dhe krijon një radhë të re që kanë vetëm vlera të dallueshme. Kështu që unë zëvendësoj radhën dhe meqenëse e bëj këtë, nuk mund të futen objekte në radhën që mbishkruhen, do t'i humbas ato.

Problemi im është nëse shtoj një lock(obj) {} ose një lloj LockHandle, unë humbas shumë performancë. Ka shumë transaksione, por koha e përpunimit është shumë e ulët, kështu që mbyllja duket si ajo që po vret performancën time.

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Collections.Concurrent;
using System.Threading;
using System.Threading.Tasks;
using System.IO;

namespace A
{
    public abstract class Base
    {
        private ConcurrentQueue<Data> unProcessed = new ConcurrentQueue<Data>();

        private const int MIN_COLLAPSETIME = 30;
        private const int MIN_COLLAPSECOUNT = 1000;
        private QueueCollapser Collapser;
        private ManualResetEventSlim waitForCollapsing = new ManualResetEventSlim(true);
        private ManualResetEventSlim waitForWrite = new ManualResetEventSlim();

        // Thread signal.
        public AutoResetEvent unProcessedEvent = new AutoResetEvent(false);
        // exiting
        public volatile bool Exiting = false;

        private Task task;

        public BasePusher()
        {
            // initiate Collapser
            Collapser = new QueueCollapser();
            // set up thread
            task = new Task(
               () =>
               {
                   consumerTask();
               }, TaskCreationOptions.LongRunning
               );

        }

        public void Start()
        {
            task.Start();
        }

        private void consumerTask()
        {
            Data data = null;
            while (!Exiting)
            {
                try
                {
                        // do we try to collapse
                        if (unProcessed.Count > MIN_COLLAPSECOUNT && (DateTime.Now - Collapser.LastCollapse).TotalSeconds > MIN_COLLAPSETIME)
                        {
                            waitForCollapsing.Reset();
                            waitForWrite.Wait();
                            unProcessed = Collapser.Collapse(unProcessed);
                            waitForCollapsing.Set();
                            // tried this aswell instead of using my own locking, this is like Monitor.Enter
                            lock(this) {
                                unProcessed = Collapser.Collapse(unProcessed);
                            }
                        }
                        if (sum == 0)
                        {
                            // we wake the thread after 20 seconds, if nothing is in queue it will just go back and wait
                            unProcessedEvent.WaitOne(20000);
                        }
                        var gotOne = unProcessed.TryDequeue(out data);
                        if (gotOne)
                        {
                            ProcessTime(data);
                        }
                    }
                }
                catch (Exception e)
                {

                }
            }
        }

        protected abstract void ProcessTime(Data d);

        public void AddToQueue(Data d)
        {
            waitForCollapsing.Wait();
            waitForWrite.Reset();
            unProcessed.Enqueue(d);
            waitForWrite.Set();
            unProcessedEvent.Set();
        }

        // tried this aswell instead of using my own locking, this is like Monitor.Enter
        public void AddToQueueAlternate(Data d)
        {
            lock(this) {
                unProcessed.Enqueue(d);
                waitForWrite.Set();
                unProcessedEvent.Set();
            }
        }
    }
}

A mund të bëhet kjo pa u kyçur? A mund të përdor një bllokues më të lehtë? Deri më tani ka vetëm një thread që shton të dhëna dhe një thread që lexon. Dhe unë mund ta mbaj në këtë mënyrë nëse kjo më bën një bllokim më të mirë.


  • Konsumatori juaj është shumë i ngadalshëm. Pra, nuk ka kuptim ta ngadalësoni duke e kërkuar për dublikatë. Lëreni prodhuesin ta bëjë atë. 17.05.2014

Përgjigjet:


1

Nëse dëshironi njëkohësi dhe jo dublikatë, duhet të përdorni një Fjalori i njëkohshëm

Pra, rideklaroni Radhën tuaj:

private ConcurrentDictionary<Data, Data> unProcessed = 
   new ConcurrentDictionary<Data, Data>();

Kjo do të thjeshtojë ndjeshëm kodin tuaj duke mbajtur performanca shumë të mira.

17.05.2014
  • A do të më lejonte kjo gjithashtu të mbaj rendin? 17.05.2014
  • Jo, nuk do të ishte, një fjalor nuk është i renditur. 17.05.2014

  • 2

    Pse do të kishit dublikatë?

    Nëse botuesi mund të shtojë vërtet dublikatë, atëherë ju nevojitet një lloj objekti hashues njëkohësisht (Dictionary ose HashSet) për të zbuluar dhe parandaluar që kjo të ndodhë te botuesi.

    Ju gjithashtu mund të dëshironi të hetoni ReaderWriterLockSlim.

    17.05.2014
  • Epo nuk është saktësisht dublikatë. Këto janë objekte që do të shkruhen në një bazë të dhënash. Dublikatat që unë heq janë ato me të njëjtin çelës primar. Unë bëj .... NË PËRDITËSIM EKZISTUES dhe i heq ato që do të mbishkruhen gjithsesi 17.05.2014
  • Materiale të reja

    Masterclass Coroutines: Kapitulli-3: Anulimi i korutinave dhe trajtimi i përjashtimeve.
    Mirë se vini në udhëzuesin gjithëpërfshirës mbi Kotlin Coroutines! Në këtë seri artikujsh, unë do t'ju çoj në një udhëtim magjepsës, duke filluar nga bazat dhe gradualisht duke u thelluar në..

    Faketojeni derisa ta arrini me të dhënat false
    A e gjeni ndonjëherë veten duke ndërtuar një aplikacion të ri dhe keni nevojë për të dhëna testimi që duken dhe duken më realiste ose një grup i madh të dhënash për performancën e ngarkesës...

    Si të përdorni kërkesën API në Python
    Kërkesë API në GitHub për të marrë depot e përdoruesve duke përdorur Python. Në këtë artikull, unë shpjegoj procesin hap pas hapi për të trajtuar një kërkesë API për të marrë të dhëna nga..

    Një udhëzues hap pas hapi për të zotëruar React
    Në këtë artikull, do të mësoni se si të krijoni aplikacionin React, do të mësoni se si funksionon React dhe konceptet thelbësore që duhet të dini për të ndërtuar aplikacione React. Learning..

    AI dhe Psikologjia — Pjesa 2
    Në pjesën 2 të serisë sonë të AI dhe Psikologji ne diskutojmë se si makineritë mbledhin dhe përpunojnë të dhëna për të mësuar emocione dhe ndjenja të ndryshme në mendjen e njeriut, duke ndihmuar..

    Esencialet e punës ditore të kodit tim VS
    Shtesat e mia të preferuara - Git Graph 💹 Kjo shtesë është vërtet e mahnitshme, e përdor përpara se të filloj të punoj për të kontrolluar dy herë ndryshimet dhe degët më të fundit, mund të..

    Pse Python? Zbulimi i fuqisë së gjithanshme të një gjiganti programues
    Në peizazhin gjithnjë në zhvillim të gjuhëve të programimit, Python është shfaqur si një forcë dominuese. Rritja e tij meteorike nuk është rastësi. Joshja e Python qëndron në thjeshtësinë,..