Generování real-time statistik aneb jak jsme se zbavili cronu

Generování podrobných statistik kampaní tak, aby je bylo možné jednoduše a rychle filtrovat dle požadavků uživatele, nebylo ani pro náš systém vždy snadné. V dnešním příspěvku vás necháme nahlédnout pod pokličku technického řešení, jak jsme si s tímto problémem poradili my.

Adam
13.09.2017
Novinky v eHUBu
blog picture

Znáte to především z globálních sítí – málokdo má real time statistiky pohromadě s ostatními. Na dnešní detailní výsledky se tak musíte podívat jinam než na zbytek. Po technické stránce je to s velkým objemem dat totiž celkem oříšek! V dnešním příspěvku vás necháme nahlédnout pod pokličku technického řešení, jak jsme si s tímto problémem poradili my.

Generování podrobných statistik kampaní tak, aby je bylo možné jednoduše a rychle filtrovat dle požadavků uživatele, nebylo ani pro náš systém vždy snadné. Jak bývá pro tento úkol zvykem, používali jsme skript spouštěný tzv. „cronem“. Čím více jsme však měli dat, tím více náročné na strojový výkon generování bylo. Naše stroje dostávaly dost zabrat a museli jsme najít jinou cestu.

Největší nevýhodou generování statistik cronem bylo, že jsme nemohli nabídnout aktuální čísla v reálném čase. Skript se spouštěl každých 5 minut, aby aktualizoval dnešní statistiky. Opravy statistik za předchozí dny probíhaly jen jednou denně během noci. Dat bylo tolik, že generování nešlo spustit přes den při normální zátěži.

Při hledání nové cesty jsme tedy chtěli vyřešit dva problémy:

1. Co nejvíce snížit zátěž na naše stroje

2. Zákazníkům nabídnout statistiky v reálném čase

Přemýšleli jsme o různých nových technologiích, ale nakonec jsme finální řešení postavili na technologiích, které už máme a známe.

MySQL replikace budiž záchranou

Většinu dat máme uloženou v databázi MySQL. Již před časem jsme byli kvůli rychlosti nuceni přidat databázi druhou, tzv. „slave“. Mezi hlavní databází a slave databází pak probíhá tzv. „replikace“ dat. Hlavní databáze data ukládá ve speciálním binárním formátu a slave databáze si je v reálném čase stahuje, aby měla stejná data jako hlavní databáze.

Jak tento již zavedený proces využít? Vytvořili jsme prototyp aplikace pomocí knihovny python-mysql-replication, která se umí stejně jako slave databáze připojit na hlavní databázi a v reálném čase tak přijímat veškeré změny, které v databázi proběhnou. Ty pak propisuje již agregované do speciální tabulky v hlavní databázi, která je určena pro zobrazení statistik v systému.

Prototyp se osvědčil

Po prvních lapsech, kdy nám čísla v některých případech neseděla, a důkladném testování nyní pomocí tohoto „agregátoru“ generujeme veškeré statistiky. Agregátor reaguje na aktuální změny v databázi, zátěž oproti dávkovému zpracování je jen mírná a jsme schopni vám poskytnout statistiky v reálném čase.

Agregátor nyní zvládne propagovat do tabulky statistik i tisíce změn za vteřinu bez významného vytížení našich serverů. Jsme tak perfektně připraveni na téměř jakoukoliv zátěž.

Adam Hájek
Affiliate manager
[email protected]

Další články

blog picture
16.03.2023 Rubrika
Přehled vzdělávacích článků za únor 2023
Tipy na zajímavé zdroje informací za měsíc únor
blog picture
06.03.2023 Rubrika
Jak se daří nám a Publisherům – aneb pár čísel za únor
Přehled dat za únor 2023. Zajímá vás jaká je nejvyšší provize, affiliate programy s největším růstem nebo kolik si vydělali nejlepší partneři?
blog picture
15.02.2023 Rubrika
Přehled vzdělávacích článků za leden 2023
Tipy na zajímavé zdroje informací za měsíc leden
Všechny články

Chcete něco podobného?

Zaregistrujte se.
×

Všeobecné obchodní podmínky pro využívání systému eHUB

(verze platná od 25. 5. 2018)


I) Všeobecná ustanovení

Grafika a administrace musí umožnit vkládání textových seznamů. Odrážkovaných i číslovaných, a to včetně zanořených podseznamů. V návrhu grafiky je nutné dát pozor na to, aby v případě seznamů odkazů bylo v dotykových zařízeních (mobil, tablet) dostatečné odsazení jednotlivých řádků - tak aby i silný prst při tapnutí klikl vždy jen na jeden řádek, nikoli na více najednou. Bohužel nástroj Axure, který používáme na návrh wireframů neumožňuje dobře stylovat typografii, proto následující ukázka práce s číslovanými a nečíslovanými seznamy není typograficky dokonalá. Grafik by měl ale tut část typograficky správně navrhnout a kodér následně připravit k realizaci v CSS.

  1. Uzavřením formulářové smlouvy dostupné na adrese https://pm.ehub.cz/profile/sign-up a souhlasem s obchodními podmínkami souhlasí registrující se uživatel (dále jen "Publisher") s těmito všeobecnými obchodními podmínkami společnosti eHUB.cz s.r.o. se sídlem Tusarova 877/56, 170 00 Praha 7, IČ: 24818569, zapsaná v OR vedeném Městským soudem v Praze, oddíl C, vložka 177154, pro poskytování služeb reklamního systému eHUB pro partnery, jichž tento systém využívá k umístění a propagaci dostupných reklamních prvků (dále jen „Provozovatel“, „VOP“ a „Systém“).
  2. Publisher prohlašuje, že je plnoletý a plně způsobilý k právnímu jednání.
  3. Provozovatel je oprávněn tyto VOP jednostranně upravit. O změně těchto VOP bude Provozovatel informovat Publishera elektronickou formou zasláním e-mailu na kontaktní adresu Publishera registrovanou v Systému a upozorněním ve webové prezentaci Provozovatele alespoň 7 dní před dnem účinnosti předmětné změny VOP. V případě, že je případná změna VOP v neprospěch Publishera, je Publisher oprávněn do doby nabytí účinnosti nových VOP bez dalšího vypovědět smlouvu s Provozovatelem uzavřenou způsobem popsaným dle písm. a) výše (dále jen „Smlouva“).
  4. Provozovatel poskytuje skrze Systém řešení propagace výrobků a služeb třetích osob využívajících Systém (dále jen „Advertiser“). Využívání Systému Publisherem spočívá v umístění reklamních prvků (odkazy, bannery, formuláře a další formáty) do své webové prezentace nebo do jiného kanálu v síti Internet, kterým Publisher disponuje, za účelem přivedení zákazníků na webovou prezentaci Advertisera.
  5. Systém eHUB disponuje technologií, skrze kterou dokáže rozpoznat, zdali Publisherem přivedený zákazník na webu Advertisera realizoval požadovanou akci (např. objednávka zboží, vyplnění poptávkového formuláře, registrace k užívání služby). V takovém případě náleží Publisherovi provize, kterou je mu Provozovatel povinen vyplatit dle dále uvedených podmínek (dále jen „Provize“).
  6. Provize i jiné statistiky budou vypočítány výhradně dle záznamů Provozovatele. Žádné jiné způsoby měření či statistiky nebudou brány v potaz.

II) Provize, její výše a podmínky vyplacení

  1. Nárok na Provizi Publisherovi vzniká okamžikem, kdy proběhne akce specifikovaná u dané kampaně v Systému (např. objednávka zboží na webu Advertisera, vyplnění poptávkového formuláře a další akce dle definice v Systému) (dále jen „Transakce“ a „Kampaň“).
  2. U každé kampaně je v Systému jasně uvedena platná hodnota provize a její typ. Provozovatel si vyhrazuje právo měnit výši provizí bez předchozího upozornění. Nová výše provizí je uživateli oznamována prostřednictvím emailu uvedeného při registraci a je také online zveřejněna v Systému. Výše provize, není-li uvedeno jinak, je bez DPH.
  3. Provize je uživateli v Systému připsána až ve chvíli, kdy proběhne kontrola relevantnosti zadaných informací. Pokud v Systému bude zaznamenána identická akce vícekrát od stejného návštěvníka pro různé Publishery, náleží Provize pouze Publisherovi, který jako poslední nasměroval návštěvníka k příslušné akci.
  4. Typy Transakcí:
    • i) Transakce typu PPS (Pay-Per-Sale) reprezentuje objednávku zboží nebo služeb. PPS Transakce nabývá platnosti až připsáním platby zákazníka na účet Advertisera. Transakce musí být také následovně schválena Advertiserem. V případě dodatečného storna objednávky v zákonné lhůtě nebo další lhůtě poskytnuté Advertiserem může být Transkace zamítnuta.
    • ii) Transakce typu PPL (Pay-Per-Lead) reprezentuje předání kontaktu na zákazníka. PPL Transakce nabývá platnosti uskutečněním sjednané akce (například vyplnění údajů, setkáním se zákazníkem, nebo uskutečnění obchodní transakce se zákazníkem). Transakce musí být také následovně schválena Advertiserem.
    • iii) PPC (Pay-Per-Click) transakce nabývá platnosti uskutečněním kliknutí na reklamní prvek Advertisera zákazníkem, a to vždy jen jednou za 24 hodin z každé dané IP adresy. Transakce je automaticky schvalována Systémem.
  5. Pouze provize plynoucí z platných Transakcí jsou Provozovatelem Publisherovi vyplaceny. Tyto provize jsou v systému označené jako „Schválené“. Provozovatel si vyhrazuje právo nevyplatit Publisherovi provize, které nebyly Advertiserem schváleny nebo uhrazeny.
  6. Aktuální výše Provize k vyplacení je uvedena v Systému v sekci "Schválené provize k vyplacení".
  7. Vyúčtování schválených provizí se provádí za každý kalendářní měsíc v následujícím kalendářním měsíci, přičemž minimální částka pro vyplacení provize je 500 Kč (nebo ekvivalent v EUR). Pokud uživatelský účet nedosáhne této částky, dochází k převodu zůstatku do následujícího období.
  8. Celková částka provize k vyplacení je oznámena uživateli v sekci „Výplaty“ v Systému vždy po 20. dni v měsíci. V případě dosažení minimální částky pro vyplacení Provize dle písm. g) výše je Publisher za účelem výplaty povinen do Systému nahrát fakturu na příslušnou částku. Pokud Publisher nevyužívá Systém za účelem pravidelného zisku (nejedná se o podnikatelské činnosti a Publisher nemá IČO), namísto faktury vyplní v Systému příslušný formulář – tato varianta je umožněna pouze daňovým rezidentům České republiky. Publisher, který nevystaví fakturu na Provize k vyplacení a vyžije k tomu formulář, je povinen na základě výzvy Provozovatele prokázat pravdivost údajů uvedených při registraci.
  9. Jediným způsobem úhrady Provize Poskytovatelem Publisherovi je bankovní převod v rámci EU. Publisher je ve faktuře nebo formuláři dle písm. h) výše povinen sdělit číslo svého bankovního účtu, kam má být provize zasílána.
  10. Výplata Provize bankovním převodem je možná pouze v měně CZK nebo EUR.
  11. Provozovatel si vyhrazuje právo Provize vyplatit pouze daňovým rezidentům Evropské unie. Vyplacení Provize daňovému rezidentovi mimo Evropskou unii řeší Provozovatel individuálně především s ohledem na účetní a daňovou transparentnost. Provozovatel si vyhrazuje právo Provize daňovému rezidentovi mimo Evropskou unii nevyplatit bez udání důvodu. Provozovatel provozuje Systém primárně v Evropské unii a pokud se jej rozhodne využít i Publisher s daňovým rezidenstvím mimo Evropskou unii, Provozovatel doporučuje nejprve prověřit možnost případné výplaty Provize, než Publisher začne cíleně Systém používat za účelem zisku Provize.
  12. Transakční náklady (bankovní poplatky přímo související s výplatou Provize):
    • i) V případě výplaty Provize v měně CZK nebo EUR na bankovní účet v České republice hradí transakční náklady plátce i příjemce každý své bance.
    • ii) V případě výplaty Provize v měně EUR na bankovní účet v Evropské unii skrze tzv. SEPA platbu hradí plátce i příjemce každý své bance transakční náklady.
    • iii) Ve všech ostatních případech, zejména v případě výplaty Provize na bankovní účet mimo Evropskou unii, si Provozovatel vyhrazuje právo Publisherovi započíst transakční náklady i na straně Provozovatele.

III) Práva a povinnosti Publishera

  1. Publisher se zavazuje provozovat internetové stránky nebo jiný kanál v síti Internet, kterým disponuje, kde umístí propagaci Kampaně zapojené v Systému, v souladu s platnou právní úpravou a příslušnými společenskými standardy. Publisher prohlašuje, že je osobou, která je oprávněna provozovat takové internetové stránky nebo jiný kanál v síti Internet, na nichž je umístěna propagace Kampaně zapojené v Systému, a vlastní všechna potřebná oprávnění nebo licence vztahující se k obsahu a podobě této prezentace. Publisher je sám zodpovědný za obsah, formu propagace a odkazy na svých stránkách.
  2. Publisher nesmí umístit bez předchozího písemného souhlasu Provozovatele reklamní prvky na webové prezentace obsahující pornografii, nelegální nebo jinak závadný obsah. Publisher rovněž nesmí využít k propagaci nekalé reklamy a je povinný dodržovat zákon č. 480/2004 Sb. , o některých službách informační společnosti, ve znění pozdějších předpisů.
  3. Publisher není oprávněn (především v souvislosti se získáváním leadů) provádět přípravné práce směřující k následnému uzavření smlouvy mezi Advertiserem a zákazníkem, poskytovat doporučení, poradenství nebo jinak působit na zákazníky informacemi nikoli obecnými.
  4. Bez předchozího písemného svolení Provozovatele není Publisher oprávněn podstoupit možnost propagace Kampaním třetím stranám.
  5. Podmínky a omezení propagace a specifika výpočtu Provize nad rámec zde uvedeného jsou upraveny také v obchodních podmínkách, jež pro danou Kampaň vydal příslušný Advertiser. Uživatel má povinnost se seznámit se zněním obchodních podmínek každé Kampaně, kterou má v úmyslu propagovat, pokud její Advertiser takové podmínky vyhotovil. Tyto podmínky jsou v Systému uvedeny v záložce „Kampaně“, zvlášť pro každou kampaň.
  6. Reklamní prvky zpřístupněné Publisherům v rámci Kampaní mohou být předmětem autorských práv; Publisher je výhradně oprávněn využít takové reklamní prvky pro účely jejich zobrazení v rámci Kampaně a zejména není oprávněn je využít pro jiné účely či je měnit. Toto ustanovení může být upraveno v obchodních podmínkách pro konkrétní Kampaň.
  7. Publisher je sám za sebe zodpovědný za veškeré úkony spojené s daněním vyplacených provizí dle platné legislativy státu jeho příslušnosti. Publisher rovněž bere na vědomím, že přijetím výplaty Provize do jiné členské země Evropské unie než České republiky se automaticky stává dle platné evropské legislativy plátcem DPH v příslušné členské zemi.

IV) Osobní údaje a ochrana dat

  1. Registrací do Systému souhlasí Publisher s poskytnutím svých osobních údajů Provozovateli. Jedná se především o jméno, příjmení, fakturační nebo adresa bydliště, e-mail, telefon a bankovní spojení.
  2. Provozovatel spravuje veškeré osobní údaje registrovaných Publisherů v souladu s nařízením Evropského parlamentu a Rady EU 2016/679 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů (dále jen jako „Nařízení).
  3. Provozovatel je oprávněn zapojit do zpracování osobních údajů Publisherů též zaměstnance, spolupracující osoby a Advertisery. Provozovatel je povinen zajistit, aby každý další zpracovatel plnil při zpracování povinnosti ve stejném rozsahu, jak jsou povinnosti Provozovatele dle tohoto článku.
  4. Publisher souhlasí s archivací jím poskytnutých osobních údajů, které budou využity jen v souvislosti s provozem Systému, a souhlasí se zasíláním obchodních sdělení Provozovatele. Tento souhlas může být Publisherem kdykoli odvolán formou zaslání e-mailu na adresu [email protected]
  5. Provozovatel považuje Publishera za aktivního uživatele Systému, pokud za poslední 3 roky došlo k zaznamenání alespoň jedné Transakce u jeho uživatelského účtu. Po uplynutí této lhůty smaže Provozovatel bez zbytečného odkladu veškeré záznamy spojené s Publisherem.
  6. Provozovatel rovněž pro řádný výkon své činnosti podle těchto VOP zpracovává osobní údaje návštěvníků webových prezentací Publishera, především tzv. cookies soubory a IP adresy, skrze které je následně schopen identifikovat realizaci Transakce na straně Advertisera. Publisher dává registrací do Systému Provozovateli souhlas se zpracování těchto osobních údajů v souladu s Nařízením.
  7. Osobní údaje zpracované za účelem řádného výkonu své činnosti dle těchto VOP archivuje Provozovatel jen po nezbytně nutnou dobu, nejdéle 3 roky. Po uplynutí této lhůty smaže Provozovatel bez zbytečného odkladu veškeré záznamy spojené s chováním návštěvníků webových prezentací Publishera.

V) Doba trvání, ukončení spolupráce

  1. Provozovatel je oprávněn od dohody odstoupit okamžitě v případě, kdy pojme podezření, že Publisher porušil některou z povinností uvedených v této dohodě. V tomto případě zaniká nárok na vyplacení nevyplacených provizí vedených v Systému.
  2. Tato dohoda obsahuje veškerá ujednání smluvních stran ohledně předmětu smlouvy. Vedlejší ústní dohody nebyly uzavřeny. Změny nebo doplňky této smlouvy jsou účinné pouze tehdy, pokud byly přijaty v písemné podobě.
  3. Vypovězení této dohody Publisherem i Provozovatelem je možné kdykoli a bez uvedení důvodů. Výpovědní lhůta činí 1 měsíc a počíná běžet prvního dne měsíce, následujícího po doručení písemné výpovědi druhé straně.
  4. Tato dohoda se uzavírá na dobu neurčitou.

VI) Ostatní ujednání

  1. Provozovatel je oprávněn kdykoli pozastavit nebo omezit zobrazování reklamy umístěné na internetové stránce Publishera a dále je oprávněn kdykoli změnit obsah a podobu této reklamy.
  2. Provozovatel neodpovídá za škodu způsobenou selháním, chybou nebo výpadkem Systému a internetové sítě.
  3. Publisher může svobodně využívat i jiné reklamní systémy.
  4. Spolupráce obou smluvních stran je pro dobu trvání této smlouvy a pro dobu 1 roku po jejím ukončení výslovně sjednána jako exkluzivní ve vztahu ke spolupráci Advertiserů zapojených do Systému s Publisherem pro služby poskytované Provozovatelem. Publisher se zejména po tuto dobu zavazuje žádným způsobem nenavázat a neusilovat o navázání přímé ani nepřímé spolupráce s žádným Advertiserem ve vztahu k propagaci Advertisera a jeho výrobků či služeb Publisherem. Za porušení této povinnosti Publisherem sjednávají smluvní strany smluvní pokutu ve výši celkové nevyplacené Provize ke dni výpovědi Provozovatelem.