Mine sisusse
Otsi siit
  • Rohkem valikuid...
Otsi tulemusi mis sisaldab...
Otsi tulemusi...
Jälgi teemat sisse logides  
Külaline PEPZ

Skins.ee arendus

Soovitatud postitused

Külaline PEPZ

31. Oktoober sai avatud Eestikeelne CSGO skinnide loterii lehekülg. Detsembri alguses sai see suletud MTA poolse kirja tõttu.

Uus aasta, uus projekt selle domeeni alla plaanitud, lisaks plaanib teha asja nüüd lähtudes kohe seadustest.

 

Lisan siia osa progressi mis olen teinud ja mida edaspidi teen.. lähemalt saab uurida foorumist.

[spoiler=09.02.16 kuni 10.02.16]09.02.16

Lisasin bot Steam kasutajatele 2FA külge ja kirjutasin esialgse bot skripti valmis. Boti skript on kirjutatud NodeJS keeles. Jätkan boti kirjutamist

kui PHP backend saab valmis. PHP backendis peab tegema ka API boti jaoks, NodeJS-ga andmebaasi pärimine on üsna ebameeldiv ja näeb välja retsi lahendusena.

10.02.16

Alustasin Skins.ee uue front-endi loomisega, uus kujundus ja user-interface. Hakkas selline asi huvitama nagu http://semantic-ui.com/

Kiirendab kõvasti arengut ja default välimused on ka üsna kenad. Hetkel sai valmis esileht, header, sisu ja footer. Homme tegelen teiste lehtedega.

 

 

11.02.16 ja tänast sissekannet saab lugeda siit: http://lohh.pw/topic/15/arendus-p%C3%A4evik/2

Kes on huvitatud lähemalt millega ma tegelen siis saata mulle email või kirjutada teemasse.

Jaga seda postitust


Postituse link
Share on other sites
Külaline PEPZ
Author of the topic Postitas (muudetud)

Hakkasin eile arendama Price API-d, et seda realiseerida on mul vaja kõvasti csgo skinnide müümisajalugu ja head viisi kuidas saada hindu. Leidsin ühe endpointi kus on request limit vähe suurem, aga selle pärimine vajab item_nameid parameetrit mida saab kätte ainult listingu htmlist.

 

Täna hakkasin siis 6,500 eseme listing lehti crawlima, et kätte saada nameid ja müügiajalugu. Kuna Steam throttlib requeste siis panin pausid skripti.

~5 tundi on skript jooksnud ja on üle käinud 700 eset ja lisanud müügiajalugu tabelisse 700 000 kirjet. Minu kõige suurem andmebaas, ennustan et skript lõpetab oma töö ~23 tunni pärast ja ajalugu tabelis hakkab ~5-6 miljon kirjet. Feelsgoodman.

 

items - 6 656 rows, size 1,5MiB (millest üle käidud kõigest ~700)
item_histories - 706 889 rows, size 35,6MiB (~700 eseme müügiajalugu)

 

----

 

Woop, asi areneb. Ainuke probleem on praegu see, et need SQL päringud mis selle info tagastavad peavad läbi käima sadu tuhandeid kirjeid ja response time on vähe kõrge. Result on küll cachitud paar tundi aga ei tea kas seda saaksin kiiremaks ka teha mingil moel..

ab6f0973bea99a03b8fcb3b63eb60ae1.png

Muudetud liikme PEPZ'i poolt

Jaga seda postitust


Postituse link
Share on other sites
Külaline PEPZ
Author of the topic Postitas

4,5k itemit üle käidud, history tabelis on 4mil rida, kogu andmebaas kaalub 200mb

2k itemit on veel vaja crawlida, almost done

 

2810fa22319b411c6218d7369f14549e.png

Jaga seda postitust


Postituse link
Share on other sites

Kommentaari lisamiseks loo konto või logi sisse

Kommenteerimiseks peate olema liige

Loo konto

Liituge meie kommuuni uue kontoga. See on lihtne!

Loo uus konto

Logi sisse

On juba konto? Logi sisse siit.

Logi sisse nüüd
Jälgi teemat sisse logides  

×
×
  • Loo uus...

Oluline informatsioon

Selle veebisaidi paremaks muutmiseks oleme teie seadmesse paigutanud küpsised . Võite kohandada oma küpsiste seadeid , vastasel juhul eeldame, et te olete küpsiste kasutamisega nõus kui jätkate veebisaidil sirvimist.. Palun lugege läbi Kasutustingimused ja Privaatsuspoliitika.