Голям брой итерации
- Автор dakata__92
- Начална дата
Там е проблема на темите, които се отварят. Като не са ясни всички фактори, които могат да причинят проблема, няма как да дадеш добър и конкретен отговор за решаване на конкретния проблем.
dakata__92
Super Moderator
uphero каза:
Как установи, че информацията е ненужна? Не се занимавам само с това, което си описал.
Revelation:
Обясних, че от моя страна ще оптимизирам нещата, защото не мога да оптомизирам времето за отговор на сървъра. От къде какво взимам не е от значение, темата е за итерациите. Много от отговорите ми бяха изключително полезни, не знам защо се казва, че не ми се дават конкретни и правилни отговори. Сметнах времето за отговор 2,5 секунди средно с microtime. Това прави, че 365 000 * 2,5 = 912 500 секунди на един файл. Предложи ми се да ги разделя всичките 147 файла с по 365000 итерации всеки и общо за всички 147 * 365000 = 53 655 000. Та предложи ми се да ги разделя на по-малки порции, но мога само да ги деля на две за файл и после поредността трябва да е спазена защото файловете следват зависимости. Проблема е, че ако овелича броят на файловете пропорционално за да намаля броя на итерациите във даден файл, ще трябва да пусна двойно по-голям брой файлове да се въртят. От 147 на 294 за да падне броят на итерациите във файл от 365 000 на 182 500 за да намаля времето за отговор и решаване на файла. Хубаво, но идва следният проблем, че пак ще трябва да извъртя всичките 298 файла, но няма къде да ги кача. С AWS не се справих да си подкарам регистрация там. Иска ми всякакви лични данни за да се регистрирам. Как ли пък не ще си давам адреса името и прочие на някакви известно непознати за мен
imagination
Registered
http://php.net/manual/en/function.curl-multi-exec.php
като цяло php не е удобен за тази цел, избери си език с нишки. И по възможност да не минава през веб сървъра - пусни го през CLI.
С горното може малко да "забързаш" процеса, но като цяло ако пропадне някъде трябва да си осигуриш механизъм да не почваш всеки път от начало.
Поздрави.
като цяло php не е удобен за тази цел, избери си език с нишки. И по възможност да не минава през веб сървъра - пусни го през CLI.
С горното може малко да "забързаш" процеса, но като цяло ако пропадне някъде трябва да си осигуриш механизъм да не почваш всеки път от начало.
Поздрави.
dakata__92
Super Moderator
imagination каза:
Дааа мислих по темата, но незнам как да направя такъв механизъм. Още го обмислям като варянт как ще се получи. Ще видя как ще подкарам системата през CLI.
dakata__92
Super Moderator
pix3l каза:50 милиона са нищо, но щом нямаш контрол върху сървъра, от който ще взимаш инфото - няма кво да направиш, освен да намалиш заявките. Пък и PHP хич не е за тая работа.
То са нищо но наистина нямам контрол върху това от къде ще взимам инфото. Имам стабилни познания само по php и минимални по C++, като на вторият език няма да се справя да си създам кода за обработка на инфото.
dakata__92
Super Moderator
eLite каза:
Чесно да ти кажа не разбрах кое как да пусна. Четох по темата но не виждам как мога да извъртя на заден план толкова много итерации, къде да ги реализирам на free web hosting и така нататък. Само въпроси ми се породиха, четох по тях но нещо не откривам сякаш отговора в това нещо. Пак времето ще е изключително огромно за обхождане на файловете.
dakata__92
Super Moderator
Върти ми се нещо в главата някак да направя така, че да извъртя всичките итерации и да очаквам отговор от тях някога си...
dakata__92 каза:
Не можеш да извъртиш всички 50млн. заявки и да кажеш на сървъра в кой момент искаш отговор.
Работата е асинхронизация. Докато пращаш заявка да не ти се блокира кода, докато не получиш отговор.
Както казаха по-горе. PHP сигурно е най-неправилния вариант за тази цел.
Аз бих използвал NodeJS като алтернатива, ако не съм запознат с езици като C#, Java, C(++)...
dakata__92
Super Moderator
Знам но системата ми е доооста сложна и нямам познанията да я пренапиша изцяло на някой друг език. Знам, че трябва да чака респонд в цикъла, просто размишлявах на глас и с перо в ръка. Нямам стабилни познания на друг език за да разчитам и да успея да подкарам тази система на тях. Вероятно нещо на JS бих могъл да напиша но то там по-зле ще е. Мислех си да напиша някакъв shell да подкарва системата с команда и на заден фон дори да изключа компа сървъра да извърти всичките цикли. Ако трябва 147 реда с команди ще напиша и ще пусна всичките една по една в отделни файлове и ще ще пусна всеки един да си върти сам за него си. Стига на заден фон да си върти цикъла дори след затваряне на приложението. Например:Revelation каза:
1.php с код за стартиране на файл 1 с 365000 итерациии после 2.php със стартов код и файл 2 иии така нататък.
Друг проблем с PHP е, че ако не ти е написан читаво кода, със сигурност ще запълниш memory лимита на сървъра с толкова итерации.
Не знам какви други съвети очакваш да получиш.
Ако знаеш JavaScript, какъв е проблема да пренапишеш нещата и да използваш NodeJS ?
Ако седнеш и попрочетеш малко съм сигурен, че по-бързо ще се справиш с проблема си отколкото тука да се въртим на едно място и да очакваш нови съвети как да забързаш този процес.
Не знам какви други съвети очакваш да получиш.
Ако знаеш JavaScript, какъв е проблема да пренапишеш нещата и да използваш NodeJS ?
Ако седнеш и попрочетеш малко съм сигурен, че по-бързо ще се справиш с проблема си отколкото тука да се въртим на едно място и да очакваш нови съвети как да забързаш този процес.
dakata__92
Super Moderator
pix3l каза:Каква точно е целта на това приложение? Дай малко инфо, за да можем да предложим свястна алтернатива...
Алтернатива няма. Единствено от моя страна мога да оптимизирам нещата.
Revelation каза:
JS не е за тази работа. Първо кода се изпълнява в браузъра на потребителя (мен) и затворя ли го край. Второ PHP e по-бърз. Отварям txt файла и обарботвам масивите и си правя заявките. Мемори лимита лесно се оправя, като в кода имам още на първите три реда този код:
PHP:
ini_set('memory_limit', '-1');
ini_set('max_execution_time', 0);
ini_set('upload_max_filesize', '200M');
dakata__92
Super Moderator
Fakeheal каза:Първо, предложиха ти nodejs.
Второ:
Не, в този случай javascript e server side.
Това е мнооого спорно.
А като свърши паметта?
Няма да свърши. Единственият голям масив с данни се получава при първото прочитане на файла. Тоест file("1.txt"); Циккъла си върти по всеки ред от този файл, но не пълня паметта. Един файл ми е с 4 MB - та големина. Ще генерира файл с горе долу 10MB големина. Плюс това в цикъла се ползва
PHP:
file_put_contents("responde1.txt", PHP_EOL, FILE_APPEND | LOCK_EX);dakata__92
Super Moderator
Fakeheal каза:Ми, добре
Малък офтопик, но може да поискаш да прочетеш как работят торент тракерите. И защо се казват tracker-и.
Досетих се каква простотия съм написал. На работа съм ииии вниманието ми е другаде. Нищо, благодаря за офтопика. :?:
