Гh ZddlmZddlmZddlZddlZddlZejjejjejjejje dddl mZddlmZddlddlmZGd d ZGd d eZy) ) defaultdict)ClientNz..) CoingeckoAPI)JupAPI)*) StaticMethodceZdZdZdZedZedZedZedZ edZ dZ edZ ed Z ed Zed Zd Zd Zy)HelperNc tdd}d|d}|j|}gd}|Dcgc]}tt||}}|Scc}w)N localhost wallets_infohostdatabasea[ SELECT wallet_address, token_extracted, signature, type, profit, blocktime, delta_sol, delta_token, fee, MC FROM transactions WHERE wallet_address = 'z.' ORDER BY blocktime DESC ) wallet mint_address signaturetypeprofit blocktime delta_sol delta_tokenfeeMC)rexecutedictzip)rclientqueryresultkeysrow formatteds 4/home/ubuntu/SOL_API/sol_API/src/v3/utils/analyze.pyget_wallet_transactions_from_DBz&Helper.get_wallet_transactions_from_DBsg[>B %&,H-  "&5;B B  ! !',("-{B'vr"x BFF;*+bff[!,-bff]A./bffUA&'bffT1o& #   NN1  +C,?+@@no p       WXYWZ[ \          s* *E E:E5 E=5E::E==Fcz|sgStdd}g}|D]"}d}|j|d|i}|r|d}!d}$S) Возвращает для списка токенов их creator и время миграции (migrated). Если токен отсутствует в таблице, он будет возвращён с None и migtime = 0. r tokens_inforzy SELECT migrated FROM tokens WHERE token_address = %(token)s tokenr)rr)tokensrr r;rrowsmig_times r$!get_tokens_migration_time_from_DBz(Helper.get_tokens_migration_time_from_DBisf I m< EE >>%'5)9:D7  c|sgStdd}g}|D]W}d}|j|d|i}|r(|d}|j|d|d|dxsdd C|j|d dd Y|S) r8r r9r:z SELECT token_address, creator, migrated FROM tokens WHERE token_address = %(token)s r;rr;creatormigtimeN)rrr+)r<rr r;rr=r"s r$-get_tokens_migration_time_and_creator_from_DBz4Helper.get_tokens_migration_time_and_creator_from_DBs I m< EE >>%'5)9:D1g  V"1v"1v{ "# ' 2 r@cHtj|}|d}|d}||fS)Nmigration_started creator_hash)rget_token_pool_info)r; pool_infomigration_timerEs r$-get_token_migration_time_and_creator_from_JUPz4Helper.get_token_migration_time_and_creator_from_JUPs4..u5 "#67N+w&&r@c|j|}|Dcic]}|d| }}g}|D]}|j|}| |d|ddk(rr|j|\}}|rG||r|nd} |j||| dW|r ||d<||d<n ||d<d|d<|j||s|j||j||Scc}w)u' Получает creator и время миграции для токенов. Если данных нет в БД или они неполные, дополняет их через Jupiter. Также обновляет БД при необходимости. r;rErFrrBrD)rGr,rNr+) selfr< token_dataentrytoken_data_dictr r;rMrE new_migtimes r$%get_tokens_migration_time_and_creatorz,Helper.get_tokens_migration_time_and_creatorsGGO ?IIU5>50II %E#''.E}i 0 8E)z;Helper.get_profit_percent_to_transactions..sQUU;5Jr@keyrrrrbuy)amountpricersellrhrid)sortedr,rXr+minpop) r2 fifo_queuer4rrrhri sold_amount total_costlot used_amountrevenues r$"get_profit_percent_to_transactionsz)Helper.get_profit_percent_to_transactionssY +JK fB&&2K{A.Ivvf~&;?$39Q;I/A!!Ve"DE#8 6)kAo!+.  !Ao*$Q-C"%k3x="AK+G "<z4Helper.get_token_buys_in_valid_mc..sA  FF6Ne # ["&&q/([^([ [ sAA )any)r2s r$get_token_buys_in_valid_mcz!Helper.get_token_buys_in_valid_mcs  "   r@ct|d}d}d}|D]f}|jd}|jdd}|jd}|dk(r||}|}CD|d k(sJ|M|t|z}|dksa||z cS|y y) u Считает удержание токена от первой покупки до полного слива этой первой покупки (не учитываются последующие покупки). Возвращает: int: удержание в секундах 'hold': если токены из первой покупки ещё держатся None: если покупок не было c&|jddSr`rarbs r$rdz,Helper.get_first_hold_time..-s!%% Q:Or@reNrrrrrgrjhold)rmr,rX)r2first_buy_timeremaining_from_first_buyr4tx_typedeltatimes r$get_first_hold_timezHelper.get_first_hold_time#sl0OP #$  1BffVnGFF=!,E66+&D%!)%)N/4,F"~'A(CJ6(+q0.00' 1,  %r@cg}t|jdgd}|jd}|jd}|s|r|djd}|D]}|jdd}|jdd}|jd } |j|} |jd | d|jd |||jd | d } |j| ||d<|j |}||d<g} |D]}|||jd d|jd d|jd|jd d|jdd|jdd|jd d|jddd } | j| | r|j | |S)Nr2c&|jddSr`rarbs r$rdz4Helper.analyze_wallet_transactions..PsZ[Z_Z_`kmnZor@rer;rrrrrrrr)rrrrrrrrr(rr) r'r)rrrrrrrr)rmr,r]r+rvr6)rP token_entryupdated_transactionsoriginal_transactionsr;rr4rrrr\ updated_txdb_transactionsdb_txs r$analyze_wallet_transactionsz"Helper.analyze_wallet_transactionsMs! &{~r'JPo p(*/*1-11(;F' 4B&&2K{A.IffVnG$$R(B  VVK0VVK0&*vve} J ! ' ' 3% 4('; N##FFG[\&: N#& *B"(#(VVK4vr*&&*VVK3VVK3!vvmQ7vveQ'ffT1o E  " "5 ) *   ' ' 8r@cl|j|}|s|gdS|djd}tt}|D]8}t |t s|jd}||j |:g}|jD]h\}}|||d} |j| } | jdg} |j| } |j| } || | | d}|j |j||d}tjjd|d }tj|||S) u= Обрабатывает транзакции из базы данных для кошелька Args: wallet: адрес кошелька Returns: словарь в формате: { "wallet": "адрес_кошелька", "tokens": [ { "token": "адрес_токена", "transactions": [список_транзакций] } ] } )rr<rrr)r;rr2r2)r;buy_in_valid_mcfirst_hold_timer2z3/home/ubuntu/SOL_API/sol_API/src/v3/tmp/filter_tmp/z.json)r%r,rlist isinstancerr+itemsrr~rospathjoinr save_to_file)rPrwallet_transactions_result token_groupsr4 token_keyanalyzed_tokensr;r2ranalyzed_tokenanalyzed_transactionsrr token_resultr output_paths r$"process_wallet_transactions_resultz)Helper.process_wallet_transactions_resultsn(&*%I%I&%Q")$3 3+A.228<#4( , 3B"d#FF>2 Y'..r2  3 $0#5#5#7 1 E< ,K"==kJN%3$6$6~r$J !#==>STO#667LMO#2#2 5 L  " "< 09 1@%  ggll%XY_X``e#fg !!&+6 r@)__name__ __module__ __qualname__ wallet_resultr9 staticmethodr%r6r?rGrNrUr]rvr~rrrr@r$r r sMK 63 3 j<%%N''.f  6  &&R;BNr@r ceZdZedZedefdZedZedZedZ e e fdZ dZ d Zd Zy ) FilterscB|r|jdsy|jdg}g}|D]}|jds|jdg}|s*|Dcgc]}|jddk(s|}}|sQt|d}|jd d}|st|j||sy|jd} t |} d} t | D]8} || || z d k\r| d z } || || z d k\r| | z d z} t | | } :| Scc}w) u3 Возвращает максимальное количество токенов, купленных в течение любого интервала в 1 час (3600 секунд), начиная от времени первой покупки каждого токена. Учитываются только токены с валидной покупкой (`buy_in_valid_mc`). Args: wallet_result: результат от process_wallet_transactions_result в формате: {"wallet": "...", "tokens": [{"token": "...", "buy_in_valid_mc": bool, "transactions": [...]}]} Returns: int: максимальное количество токенов в любом часовом интервале r<rrr2rrgc&|jddSr`rarbs r$rdz1Filters.get_max_tokens_per_hour..sAEE+q2>L.:UrRVVF^u=TU U#,2QRI"{A6J%%j1 2"   1X .E '.*>>$F !'.*>>$FDL1$EIu-I  . 5 Vs D3Dreturnc>|r|jdsy|jdg}d}d}|D]_}|jddur|jd}|dz }|dk(s||dz }:t|ttfsQ|tk\s[|dz }a|dk(ry||z d z}|S) uK Возвращает процент токенов, которые удерживались долго на кошельке. Args: wallet_result: результат от process_wallet_transactions_result в формате: {"wallet": "...", "tokens": [{"token": "...", "buy_in_valid_mc": bool, "first_hold_time": int|'hold'|None, "transactions": [...]}]} Returns: float: процент токенов, удержанных достаточно долго (0.0–100.0) r<rkrrFrrBrrl)r,rr-r.MIN_HOLD_TIME_SECONDS)rrvalid_hold_tokens total_tokensrr percentages r$get_hold_time_on_wallet_percentz'Filters.get_hold_time_on_wallet_percentsM$5$5h$?'++Hb9 * +K01U:)oo.?@O A L&(O,C!Q&!Oc5\:"&;;%*% + 1 ',6#= r@c|r|jdsy|jdg}d}d}d}d}|D]}|jds|jdg}|Dcgc]}|jddk(s|} }| sN|dz }d } | D]e}|jd d} t|jd d} t| cxkr tksDnG|dz }| tkr|dz }| tk\sdd } g| s|dz }|dk(ry||z d z} | Scc}w)u\ Возвращает процент токенов, где есть хотя бы одна покупка >= MIN_BUY в пределах допустимой рыночной капитализации. Args: wallet_result: результат от process_wallet_transactions_result в формате: {"wallet": "...", "tokens": [{"token": "...", "buy_in_valid_mc": bool, "transactions": [...]}]} Returns: float: процент токенов с крупными покупками (0.0-100.0) r<rkrrr2rrgrBFrrTrl)r,rXryrzMIN_BUY)rr valid_tokensr total_buys small_buysrr2r4rhas_big_buy_in_valid_mcr\rrs r$get_min_buy_percentzFilters.get_min_buy_percentCsHM$5$5h$?'++Hb9    * "K??#45&??>2>L-9UrRVVF^u=TU U# A L', #& 7VVD!_{A 67 !R9>9!OJ 7*"a  G+26/ 7'! 1 "4 1 #\1S8 7 Vs D 6D c |r|jdsy|jdg}|Dcic]}|d| }}d}d}|D]}|jds|dz }|jd}|j|i} | jdd sR dkDsX|jdg} t fd | D} | s|dz }|dk(ry||z d z} | Scc}w) u Возвращает процент токенов, купленных до миграции. Токены без migration_time считаются как НЕ купленные до миграции. Args: wallet_result: результат от process_wallet_transactions_result в формате: {"wallet": "...", "tokens": [{"token": "...", "buy_in_valid_mc": bool, "transactions": [...]}]} tokens_info: информация о токенах с миграцией и создателем из get_tokens_migration_time_and_creator Returns: float: процент токенов, купленных до миграции (0.0-100.0) r<rkr;rrrBrFr2c3tK|]/}|jddk(xr|jddk1yw)rrgrrNra)r{r4rMs r$r|z0Filters.get_migration_percent..s>*FF6Ne+X{A0F.0XX*s58rl)r,r})rr9ritemtokens_info_dictmigration_tokensrrr; token_infor2buy_until_migrationmigration_percentrMs @r$get_migration_percentzFilters.get_migration_percentzsM$5$5h$?'++Hb9=HHDDM4/HH * *K??#45 A LOOG,E)--eR8J(^^Iq9N.1"4*~rB &)***'#'$)$% *( 1 - <C  ;Is Cc|r|jdsy|jdg}|jd}|sy|Dcic]}|d| }}d}d}|D]X}|jds|dz }|jd} |j| i} | jd} | |k(sT|dz }Z|dk(ry||z d z} | Scc}w) u Возвращает процент токенов, созданных тем же кошельком. Args: wallet_result: результат от process_wallet_transactions_result в формате: {"wallet": "...", "tokens": [{"token": "...", "buy_in_valid_mc": bool, "transactions": [...]}]} tokens_info: информация о токенах с миграцией и создателем из get_tokens_migration_time_and_creator Returns: float: процент токенов, созданных тем же кошельком (0.0-100.0) r<rkrr;rrrBrErlra) rr9rrrrcreated_tokensrrr;rrEcreated_percents r$get_created_tokens_percentz"Filters.get_created_tokens_percentsM$5$5h$?'++Hb9""8,=HHDDM4/HH * $K??#45 A LOOG,E)--eR8J!nnY/G& !# $ 1 )L8C?-Is B?c ,|j}|j}|r|jdsy|jdg}|Dcic]}|d| }}d}d} |D]} | jds| jd} |j| i} | jdd} | dvrP|dz } tj | }|d |d }| jd gDcgc]c}|jd d k(rM|jdd|kr8t |jddcxkr t krnn|jdde}}|rtfd|D|k\r| dz } |dk(ry| |z dz}||k\Scc}wcc}w#Y:xYw)Nr<Fr;rrrF)rrBrB ath_priceath_timer2rrgrrc34K|]}|z |z dzyw)rlNr)r{r\rs r$r|z-Filters.filter_normal_plus..s%Wby2~&;c&A%Wsrl)rr9r,rget_ath_of_tokenryrzr)rPadmission_percentprofit_percentagerr9rrrvalid_tokens_countprofitable_tokens_countrr;rrMath_inforr4 valid_buysnon_mig_profit_percentrs @r$filter_normal_pluszFilters.filter_normal_pluss** && M$5$5h$?'++Hb9  ""9CS%*A6!;%8A=' ..0+#  -aS1 2 s&AAAA A# AA#c|j|}||_|dDcgc]}|d }}|j|}||_t |d}t |dDcgc]}|j ds|c}}|j |} |j|} |j|} |j||} |j||} ||| | | | | d}|Scc}wcc}w)z* Args: wallet r<r;r)rrmax_tokens_per_hourhold_time_percentmin_buy_percentrcreated_tokens_percent) rrrUr9r/r,rrrrr)rPrrr token_listr9rr;rrrrrrmetricss r$wallet_metricszFilters.wallet_metrics6s ??G *>KH>UV{k'*V V@@L &x01 *--PXBY.z]b]f]fgx]yu.z*{'"::=I @@O22=A 66}kR!%!@!@P[!\%/N#6!2.!2&< /W /{s C% C*7C*c |d}|d}|d}|d}|d}|d}|d}t} |dkr d } d } d } d } nt} t} t} t} || k}|| k\}|| k\}|| k\}|| k}|j |||||||}||||||||d S) NrrrrrrrrC2)rrrrrrrr)MAX_TOKENS_PER_HOURMIN_HOLD_TIME_PERCENTMIN_NORMAL_BUYS_PERCENT#MIN_TOKENS_BEFORE_MIGRATION_PERCENTMAX_CREATED_PERCENT_PERCENTr)rPrrrrrrrrpassed_max_tokens_per_hourpassed_hold_time_percentpassed_min_buy_percentpassed_migration_percentpassed_created_tokens_percentrrrrrrs r$ apply_filterszFilters.apply_filtersYs*1,*? *12S*T'*12G*H*12E*F*12C*D*12E*F*12J*K%8" *q 0.0 $.0 ".0 $.0 ).C $.E ".Q $.I )$7:T#T .2JJ*.DD.2JJ#9=Z#Z""  + $    # %/N#6!2.!2&<  r@N)rrrrrr.rrrrADMISSION_PERCENTPROFIT_PERCENT_FOR_NORMALSrrrrrr@r$rrs66p$%$$L44l0!0!d,,d4EXr0;jB F5 r@r) collectionsrclickhouse_driverrasynciosysrrr+abspathrdirname__file__API.coingeckoAPIr API.jupAPIr utils.config utils.StMrr rrr@r$rst#$  RWW__X-F MNO)"MM`o fo r@