‘artt/2023, 22-08 {ont Jokts202_uAs_tin_pro FOCO NO MERCADO DE TRABALHO INTRODUGAO A BIBLIOTECA PANDAS ‘vanessa Cadan Scheffer WEB SCRAPING Técnica de extragdo de dados utlizada para coletar dados de sites através de tags HTML. e atributos Css. Ver rotasbes Desela our este materia? ‘Audio dsponivl no materia al DESAFIO em um artigo publica ne la 06 de marzo de 2019, ne poral Computer World, «autor fla sabre o profisional que deseja seguir 2 carriage analsta de cados, qual deve ter hablidades em: rar dados, concur APs, web srapng eter connecmento nas lnguagens Gt, MYSQL ePyenon(MOTIM, Raphael Buene da Carrera de aralsta de dadosoferece Soliris de at 8 125 mil 2079 Disponvel em: Mips/emputer ward. com be201S/0Ne6learevadeanatstededadosol srsceslaiosdeates125snl Acoso er: 17jun. 2020, Come desenvolvedor em uma empresa de consuoria de software, vct fl albcado em uma euipe de marketing anal ‘em uma marca esportva, que necessta fazer 2 coleta das poripas nots do mundo de esporte em um deterinado portal. clente pec para cue portal hieselaboespnceglabecamy. 0 clente desea um componente capaz de fazera «exra¢do dos dades em forma tabular, com o seguintes campos: manchete, descro, lk. seco, ora da exracle tempo econ da pubteagio até ahora da exragso, 0 Quadro At apresena Wsualmente como os dados dever se organizadoseexbicos. ‘ntps:twwcolaboraread.combiintegracaoAgetectindex usuario mall-weltoncompany*+40gmal. comBusuarioNome=WELTON*ANGELO¥SANTO.... 15‘sart1/2023, 22-06, {ont Jokts202_uts_tn_pro rmanchete _ desergio link secdo horaertragio te deka Tiuleda ——_Descgso aa linepara —Segioques _Dataehorads Quanto tempo se passou rmanchete manchete(quanéo snot ratciafo)——etragio ahora da publeario até a owen arcade exvapto Ver arotacdes (grande desafio no trabalho de web scraping & descobr qual o pad nas tags HIMLe tributes CSS usados. Pos Somence atavés dels & que cnsepuiremos aeangar a informagso solictada, Coma cen js wabatha com 9 portal de nots, foram he pastas a segues infrmayBes tenis que 0 ajuaro a fazer a wags, Para entrago de todas as formas ecale todas. as dv com arbute ‘cass Yeedpstnody’ De cada te ocazado “+ Amanehete que ocupaaprimetsposgfo do conte, + 0 ik que pode ser lcatzado pela tag '3" e plo atibute “er "+ Adescigie pode estar na terclaposiao conteddo ou dentro de uma av com atribur ‘ass bstreletes +A segie ests dentro de uma ali com atnbuto‘classfeec-postmetadsisLocalze o span com atibui ‘lass eed postmetadatzsecton ++ 0 tempo decorndo est ums a com aributo ‘las eed.postmetadta Locale o span com atibuta ‘lass eed posedatetine! (aso tent acessar 0 texto de uma tag no lncalzada, um er & dado, pra evar esses cases 05 campos desc, e80.¢ time. deka dever ser trtados pare esses casos retorande None (ole), Agora & com voc, fa5a implementa egere um DataFrame com as informagiessoletados RESOLUGAO Para fazer oweb scraping, sockado, vars utr as bibltecas requests, BeautflSoup, pandas e datetime, AS dias primeira serBousaeas para fazer a aplur do conteio da pina pandas pas entregaros resultados em forma cstruturads datetime para marcar oda ehera de exra¢ie mea: 4 Com as biolotecas mmsortadas, vamos acess o prea e llzar a propredade tert da bibloteca requests para canturar em formato de string. Em sguida, vamos transforma esa string em formato him ara que possamoslcalzar as tags de nosso inteesse No nha 2reisamos o hari de exagso, Nana 5, procuramos todas as tags como abut que nos flinscado. ssa linha retornar uma sta com cada nati, Veja quer ra 6 imprimimos quanas rts foram encortradas ena linha 7 imprimimos 0 conte do primeira nti, Lembrese que conte ansforma cada ine fal dda vem um elemento aa lit, hntps:twwwcolaboraread.com briintegracaoAlgetectindex? usvarioEmall-weltoncompanyé40gmal.comBusuarioNome=WELTON*ANGELO'SANTO.... 25‘sart1/2023, 22-06, {ont Jokts202_uts_tin_pro mn (23) espe oe coueparte. gts cn). cine oa) etter ky BES) serio = semtiulsnattert string, “hal parer") ‘esa potcenew ap-towto. tin piesa atreeclase "4 drine(astiie de mnecter >", leflstnpetcie)) eva poricsaca).ceoente, Cartnde de intaten = 38 ° ue(23}: ctv esse fecesostomter eet, teetntpn/ elects it on fuel flea Sneracrl/ teste / 7-06-2084 3 Secenitstae sateen hee erate g (aiserea Linso/ecters) elaee"n Se rtoe/an iting en/na) ot pscrccor- aly ar ngriartetersycfpetuescabefnc/aentaioye stacntacsection fata Itailar capac Dena dessa estrutura,procurando pels tgs covets, vamos encontrar odas as informagBes qu foram soitadas Pela ‘ida anterior poems ver quea manchete ocup 8 posgfo 2 dasa de contests, og para guard a manchete vers fazer 1m [24]: ee rosea) scones] test-estacat™' 7) oust2a): vice sew Para extragao do Ink para retiia, come ele se encontratambérs na peso 1 da Ista, amas unlzer método Fr’) para localzipe entrar a seguinte forma Im [25] Metareteae) tne )sehre) (ut{25]:_“veton/elobensorte ote. cont fate sotrnact Sovertstenenet fala ar Jog 87-6 2D8/apl= Para. adescrgzo, come ela pode estar na tercera pose ou em outa ag amos ter qe estar em amas ease no ‘step nto reternar None (ale), Veja a seguir tm [26]: denerican = diets pticsso] contents] cert srs = noist.tiaiv',atrse{elae'=“ncnrelatee") ceontreée Chas) ° ut{ 26): nasls vance Sovertr ne pnatis © lve caps 9 4a Para enragio de segb0 edo tempo decode, vamos aessar primeio 0 atribto ‘edepst-etaat’ e usta em una varivel are em seguia, dentro desse novo subcorjureo localzar os atrbutes‘eeerorttratne' © Yoe.pstontast sctiewCome existe possbildace dessa informarao nio ext, precsames grant que somenteacessaremos 2 ropedade text Inhas 6 7) aso tenha encontrando "nd. Veja segue hntps:twwwcolaboraread.com briintegracaoAlgetectindex .usvarioEmall-weltoncompany*é40gmal.comBusuarioNome=WELTON*ANGELO'SANTO.... 3‘sart1/2023, 22-06, {ont Jokts202_uts_tin_pro In [27] tates + seta pttcaea}. finde, arse cate port-neatss)) prsoe(tie sea =, tng dea) . prineCsecia =") aco} ‘Vola que para a noi 0 extramos todas a infrmacBesslictadss, mas preceames extrair de todas, portanto cada = ‘exracbo deve sf dentro deuma etrutura de repetici, Para rar um Dataframe com 0 dado, vamos car uma tsta vatia ea cada iterago apenr uma tpl com a infrmagBies entradas. Com esa Ista, podemos cr nosso DataFrame, passando os dados e osnomes des colunas Vesa 3 seBUr in (28): a on ‘ncbte s yoicicotens[t).tetreplacat sctens » tela conent3] text etichn. tind etre treet") tase = pthc fiddly are ‘clan:Fkopntnatadet')) lmacitas atoacossintspon', ners ease' eedposeantet ae") Secas's neat in span atese cass “eekoort-seaana sect") ocosppeni nance, Seserese, ky seca, hraentraci, He ft) tot, calmnalaneece,ecetet', tn’, “sage, “honetracte Stones) ut 28) fetes tense \arnos tomar ness enrege mais prssionaleransfrmar a slucso em uma clase assim toda ve? que for preciso fazer a ‘exrago, basa instanca um objet ¢executar 0 métedo de extras. -ntps:twwwcolaboraread.com brlintegracaoAgeteclindex .usvarioEmal-weltoncompany40gmal.comBusuarioNome=WELTON+ANGELO*SANTO. 48‘sart1/2023, 22-06, {ont Jokts202_uts_tin_pro tn (29) fine on) sf exertetett, pores) slperaan » anetasn(.serthetEokt Ver arotacdes fen onctete © pot eia carter] ert ceplacet™ Tne = noicintina(' asthe) eerie = motcheconents(. tent reso = nvita.nd di’, ste ‘laees "etnrlatee)) oso mothe nde, strat lanes eeeeort-neatet') its» eta fiat pan, etre laceseeapo-dtetne') tashonfind to's ater Chae" fwcoortnnaantantecen'}) ats apest (ane in, men, tra straza, ti sea) oF phsoarraneinios, columsesachee’, "Hesrito", “Link, “sede, “rant, 1m [30]: = cxtaceroren()certraiete/onecprt go .cn/ She wee teases ne DESAFIO DA INTERNET anhar habia em programacioexgeestudo ereno (mo eno), Aces oenderec bpsiJmedm comdaa.nacke loom. necateinstapingem-pyton.Z2cSH467%e pratique um pouco mals ssa habla! -ntps:twwwcolaboraread.com brlintegracaoAgeteclindex .usvarioEmal-weltoncompany40gmal.comBusuarioNome=WELTON+ANGELO*SANTO.