desenvolvimento para web - xhtml, css, padrões da web, usabilidade, acessibilidade, web design, SEO, blogs e tecnologias para desenvolver a web Developing web - xhtml, css, web standards, usability, accessibility, web design, SEO, blogs and technology to develop the web

Pegar parte do conteúdo de outro site foi a tarefa que tive que fazer. Take the contents of another site was the task that had to do. Pensei que seria bem fácil, mas as coisas não saíram exatamente como eu planejava… Felizmente, consegui! I thought it would be easy, but things came out exactly as I planned… Fortunately, succeeded! Aprenda, você, também, como coletar informações de outros sites na internet . Learn, you, too, and collect information from other websites on the internet.

A missão: pegar parte do conteúdo de um site The mission: get the content of a site

Hoje, no trabalho, tive a missão de “puxar” alguns dados de um site para “enxertar” num trecho de um web site que estou ajudando a desenvolver. Today, at work, had the task of "pull" some data from one site to "graft" in an excerpt from a web site that I am helping to develop. Quando a tarefa me foi passada, logo lembrei de uma ocasião em que um amigo fez a mesma coisa (e, na época, ele me explicou, mais ou menos, com o fez). When I was last task as soon remembered a time when a friend did the same thing (and, at the time, he explained me, more or less, it did). Pensei que seria muito fácil realizar a tarefa, mas, na hora, “lembrei” que não sou tão bom quanto o Gevã … rsrs I thought it would be very easy to accomplish the task, but in time, "reminded" that I am not as good as the Gevã… rsrs

A solução: funções nativas do PHP e expressões regulares The solution: native functions of PHP and regular expressions

Passei para pesquisas na web , procurando desesperadamente material de referência sobre expressões regulares (que, como verão, é um dos pilares para se conseguir pegar parte do conteúdo de outro site ). I spent for research on the web, desperately looking for reference material on regular expressions (which, as you will see, is one of the pillars for achieving get some content from another site). Procura daqui, procura de lá, até bate-papo com o Gevã rolou para eu tentar entender melhor as tais expressões regulares. Search here, looking for there to chat with the Gevã rolled onto I try to better understand such regular expressions. Até que, utilizando um pouco de “gambiarra”, consegui realizar meu objetivo. Before that, using a little "gambiarra", managed to achieve my goal.

A primeira coisa a se fazer, é pegar o conteúdo da página inteira que se quer “manipular”. The first thing to do is pick up the entire contents of the page you want to "manipulate". Para tal, usa-se, por exemplo, a função file_get_contents() . To this end uses, for example, the function file_get_contents (). Jogando o conteúdo do site numa variável, ficaria assim (vou fazer o exemplo com o mesmo site que tive que mexer): Playing the site content in a variable, would be well ('ll make an example with the same site that had to move):

 1 

 $url = file_get_contents ( 'http://www.bcb.gov.br/' ) ; $ url = file_get_contents ( 'http://www.bcb.gov.br/'); 

Pronto, agora a variável $url contém, em string , todo o conteúdo da página inicial do BCB . Ready, now contains the variable $ url, string, the entire contents of the home page of the BCB.

Expressões regulares Regular Expressions

Até aqui foi fácil; o difícil foi pegar somente o trecho da página que eu queria… Para isso, é preciso usar expressões regulares ! So here was easy, the difficult catch was only the portion of the page that I wanted… For this, you must use regular expressions!

Caso você não saiba o que são expressões regulares, aí vai uma sucinta (e incompleta…) explicação de o que são expressões regulares, da Wikipédia : If you do not know what are regular expressions, there vai a brief (and incomplete…) explanation of what are regular expressions, from Wikipedia:

Uma expressão regular, na Informática, define um padrão a ser usado para procurar ou substituir palavras ou grupos de palavras. A regular expression in Information Technology, defines a standard to be used to seek or substituting words or groups of words. É um meio preciso de se fazer buscas de determinadas porções de texto. It's a must to make searches of certain portions of text.

Com as expressões regulares é possível identificar trechos de palavras ou grupos de palavras que correspondem (” match “) a um determinado padrão (” pattern “), que é “regular”. With regular expressions is possible to identify snippets of words or groups of words that match ( "match") to a certain standard ( "pattern"), which is "regular".

O PHP tem várias funções nativas para trabalhar com expressões regulares. The PHP has several functions native to work with regular expressions. Basta saber para o que cada uma serve e usar da meneira correta. Just to know that each one serves and use of meneira correct.

Bem, o próximo passo para resolução do problema é identificar o padrão que se quer extrair do site . Well, the next step towards solving the problem is to identify the pattern you want to extract the site. No caso, eu precisei de uma tabela com algumas taxas cambiais (encontra-se à direita, no site do BCB). In the case, I needed a table with some foreign exchange rates (is on the right, the site of the BCB). Observando o código fonte, vi que as informações estão em uma tabela (abordagem semanticamente correta!); além disso, esta tabela está envolta entre os comentários HTML “<!- - INICIO INDICADORES - ->” e “<!- - FIMINDICADORES - ->”. Noting the source code, I saw that the information is in a table (semantically correct approach!); Moreover, this table is surrounded between the HTML comments "<! - - HOME INDICATORS - ->" and "<! - - FIMINDICADORES -- --> ". Isso é uma coisa boa, já que facilita bastante a “identificação do padrão”. This is a good thing, since it facilitates rather to "identify the pattern."

Explicando melhor: o padrão procurado, no caso, é tudo o que está entre os comentários HTML “<!- - INICIO INDICADORES - ->” e “<!- - FIMINDICADORES - ->”. Explaining better: the pattern sought in the case, is all that is between the HTML comments "<! - - HOME INDICATORS - ->" and "<! - - FIMINDICADORES - ->." Toda a tabela está aí, para a minha felicidade! The whole table is there, for my happiness! :-)

Então, tudo o que é preciso fazer é utilizar uma função PHP (para o caso, escolhi a preg_match_all() ) para procurar uma expressão regular dentro da variável $url , que contém toda a primeira página do site em que está a tabela. So what do we need to do is to use a PHP function (for case, chose the preg_match_all ()) to search for a regular expression within the variable $ url, which contains the entire first page of the site is where the table.

Depois de muito tempo testando vááárias expressões regulares, cheguei à conclusão que faria uma pequena mutreta. After much time testing vááárias regular expressions, I came to the conclusion that would make a small mutreta. Mas, antes, deixe-me mostrar como está o código até agora. But first, let me show how the code is until now.

 1 2 1 2 

 $url = file_get_contents ( 'http://www.bcb.gov.br/' ) ; preg_match_all ( '/ORES--&gt;(. )<!--/s' , $url , $conteudo ) ; = $ url file_get_contents ( 'http://www.bcb.gov.br/'); preg_match_all ( '/ ORES - >(. )<!--/ s', $ url, $ content); 

Explicando: o primeiro argumento da função, é o padrão que quero procurar; o segundo, é onde vou procurar; o terceiro, guarda em um array todas as ocorrências da expressão procurada. Explaining: the first argument of the function, is the standard that I seek; the second, is where I will try and the third, guard in an array all occurrences of the words sought. Para a maioria dos casos, talvez já estivesse bom, por aqui; entretanto, no problema que tive, ainda é preciso mais algumas linhas de código. For most cases, it may have been good, here, but I had no problem, still need a few more lines of code.

No momento, a variável $conteudo contém um array com as ocorrências encontradas. Currently, the variable $ content contains an array with the occurrences found. Usando um print_r() , descobri em qual posição, exatamente, o que eu procurava estava: $conteudo[0][0] . Using a print_r (), discovered in which position, exactly what I was looking for: $ content [0] [0].

Fazendo uma “mutreta” Making a "mutreta"

Para fazer a tal “mutreta”, jogo o conteúdo desta posição da matriz para uma outra variável (para facilitar a manipulação). To make this "mutreta", the game contents of the matrix position to another variable (to facilitate handling).

 1 2 3 1 2 3 

 $url = file_get_contents ( 'http://www.bcb.gov.br/' ) ; preg_match_all ( '/ORES-->(. )<!--/s' , $url , $conteudo ) ; $exibir = $conteudo [ 0 ] [ 0 ] ; $ url = file_get_contents ( 'http://www.bcb.gov.br/'); preg_match_all ( '/ ORES - >(. )<!--/ s', $ url, $ content); $ display = $ Content [0] [0]; 

Havia trechos do que me foi retornado (ou seja, da tabela com as taxas cambiais) que eu não queria que aparecessem no site (como alguns links). There were snippets of what I was returned (ie the table with the foreign exchange rates) that I did not want to appear on the site (as some links). Então, resolvi retirá-los através da função str_replace() , que substitui trechos de strings . So I decided to withdraw them by the function str_replace (), which replaces portions of strings. É possível, como argumento, passar um array. It is possible, as an argument, pass an array. Então, por enquanto e quase no fim, o código está assim: So for now and nearing the end, the code is this:

 1 2 3 4 5 1 2 3 4 5 

 $url = file_get_contents ( 'http://www.bcb.gov.br/' ) ; preg_match_all ( '/ORES-->(. )<!--/s' , $url , $conteudo ) ; $exibir = $conteudo [ 0 ] [ 0 ] ; $retirar = array ( 'mais moedas' , 'atas Copom' , 'mais detalhes' , 'ORES-->' , '<!--' ) ; $exibir = str_replace ( $retirar , '' , $exibir ) ; $ url = file_get_contents ( 'http://www.bcb.gov.br/'); preg_match_all ( '/ ORES - >(. )<!--/ s', $ url, $ content); $ display = $ Content [0] [0]; withdraw $ = array ( 'most currencies',' Copom minutes', 'more', 'ORES ->','<!--'); $ display = str_replace ( $ withdraw,'', $ display); 

Ou seja: sempre que aparecer alguns dos itens do array $retirar em $exibir , será substituído por “” (nada…). In other words, where some of the items appear in the array $ withdraw a $ display, will be replaced by "" (nothing…). Perceba que os últimos dois elementos do array são “poluições” desnecessárias, que vieram devido à minha preguiça de fazer uma expressão regular mais elaborada. Note that the last two elements of the array are "pollution" unnecessary, which came due to my laziness to make a regular expression more elaborate. :-)

Finalizando… Finally…

Depois disso, basta mandar exibir na tela o que “sobrou” do conteúdo retira da página inicial do site do BCB. After that, just mandar display on the screen that "sobrou" cut the content of the home page of the site BCB.

 1 2 3 4 5 6 1 2 3 4 5 6 

 $url = file_get_contents ( 'http://www.bcb.gov.br/' ) ; preg_match_all ( '/ORES-->(. )<!--/s' , $url , $conteudo ) ; $exibir = $conteudo [ 0 ] [ 0 ] </ span>; $retirar = array ( 'mais moedas' , 'atas Copom' , 'mais detalhes' , 'ORES-->' , '<!--' ) ; $exibir = str_replace ( $retirar , '' , $exibir ) ; echo $exibir ; $ url = file_get_contents ( 'http://www.bcb.gov.br/'); preg_match_all ( '/ ORES - >(. )<!--/ s', $ url, $ content); $ display = $ Content [0] [0] </ span>; withdraw $ = array ( 'most currencies',' Copom minutes', 'more', 'ORES ->','<!--') $ display = str_replace ($ withdraw,'', $ display); echo $ display; 

E se o servidor não permite a função file_get_contents() ? And if the server does not allow the function file_get_contents ()?

Há muitos servidores que, por motivos diversos (principalmente “segurança”), não permitem que se utilize a função file_get_contents() . There are many servers that, for various reasons (mainly "security"), do not allow to use the function file_get_contents (). Para esses casos, é possível colocar numa variável alguma página externa utilizando o seguinte código (depois você procura as explicações no manual oficial do PHP ): For these cases, it is possible to place a variable any external page using the following code (after you demand explanations in the official handbook of PHP):

 1 2 3 4 5 6 7 1 2 3 4 5 6 7 

 $ch = curl_init ( ) ; $timeout = 0 ; curl_setopt ( $ch , CURLOPT_URL , 'O_SITE_QUE_VOCE_QUER' ) ; curl_setopt ( $ch , CURLOPT_RETURNTRANSFER , 1 ) ; curl_setopt ( $ch , CURLOPT_CONNECTTIMEOUT , $timeout ) ; $conteudo = curl_exec ( $ch ) ; curl_close ( $ch ) ; $ ch = curl_init (); $ timeout = 0; curl_setopt ($ ch, CURLOPT_URL, 'O_SITE_QUE_VOCE_QUER'); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ ch, CURLOPT_CONNECTTIMEOUT, $ timeout); $ content = curl_exec ( $ ch); curl_close ($ ch); 

Então, o conteúdo da página “O_SITE_QUE_VOCE_QUER” estará na variável $conteudo . Then, the content of the page "O_SITE_QUE_VOCE_QUER" will be in the variable $ content.

Conclusão Conclusion

Então, pessoal, para se retirar uma parte do conteúdo de um web site (utilizando PHP), os passos são: Then, staff, to withdraw a part of the contents of a web site (using PHP), the steps are:

• Saber em qual página está o conteúdo que se precisa; Learn which page is that the content is accurate;
• Jogar o conteúdo do site em uma variável; Play the site content in a variable;
• Extrair o trecho que se quer utilizando expressões regulares; Extract the words you want to use regular expressions;
• Se preciso, cortar mais algumas coisas do resultado da ER; If necessary, cut some things more the result of the ER;
• Exibir em tela o resultado final. Display screen in the final result.

O grande pulo do gato , neste caso, é saber mexer com expressões regulares; coisa que, sinto informar, só se aprende fazendo! The great leap of the cat in this case is whether dealing with regular expressions; thing, I inform, but you learn doing! E fazendo muito! And doing much! Leia as referências no fim deste artigo e procure na internet mais material a respeito. Read the references at the end of this article and find more material on the Internet about it.

Uma outra coisa importante é o seguinte: tenha sempre em mente que, como você está pegando o conteúdo de um site , caso este altere sua estrutura, muito provavelmente será preciso alterar a expressão regular, também. Another important thing is: please keep in mind that as you are taking the contents of a site where that change its structure, most likely will be necessary to change the regular expression, too.

Fique ciente de uma coisa: se você, desenvolvedor web , ainda não precisou usar expressões regulares, pode ter certeza de que sua hora vai chegar! Be aware of one thing: if you, web developer, not yet specified use regular expressions, you can be assured that its hour come vai!