Eu sugiro usar o Scrapy. No Python ele funciona muito bem (não sei se ele tem interface com o R). Os detalhes dependem muito do site de interesse. Vários exemplos são apresentados na página do Scrapy.
Para o caso do R, existe um livro muito adequado sobre o assunto que foi copiado dessa resposta (mas não tenho como dar detalhes sobre esse assunto):
XML and Web Technologies for Data Sciences with R (integração do R com tecnologias web)