(澳门银河官网) 用selenium+phantomjs抓取异步加载的网页内容 为什么抓不到呢?
澳门银河官网
澳门银河官网
当前位置 : 澳门银河官网 > 澳门银河官网

(澳门银河官网) 用selenium+phantomjs抓取异步加载的网页内容 为什么抓不到呢?

我要抓取如下网站的信息:http://www.cninfo.com.cn/information/companyinfo_n.html?fulltext?szcn300027,想获取里面所有文件的链接,然后下载下来。
这个网页时动态加载的,在源代码里面没有链接,所以我尝试用selenium+phantomjs的方法来获取内容,但是提示说找不到,想问问大家问题在哪儿?
代码如下:

# -*-coding:utf8 -*-

import requests
from selenium import webdriver
import time

class CninfInfo:
    def __init__self:
        self.url = "http://www.cninfo.com.cn/cninfo-new/index"
        self.driver = webdriver.PhantomJS

    def GetInfoself:
        url = "http://www.cninfo.com.cn/information/companyinfo_n.html?fulltext?szcn300027"
        time.sleep10
        names = self.driver.find_elements_by_xpath"//ul[@class=ct-line]/li/div[@class=g3]/dd/span[@class=d1]/a"
        for name in names:
            print"名称为:",name.text

if __name__ == "__main__":
    CI = CninfInfo
    a = CI.GetInfo

    

这仅仅是一个post提交,为什么要搞得这么复杂

import requests, json

url = http://www.cninfo.com.cn/cninfo-new/disclosure/szse/fulltext
data = stock=300027&searchkey=&category=&pageNum=1&pageSize=15&column=szse_gem&tabName=latest&sortName=&sortType=&limit=&seDate=

headers = {
    Content-Type: application/x-www-form-urlencoded; charset=UTF-8,
    User-Agent: Mozilla/5.0 Macintosh; Intel Mac OS X 10_11_5 AppleWebKit/537.36 KHTML, like Gecko Chrome/51.0.2704.106 Safari/537.36
}

r = requests.posturl, data=data, headers=headers
result = json.loadsr.text

files = [_[0][adjunctUrl] for _ in result[classifiedAnnouncements]]

for file in files:
    file_url = http://www.cninfo.com.cn/{0}.formatfile
    file_name = file.split/[2]
    with openfile_name, w as f:
        f.writerequests.getfile_url.content

目测没有调用 driver.geturl

  1. 首先输出完整的xml目录树,看看目录树中有没有你想要的数据

  2. 如果有再检查xpath代码有没有错误,如果目录树正确,可以尝试替换xpath代码为

//*[@id="ul_a_latest"]/li[2]/div[3]/dd[1]/span[1]/a

对于selenium不是很懂,但也玩过几次,可以看我的博客上的几篇文章,http://www.misitang.com。主要问题不是1楼所说的GET问题。而是它使用了一个iframe。需要先选定它,然后才能选中下面的元素。我用nodejs做了个示例,请自己看吧。

var webdriver = requireselenium-webdriver,
    By = requireselenium-webdriver.By,
    until = requireselenium-webdriver.until;

var driver = new webdriver.Builder
    .forBrowserchrome
    .build;

driver.gethttp://www.cninfo.com.cn/information/companyinfo_n.html?fulltext?szcn300027;


driver.switchTo.framei_nr;
driver.findElementsBy.cssspan.d1>a.thenfenxi;


function fenxiele{
    forvar e in ele{
        ele[e].getOuterHtml.thenfunctionoh
        {
            console.logoh;
        };
    }
}

分页内容式是ajax请求局部刷新得到的,关于链接则是得到数据的参数拼接得到的,

栏目列表

广告位

澳门银河官网