计划自行写一个python爬虫程序,需要了解以下两个方面的内容:
1.HTML,了解网页结构、内容,帮助后续数据读取
2.HTTP协议,TCP/IP协议。了解网络请求和网络传输原理,帮助理解爬虫的逻辑。

一、首先学习了HTML
1.分享链接:http://www.runoob.com/html/html-tutorial.html 这上面内容很全
2.着重看了HTML的元素和属性,因为读取网页内容的时候经常用到
HTML元素

这是一个段落 这是一个链接
换行 HTML 元素的属性 class 为html元素定义一个或多个类名(classname)(类名从样式文件引入) id 定义元素的唯一id style 规定元素的行内样式(inline style) title 描述了元素的额外信息 (作为工具条使用)

二、其次做了一个定位元素实例:
按F12按钮,出现源代码,点击左上角图标,选择elements
【python写爬虫】HTML网页学习和Xpath网络元素定位
鼠标挪到需要定位元素位置
【python写爬虫】HTML网页学习和Xpath网络元素定位
点击,选中元素,右键copy,copy Xpath,得到Xpath路径。
【python写爬虫】HTML网页学习和Xpath网络元素定位
实例:selenium定位网页元素
time.sleep(5) -------------注意要加,以防定位不到元素
driver.find_element_by_xpath(’//*[@id=“desktop”]/div/div[2]/div[1]/ul/li[3]/ul/li[1]/ul/li/a’).send_keys(Keys.ENTER)

相关文章: