2020年终总结

2020年总结: 大家好,我是博主xbhog,在写这篇总结的时候还有半个小时今年就要过去,在这里也做一个年终总结; 今年对我来说,是繁忙,劳累的一年,在去年(2019年)12月时,决定转本(江苏),来改变自己的学历,在这段努力的时间里,碰到疫情,导致在家里度过了4个月的时间,转本的考试也由三月推到了 ... »

MySQL查询练习

以下是MySQL中查询练习题,该练习题是个人整理的,如果哪些地方有错误或者疑问,欢迎指出; ... »

C语言程序设计之 数组2020-10-28

C语言程序设计之 数组2020-10-28 整理: 第一题:求最小数与第一个数交换 【问题描述】 ​ 输入一个正整数n (1<n<=100),再输入n个整数,将最小值与第一个数交换,然后输出交换后的n 个数。 【输入形式】 ​ 第一行,一个正整数n ​ 第二行,n个由空格隔开的整数 【输出形式】 ​ ... »

Java数组以及内存分配

Java数组以及内存分配 什么数组(简) 数组初始化 动态初始化 静态初始化 内存分配问题(重) 数组操作的两个常见小问题 什么是数组: 定义格式: 数组类型 [] 数组名 ; 如:常用格式,其他方式自行百度; int[] arr; double[] arr; float[] arr; 数组初始化: ... »

Django-Scrapy生成后端json接口

Django-Scrapy生成后端json接口: 网上的关于django-scrapy的介绍比较少,该博客只在本人查资料的过程中学习的,如果不对之处,希望指出改正; 以后的博客可能不会再出关于django相关的点; 人心太浮躁,个人深度不够,只学习了一些皮毛,后面博客只求精,不求多; 希望能坚持下来 ... »

爬虫管理平台以及wordpress本地搭建

爬虫管理平台以及wordpress本地搭建 学习目标: 各爬虫管理平台了解 scrapydweb gerapy crawlab 各爬虫管理平台的本地搭建 Windows下的wordpress搭建 爬虫管理平台了解: scrapydweb: 用于Scrapyd实施管理的web应用程序,支持Scrapy ... »

scrapy分布式浅谈+京东示例

scrapy分布式浅谈+京东示例: 学习目标: 分布式概念与使用场景 浅谈去重 浅谈断点续爬 分布式爬虫编写流程 基于scrapy_redis的分布式爬虫(阳关院务与京东图书案例) 环境准备: 下载redis-cli(客户端)以及redis-server(服务端) 安装Another Redis D ... »

拉钩爬取部分重写

拉钩重写: 1. 实现方式: scrapy+selenium 实现scrapy中的spider即可 2. 实现目标: 为实现对接之前的公司项目模板,实现统一化 3. 实现思路: 对关键字进行汉字转字母,进行URL拼接操作,然后请求; 通过selenium获取到网页源码,进行信息解析; yield返回 ... »

scrapyd+gerapy的项目部署

scrapyd+gerapy的项目部署: 简单学习,后续跟进完善 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 环境配置: scrapyd下载: pip install scrapyd -i https://pypi.com/simple scrapyd部署: ... »

python高阶-Linux基础命令集

声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 1: 查看文件信息:ls ls常用参数: 参数含义 -a 显示指定目录下所有子目录与文件,包括隐藏文件 -l 以列表方式显示文件的详细信息 -h 配合 -l 以人性化的方式显示文件大小 注:也可以ls -lh组合 ... »

python高级-闭包-装饰器

闭包内容: 匿名函数:能够完成简单的功能,传递这个函数的引用,只有功能 普通函数:能够完成复杂的功能,传递这个函数的引用,只有功能 闭包:能够完成较为复杂的功能,传递这个闭包中的函数以及数据,因此传递是功能+数据 对象:能够完成最复杂的功能,传递很多数据+很多功能,因此传递的是数据+功能 ————— ... »

数据库(mysql)基础操作

DDL(数据定义语言) >建库,建表 DML(数据操作语言) >对表中的记录操作增删改查 DQL(数据查询语言) >对表中的查询操作 DCL(数据控制语言) >对用户权限的设置 一:DDl: 创建: create database 数据库名; create database 数据库名 if not ... »

拉钩项目(一)--项目流程+数据提取

声明:1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 目标: 1. 爬取拉钩网中的关于编程语言的 1)薪资,2)城市范围,3)工作年限,4)学历要求; 2 .将四部分保存到mysql中; 3.对四部分进行数据可视化; 4.最后通过pyecharts+bootstrap进 ... »

3-数据存储之文件存储(1)

本节内容: 简介 文件存储 TXT文本存储 JSON文件存储 CSV文件存储 关系型数据库 MySQL存储 非关系数据库 Mongodb redis 一 简单介绍: 我们前面很少将提取的数据或者获取的源码保存下来;其实日常的工作中在解析出数据后接下来就是存储数据。 保存数据的形式有多种多样txtj ... »

requests用法基础-进阶

本节内容 模块的安装 基础用法 GET用法、POST用法 进阶用法 cookie处理、代理ip、session 一 模块安装: 1). 安装requests包还是很方便的,电脑中有python环境,打开cmd,输入pip install requests下载; 如果有同学使用pycharm的话,选择 ... »

数据结构与算法之两种查找方法

本节的内容: 什么是列表查找; 顺序查找(线性查找); 二分查找; 顺序查找与二分查找比较; 运行时间; 增速问题 一:什么是查找 查找:在一些数据元素中,通过一定的方法找出与给定的关键词相同的数据元素的过程。 二:顺序查找(线性查找):从列表中查找指定的元素 定义:从列表的第一个元素开始,顺序进行 ... »