python3

坊间有传MacOs系统不适合机器(ml)学习和深度(dl)学习，这是板上钉钉的刻板印象，就好像有人说女生不适合编程一样的离谱。现而今，无论是Pytorch框架的MPS模式，还是最新的Tensorflow2框架，都已经可以在M1/M2芯片的Mac系统中毫无桎梏地使用GPU显卡设备，本次我们来分享如何在 »

梦想照进现实，微软果然不愧是微软，开源了贾维斯(J.A.R.V.I.S.)人工智能助理系统，贾维斯(jarvis)全称为Just A Rather Very Intelligent System（只是一个相当聪明的人工智能系统），它可以帮助钢铁侠托尼斯塔克完成各种任务和挑战，包括控制和管理托尼的机甲 »

ChatGPT的泛用性极高，上知天文，下通地理，参考古今，博稽中外，几乎无所不知，无所不晓。但如果涉及垂直领域的专业知识点，ChatGPT难免也会有语焉不详，闪烁其词的毛病，本次我们将特定领域的学习材料“喂”给ChatGPT，让它“学习”后再来回答专业问题。 专业领域语料问题 所谓专业领域语料问题， »

目录 简介 str转bytes bytes转str bytes和str转化为bytearray 简介 str是采用Unicode编码方式的序列，主要用于显示bytes是字节序列，主要用于网络和文件传输bytearray和bytes是一样的，只是它是可变的，它们的关系和str与list类似 »

目录 简介 str转bytes bytes转str bytes和str转化为bytearray 简介 str是采用Unicode编码方式的序列，主要用于显示bytes是字节序列，主要用于网络和文件传输bytearray和bytes是一样的，只是它是可变的，它们的关系和str与list类似 »

毋庸讳言，和传统架构(BS开发/CS开发)相比，人工智能技术确实有一定的基础门槛，它注定不是大众化，普适化的东西。但也不能否认，人工智能技术也具备像传统架构一样“套路化”的流程，也就是说，我们大可不必自己手动构建基于神经网络的机器学习系统，直接使用深度学习框架反而更加简单，深度学习可以帮助我们自动地 »

目录 一、简单的实时文件处理（单一文件） 二、复杂的实时文件处理（不断产生新文件） 最近，需要对日志文件进行实时数据处理。 一、简单的实时文件处理（单一文件） 假设我们要实时读取的日志的路径为： /data/mongodb/shard1/log/pg.csv 那么我们可以在python »

目录 一、简单的实时文件处理（单一文件） 二、复杂的实时文件处理（不断产生新文件） 最近，需要对日志文件进行实时数据处理。 一、简单的实时文件处理（单一文件） 假设我们要实时读取的日志的路径为： /data/mongodb/shard1/log/pg.csv 那么我们可以在python »

OpenAI公司基于GPT模型的ChatGPT风光无两，眼看它起朱楼，眼看它宴宾客，FaceBook终于坐不住了，发布了同样基于LLM的人工智能大语言模型LLaMA，号称包含70亿、130亿、330亿和650亿这4种参数规模的模型，参数是指神经网络中的权重和偏置等可调整的变量，用于训练和优化神经网络 »

OpenAI公司基于GPT模型的ChatGPT风光无两，眼看它起朱楼，眼看它宴宾客，FaceBook终于坐不住了，发布了同样基于LLM的人工智能大语言模型LLaMA，号称包含70亿、130亿、330亿和650亿这4种参数规模的模型，参数是指神经网络中的权重和偏置等可调整的变量，用于训练和优化神经网络 »

目录 用chrome浏览器举例  结果 爬虫一般是useragent，或者js脚本交互验算的方式来反机器人爬虫，只是很多反爬虫容易被侦测出来容易被拦截，这里有个思路可以用webdrivers来驱动浏览器去爬虫，这样就可以绕过大多数的防爬机制（有些高级的防反爬虫也不行，比如验证码，鼠标轨迹验证等 »

目录 用chrome浏览器举例  结果 爬虫一般是useragent，或者js脚本交互验算的方式来反机器人爬虫，只是很多反爬虫容易被侦测出来容易被拦截，这里有个思路可以用webdrivers来驱动浏览器去爬虫，这样就可以绕过大多数的防爬机制（有些高级的防反爬虫也不行，比如验证码，鼠标轨迹验证等 »

目录 一、下载python； 二、下载sqlmap; 注意：在python3环境下安装sqlmap的时候会提示需要在python2的环境下才能安装，其实在python3.6以后也都支持sqlmap了。 sqlmap安装步骤 一、下载python； 下载地址 https://www.py »

目录 一、下载python； 二、下载sqlmap; 注意：在python3环境下安装sqlmap的时候会提示需要在python2的环境下才能安装，其实在python3.6以后也都支持sqlmap了。 sqlmap安装步骤 一、下载python； 下载地址 https://www.py »

目录 技术背景 用tracemalloc跟踪python程序内存占用 用tracemalloc追踪内存变化 内存占用曲线 mmap内存占用测试 将numpy数组写入txt文件 numpy文件读取测试 mmap内存占用测试 总结概要 技术背景 在前面一篇博客中我们介绍了一些用pytho »

目录 技术背景 python对Excel表格的处理 vaex的安装与使用 vaex的安装 性能对比 数据格式转换 总结概要 技术背景 数据处理是一个当下非常热门的研究方向，通过对于大型实际场景中的数据进行建模，可以用于预测下一阶段可能出现的情况。比如我们有过去的2002年-2018年 »

目录 技术背景 python对Excel表格的处理 vaex的安装与使用 vaex的安装 性能对比 数据格式转换 总结概要 技术背景 数据处理是一个当下非常热门的研究方向，通过对于大型实际场景中的数据进行建模，可以用于预测下一阶段可能出现的情况。比如我们有过去的2002年-2018年 »

目录 技术背景 pycuda环境配置 使用GPU计算向量指数 总结概要 技术背景 GPU的加速技术在深度学习、量子计算领域都已经被广泛的应用。其适用的计算模型是小内存的密集型计算场景，如果计算的模型内存较大，则需要使用到共享内存，这会直接导致巨大的数据交互的运算量，通信开销较大。因为pyc »

目录 技术背景 pycuda环境配置 使用GPU计算向量指数 总结概要 技术背景 GPU的加速技术在深度学习、量子计算领域都已经被广泛的应用。其适用的计算模型是小内存的密集型计算场景，如果计算的模型内存较大，则需要使用到共享内存，这会直接导致巨大的数据交互的运算量，通信开销较大。因为pyc »

目录 一、简介 二、函数参数介绍 三、返回处理方法详解 四、版本区别， 注意事项 五、实例 总结 一、简介 urllib.request.urlopen()函数用于实现对目标url的访问。 函数原型如下： urllib.request.urlopen(url, data=None, [ »