Posted indjango Python 如何单独使用django orm框架 最近在学习python语言,然后自己用python写一些小的程序,然后从各个网站爬取一些数据,并把这些数据存放在mysql数据库中,然后又不想自己写sql, 因此了解到django中有orm的模块,但是django又必须在web项目中使用,但是我又不想运行web项目,因此考虑将orm框架提出来,单独能够操作数据库使用。 Posted by 专注着 15 12 月, 2024Tags: django, orm, python
Posted inPython 使用selenium实现12306的自动登录 12306有自己的验证规则,比方说一天发送短信有次数的限制,因此不能无限制的尝试。但是在这个过程中,需要输入验证码,因此这里是不能完全实现自动化的。可以研究一下,只登录一次,然后将cookie等信息保存,以在下次使用,以此实现以此登录,做后续的操作。 Posted by 专注着 5 11 月, 2024Tags: python, selenium
Posted inPython 使用xpath+requests抓取猪八戒网站数据 使用代码实现根据关键字查询猪八戒相关信息,并讲网页信息进行打印和输出。该代码进攻学习记录,不做任何其他用处 Posted by 专注着 29 10 月, 2024Tags: lxml, python, requests, xpath
Posted inPython python使用xpath获取豆瓣电影排行榜数据 通过插件获取douban电影排行榜数据,主要是通过requests获取网页,并通过xpath对网页进行解析和获取,拿到我们想要的数据信息 Posted by 专注着 26 10 月, 2024Tags: lxml, python, requests, xpath
Posted inPython python xpath路径选择 python中使用lxml模块对xml节点进行选择查询,其中包含了匹配规则,属性,节点,计算等操作 Posted by 专注着 18 10 月, 2024Tags: lxml, xpath
Posted injava spring spring log4j2配置周期删除历史日志文件 在使用日志的时候,最近因为项目的缘故,使用的日志框架是log4j2,但是在配置日志的过程中,并没有删除历史日志的配置,因此导致了日志文件特别多,难以查找,因此记录log4j2删除历史日志文件配置信息。 Posted by 专注着 24 5 月, 2024Tags: log4j2, spring
Posted injava spring spring schedule线程池配置实现原理 最近在做项目的时候,需要用到spring的定时任务模块做任务的调度。之前看网上的文章说,spring在默认的配置中都是使用的单线程来跑任务,如果某一个任务执行时间比较长,那么将会影响后续的任务执行,因此,大致看了下对应的源码,记录下来。 Posted by 专注着 24 5 月, 2024Tags: schedule, spring, 线程池
Posted injava spring spring boot 项目中如何排除依赖包中的@Configuration配置类? 事情是这样的,在最近开发项目中,由于公司引入了一些内部开发的包,但是包中做了一个切面,切面的目的是拦截所有的service类中的所有的方法,并开启事务管理。这就导致了项目结构中,如果你想控制事务的粒度成了问题,并且在普通查询的时候,是不需要开启事务的。 Posted by 专注着 13 5 月, 2024Tags: configuration, spring boot
Posted injava spring spring 使用ForkJoinPool异步事件处理 最近在开发功能的时候,因为涉及到在做一个操作的时候,需要将之前已经有的数据做状态变更,但是由于单批次操作比较复杂,需要操作很多次数据库,因此在接口响应时间上超过了10s的时间,因此,将这部分耗时操作通过异步的方式来处理,这样的话,即可以保证数据的正确性,同时也可以在接口响应上缩短时间。 Posted by 专注着 10 5 月, 2024Tags: async, enableasync, ForkJoinPool
Posted injava ForkJoinPool中ForkJoinTask的fork()、join()和get()有什么区别? 最近在做项目的时候,发现数据统计请求接口很慢,因此考虑将多个任务并行跑,这里主要采用的ForkJoinPool来实现,这是因为这个线程池可以配合parallelStream()方法来做自定义线程池,做任务线程的隔离。 Posted by 专注着 19 4 月, 2024Tags: ForkJoinPool