每个task处理一个partition，一个文件的大小/128M就是task的数量 Task的最大并发数 当task被提交到executor之后，会根据executor可用的cpu核数，决定一个executor中最多同时运行多少个task。 默认情况下一个task对应cpu的一个核。如果一个exec ...
CityGen3D - Procedural Unity Scenes From Real World Map Data With CityGen3D you can have terrain, roads and buildings all generated for you based on r ...
个人记录 let http = require("http"); let fs = require("fs"); let cheerio = require("cheerio");//服务端的DOM解析模块 http.get("http://www.mobiletrain.org/teacher/" ...
1. JVM运行时数据区规范 JVM运行时的组成如下图所示： JVM运?时数据按照线程使?情况和职责分成两?类： 线程独享 ：不需要垃圾回收职责：程序执?区域虚拟机栈、本地?法栈、程序计数器 线程共享 ：垃圾回收、存储类的静态数据和对象数据职责：数据存储区域堆和?法区 jdk1.7之前，HotSpo ...
容器 1.torch.nn.Module() add_module(name,module): 将一个child module加入到当前的module，用model.name来获取 children():model.children()来查看所有的子模块 modules():返回所有的模块，与chi ...
Markdown学习 字体 Hello World Hello World Hello World Hello World 引用 选择狂神说Java，走向巅峰 分割线 三个- 或三个* 图片 超链接 点击跳转到其他博客 列表 ab ba aba abb ava （- 减号+空格 表格 名字 性别 生 ...
Aimee 很显然的状压dp $f_{i,j}$表示在i这个集合，最后停在了j时的最小长度 转移就行了 #include<iostream> #include<cstdio> #include<algorithm> #include<cstring> using namespace std; int ...
今日学习：《机器学习十讲》第六讲，考研择校相关信息处理。 scala学习： package com.chapter01.datatype object TypeDemo02 { def main(args: Array[String]): Unit = { println("Long的最大值：" + ...
题目 题意：将n个数分成k组，使得k组中的最大值最小。 题解：暴力DFS，但是要注意两个地方剪枝，首先在DFS的过程中判断当前的最大值是不是已经超过了已有答案。 第二个剪枝的地方比较triky，由于我们对k组没有顺序要求的，所以当剩下的组都是空的时候，我们只需要DFS第一个组。 class Solu ...
ECNU 2442 sunny的密码 链接 https://acm.ecnu.edu.cn/problem/2442 题目 单点时限: 2.0 sec 内存限制: 256 MB 现在的 供职与一家大公司，但是 的工作方式与常人不一样，由于公司之间通信为了保密，都采取了加密措施，所以他的工作就是为公司 ...
1.确认redis在后台开启 2.开放端口号6379 systemctl stop firewalld systemctl mask firewalld ...
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
本文介绍应用层相关协议 FTP 文件传输协议FTP(File Transfer Protocol)：TCP20，21 FTP协议包括两个组成部分：FTP服务器和FTP客户端 FTP传输模式 FTP支持两种模式，一种方式叫做Standard (也就是 PORT方式，主动方式)，一种是 Passive( ...
常用快捷键 剪切：ctrl+x 复制：ctrl+c 粘贴：CTRL+v 全选：CTRL+a 关闭窗口：alt+f4 运行：Windows+r 打开我的电脑：Windows+e 打开任务管理器：CTRL+shift+esc ...
看了系统倪云华的管理课，感触颇深。作为管理和被管理，你的角色可能是双向的，无论哪种角色，都可以为我们在工作中提供好的思路和方法。 第一个话题是关于如何去搭建一个好的团队， 我们在现实的过程当中往往会看到这样一个情况，就是我们通常花5%~10%的时间去用于组建团队，或者去面试你想要的人，但是我们往往在 ...
1. 建立项目团体 多机构合作，数据和利益共享。 2. 收集目标基因组信息 考虑的因素： 基因组大小、倍性、杂合性、GC含量和重复。 数据库查询： fungi (http://www.zbi.ee/fungalgenomesize) animals (http://www.genomesize.co ...
### 读取文件 ping 127.0.0.1 -n 1 > tmp.txtfor /f i in (tmp.txt) do ( echo %i% ) ### 延时 借用ping的延时， 当前这个延时不精准，只能是大概有延时1秒的效果 。 ping 0 -n 2 > nul ...
用Python处理Excel文件——openpyxl库 创建EXCEL文件对象 import openpyxl wb = openpyxl.Workbook() 创建工作表 ws1 = wb.create_sheet('sheet_name', index = 1) # index : 从左往右数第 ...
static关键字用法 static方法不能调用非static方法 static方法是类加载的时候产生的，所以不能调用随着对象产生而产生的非static方法。 代码块和静态代码块 代码块都是装在类里的 static { }//静态代码块运行最早，只在加载所属类的时候运行一次 { }//匿名代码块，和 ...