knowledge_record
机器学习
Machine_Learning
ensemble
bagging和boost
Bagging和Boosting的区别
bagging减少方差，boosting是减少偏差
stacking
GBDT
GBDT和随机森林异同
AdaBoost算法缺点
Xgboost 为什么用二阶泰勒展开
XGBoost与GBDT有什么不同
XGBoost处理缺失值
决策树与这些算法框架进行结合所得到的新的算法：
xgboost判断特征重要程度的三种指标
lightGBM
lightGBM与XGboost对比
lightgbm哪些方面做了并行
有监督机器学习算法
liner regression 线性回归
岭回归和Lasso的区别
liner regression 矩阵解
Logistics regression
逻辑回归的假设
为什么LR要用sigmoid
分类为什么用CE而不是MSE
SVM
KNN
朴素贝叶斯（Naive Bayes）
决策树
信息增益
信息增益率
决策树的剪枝
基尼系数
分类树和回归树的区别
随机森林
随机森林随机性
随机森林需要剪枝吗
为什么要有放回的抽样
影响性能因素
聚类
资料
聚类的种类
Kmeans
K-Means聚类的优点：
K-Means聚类的缺点：
K值的选取
K-Means聚类变体
GMM EM
DBSCAN
AGNES聚类
sequential leader clustering
聚类的衡量
其他常见问题
如何解决机器学习中样本不均衡问题？
数据挖掘中常见的「异常检测」算法有哪些？
上采用 & 下采样
几种距离度量方法比较
周期性特征的编码问题
启发式算法
生成式和判别式 算法
L0 L1 L2 正则化
L1 和 L2 正则的区别是什么
Normalization & Standardization
PCA
LDA(Linear Discriminant Analysis) 线性判别分析
LDA(Latent Dirichlet Allocation) 隐含狄利克雷分布
参数稀疏有什么好处
Rank Averaging
有哪些常见的 Feature engineering 特征工程的方法
异常值处理 Outlier Handling
数值特征处理、类别特征处理 Numerical and Categorical Feature Engineering
特征构造 Feature Construction
降维 Dimensionality Reduction
数据清洗
解决数据质量问题
让数据更适合做挖掘或展示
特征过多/维度灾难/解决方案
解决方案
特征选择
最大似然/最小二乘
为什么先划分训练集和测试集后归一化
进程与线程
概率论
概率论中的常见分布类型
中心极限定理
大数定律
投骰子连续两次是6就停止，求投掷的次数的期望
投硬币连续两次是正面就停止，求投掷的次数的期望
抛硬币直到出现连续N次正面为止的期望
CV
CV
一些深度学习基础知识点
全连接层
白化(Whitening)
PCA白化
ZCA白化
PCA白化和ZCA白化的异同
正则化
Dropout
dropout 在训练和测试时候的差异
batch normalize BN
BN训练和测试时的参数是一样的嘛？
BN训练时为什么不用全量训练集的均值和方差呢？
BN层具体过程、反向传播、求导
BN解决过拟合
BN和Dropout 共同使用
pooling池化
max pooling和average pooling
Global average pooling
AdaptiveAvgPool1d
Padding
嵌入层 Embedding
激活函数
损失函数
有哪些损失函数
pytorch中有哪些损失函数
熵，交叉熵，KL散度
KL散度(相对熵)
KL散度和交叉熵的对比
关于softmax细节
focal loss
过拟合
如何判断过拟合还是欠拟合
陷入局部最优解
优化
CNN参数计算
Inception
1x1卷积核的作用
一维卷积尺寸选取
Accuracy、Precision、Recall、AUC F1 等分类问题评价指标
MSE、RMSE、MAE、R2 等回归问题评价指标
MSE（Mean Squared Error）均方误差
RMSE（Root Mean Squard Error）均方根误差
MAE（Mean Absolute Error）平均绝对误差
R2（R-Square）决定系数
如何评估一个模型的好坏
初始化
反向传播的推导
池化层如何反向传播
loss下降不下降的问题
梯度爆炸 梯度消失
CV的一些知识
各类模型
HighwayNetworks
NLP
NLP
实用网站备份
项目涉及
（NLP）语义分析–文本分类、情感分析、意图识别
模型压缩
知识蒸馏
fastbert
elasticsearch（es）/倒排索引
召回
匹配
pointwise、pairwise、listwise
ernie
albert
RoBERTa
解释我们的NSP：next sentence prediction
SOP
focal_loss 和 label_smoothing
基础知识
word2vec
Negative Sampling负采样
hierarchical softmax层次softmax
bag_of_word
n-gram
fasttext
glove
ELMO双向
细粒度分类
transformer-XL
XLNet
nlp中的数据增强
skip-thought
TextCNN
句子的向量表示方法 / sentence2vec
文本的向量表示方法
词袋法
n-gram词袋模型
向量空间模型
特征权重计算
文本相似度的计算方法
分词
1）基于字符串匹配的分词方法：
2）基于理解的分词方法：
3）基于统计的分词方法：
4）英文分词技术：
RNN及其变体LSTM等
seq2seq
一维卷积CNN和RNN
序列预测问题，CNN、RNN各有什么优势
CNN和RNN中梯度消失的区别
GRU LSTM BRNN
LSTM简要介绍
RNN LSTM 参数量
LSTM 和 Transformer 复杂度对比
LSTM处理长序列的方法
attention
不错的资料
直观的解释
为什么要引入Attention机制
手写
attention的一个通用定义
变体
bert
一些学习资料
模型结构
embedding
bert模型中的[CLS]、[UNK]、[SEP]是什么意思？
BERT模型的预训练任务
为什么Bert的三个Embedding可以进行相加？
BERT为何使用学习的position embedding而非正弦position encoding
GPT 与 BERT 的区别是什么
bert里面的 intermediate layer
变种：BERT-wwm、BERT-wwm-ext、RoBERTa、SpanBERT、ERNIE2
BERT-wwm
BERT-wwm-ext
RoBERTa
SpanBERT
ERNIE2
word2vec到bert的的区别
bert 论文里读的
模型参数
MASK
NSP
transformer
一些学习资料
Q,K,V
Transformer为何使用多头注意力机制？（为什么不使用一个头）
Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
为什么在进行softmax之前需要对attention进行scaled（为什么除以dk的平方根），并使用公式推导进行讲解
在计算attention score的时候如何对padding做mask操作？
Transformer的Encoder模块
简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
Encoder端和Decoder端是如何进行交互的？（在这里可以问一下关于seq2seq的attention知识）
Decoder阶段的多头自注意力和encoder的多头自注意力有什么区别？（为什么需要decoder自注意力需要进行 sequence mask)
Transformer训练的时候学习率是如何设定的？Dropout是如何设定的，位置在哪里？Dropout 在测试的需要有什么需要注意的吗？
self-attention的优点
关于并行计算
前馈网络和BP神经网络
batch norm & layer norm
transformers 中的 tokenizers是什么
warmup
CRF 条件随机场
一些资料
生成式判别式
HMM
CRF
HMM、CRF、MEMM
CRF优点
CRF VS 词典统计分词
MEMM 标记偏置
Bi-LSTM，CRF
维特比算法
文本分类/nlp综述
综述
文本预处理
分类器
机器学习方法
深度学习方法
知识图谱&实体链接
概念解释
实体链接
知识图谱实体链接：一份“由浅入深”的综述
Learning to Rank
基本介绍
PointWise
PairWise
推荐系统
推荐系统
工作总结
学习资料
整体概念
为什么需要推荐系统
推荐系统解决的问题
推荐系统与搜索引擎的不同
从用户层面推荐系统的作用
知识图谱在推荐系统中的作用
推荐系统分类
基于内容的推荐
协同过滤的推荐
面试问题
NDCG : Normalized Discounted Cumulative Gain(归一化折损累计增益)
如果模型速度慢，有什么办法解决
剪枝(Pruning)
知识蒸馏(Knowledge Distillation)
排序模型的知识蒸馏
召回的评估指标是什么 (从离线和在线指标)
离线指标:
在线指标:
pairwise 排序
pairwise 的样本在train和eval的时候是怎么生成的
评价指标
A/B testing
学习资料
一些经验，需要消化
udacity a/b testing 笔记
梳理Statistical Power和Significance Level
常考问题
第一类错误 vs 第二类错误
统计显着=实际显着？
AB 测试效果统计上不显着？
实验组优于对照组就能上线？
AB 测试的其他变式考法
面试设计AB test的时候，一定要先明确 商业目标是什么
ABtest有什么缺点？
论文阅读
总体
感想
FiBiNet 微博2019
DCN V2
先复习一下DCN-V1
DCN-V2的改进
AFN
Facebook Que2Search
广义随机森林GRF（Generalized Random Forests）
Deep Neural Networks for YouTube Recommendations
实用工具/北美面试额外
实用工具
github操作
命令
学习资料
SQL语法
学习资料
经典解读
hadoop常用命令
DAG格式
多输出路径
C++ 入门
Model Deployment
Docker
Kubernetes
Model Deployment
describe a project focused on the production phase
after the model is in production or went online, how do you monitor the model.
CI/CD
what is the end to end machine learning life cycle.
system Design
题目
Leetcode
二分查找类
二分查找
搜索旋转排序数组
在排序数组中查找元素的第一个和最后一个位置
搜索插入位置
寻找旋转排序数组中的最小值
搜索旋转排序数组 II
0～n-1中缺失的数字
x的平方根
寻找峰值
378. Kth Smallest Element in a Sorted Matrix
排序
快排
数组中的逆序对
需要维护一个队列/单调栈
好像有一个规律
柱状图中最大的矩形
股票价格跨度
滑动窗口最大值
每日温度
下一个更大元素 I
132 模式
滑动窗口
最小覆盖子串
最短超串
找到字符串中所有字母异位词
字符串的排列
209. Minimum Size Subarray Sum
3. Longest Substring Without Repeating Characters
30. Substring with Concatenation of All Words
和为s的连续正数序列
二叉树
前序遍历
中序遍历
后续遍历
层次遍历
相同的树
树的子结构
二叉树的镜像
对称的二叉树
二叉树中和为某一值的路径
平衡二叉树
从前序与中序遍历序列构造二叉树
从中序与后序遍历序列构造二叉树
199. 二叉树的右视图
二叉树的最近公共祖先
路径总和 III
Leetcode 426. Convert Binary Search Tree to Sorted Doubly Linked List (BST转换成双链表)
114. Flatten Binary Tree to Linked List
1530. Number of Good Leaf Nodes Pairs
1028. 从先序遍历还原二叉树
二叉搜索树 Binary Search Tree
Binary Search Tree的性质
230. Kth Smallest Element in a BST
538. Convert BST to Greater Tree
530. Minimum Absolute Difference in BST
173. Binary Search Tree Iterator
98. Validate Binary Search Tree
701. Insert into a Binary Search Tree
450. Delete Node in a BST
99. Recover Binary Search Tree
其他题目
二叉搜索树的最近公共祖先
动态规划
数组中出现次数超过一半的数字
连续子数组的最大和/最大子序和
乘积最大子数组
1186. Maximum Subarray Sum with One Deletion
把数组排成最小的数
买卖股票的最佳时机
买卖股票的最佳时机 II
买卖股票的最佳时机 III
买卖股票的最佳时机含冷冻期
礼物的最大价值
不同路径 II
最小路径和
最长不含重复字符的子字符串
丑数
丑数 II
Z 字形变换
圆圈中最后剩下的数字
整数转罗马数字
罗马数字转整数
最长公共前缀
有效的括号
括号生成
下一个排列
外观数列
Pow(x, n)
跳跃游戏
跳跃游戏 II
不同路径
简化路径
颜色分类
删除排序数组中的重复项 II
编辑距离
两个字符串的删除操作
交错字符串
不同的子序列
最长公共子序列
通配符匹配
单词接龙
最长上升子序列
打家劫舍
打家劫舍 II
打家劫舍 III
01背包问题
分割等和子集
目标和
零钱兑换
最长有效括号
和为 K 的子数组
49. Group Anagrams
128. Longest Consecutive Sequence
遍历（Traversal）
125. Valid Palindrome
最长回文子串
盛最多水的容器
三数之和 & 最接近的三数之和
2340 - Minimum Adjacent Swaps to Make a Valid Array
1031. Maximum Sum of Two Non-Overlapping Subarrays(list前缀和)
1124. Longest Well-Performing Interval
135. Candy
区间问题
合并区间
插入区间
会议室
会议室II
无重叠区间
用最少数量的箭引爆气球
汇总区间
矩阵/二维数组
旋转二维数组总结
旋转图像
螺旋矩阵/顺时针打印矩阵
螺旋矩阵 II
289. Game of Life
73. Set Matrix Zeroes
黑白棋翻转
被围绕的区域
最大矩形
最大子矩阵
329. Longest Increasing Path in a Matrix
最长波动路径
找规律&斐波拉契&数学
跳台阶—斐波拉契
剪绳子
数字序列中某一位的数字
把数字翻译成字符串
解码方法
n个骰子的点数
阶乘后的零
小于n的最大整数
链表
前置学习内容
反转链表
反转链表 II
141. Linked List Cycle
两数相加
25. Reverse Nodes in k-Group
链表中倒数第k个节点
19. Remove Nth Node From End of List
合并两个排序的链表
不用额外空间合并两个排序的list
合并两个有序数组
两个链表的第一个公共节点
环形链表
两两交换链表中的节点
旋转链表
删除排序链表中的重复元素 II
删除排序链表中的重复元素
分隔链表
排序链表
146. LRU Cache
Heap堆
python heapq用法
215. Kth Largest Element in an Array
295. Find Median from Data Stream
373. Find K Pairs with Smallest Sums
378. Kth Smallest Element in a Sorted Matrix
502. IPO
位运算
数组中数字出现的次数 II
数组中数字出现的次数
格雷编码
回溯/递归
回溯模板
组合总和
组合总和 II
全排列
全排列 II
组合
子集
子集 II
单词搜索
51. N-Queens
单词拆分
单词拆分 II （递归中非常重要的一点！强调
为运算表达式设计优先级/ 对表达式添加括号并求值
394. Decode String
图
133. Clone Graph
399. Evaluate Division
课程表
课程表 II
岛屿数量
909. Snakes and Ladders
433. Minimum Genetic Mutation
127. Word Ladder
310. Minimum Height Trees
834. Sum of Distances in Tree
743. Network Delay Time
1631. Path With Minimum Effort
Trie
208. Implement Trie (Prefix Tree)
211. Design Add and Search Words Data Structure
python小知识点运用
最大数–sort的key=cmp_to_key写法
辗转相除法
字符串的最大公因子—辗转相除法
直线上最多的点数
计数质数
非常规题
概率问题见 machine_learning 概率论
用小随机数生成大随机数
超多数字，从中找出只出现过一次的数字
海量数据处理面试题
KMP
用pytorch手写逻辑回归
lc 题型归类/模板
二分查找
模板
注意点
例题
变体
需要维护一个队列/单调栈
注意点
例题
滑动窗口
模板
例题
二叉树
前中后序遍历
递归
前中后序遍历
迭代
层次遍历
二叉搜索树 Binary Search Tree
动态规划
前缀和
01背包
编辑距离
区间问题
合并区间
矩阵/二维数组
四种翻转方法
链表
前置学习内容
例题
堆
回溯/递归
回溯模板
例题
图
课程表
Trie
一些零散记录
一些零散记录
一些学习资料
一些易忘的小代码
生成a到z，判断是否是数字，判断是否是字母
大写字母和小写字母的转换
python的正无穷和负无穷
defaultdict
dict.get
lambda
sort
re正则
enumerate
zip
map
tuple元组: list不能当字典里的key的时候
stack栈、queue队列、heap堆
*arg与**kwargs参数的用法
any / all
eval
path + [cur]
零碎
ReadtheDocs、Sphinx、rst文件
tmux的使用
Linux中查看进程状态信息
哈希表的原理
生成器和迭代器
Python垃圾回收
详解可变、不可变数据类型+引用、深|浅拷贝
python 常用的 string format 形式
linux 操作系统一些命令
pytorch，DDP(DistributedDataParallel)
几个坑的地方要特别注意：
排序问题
选择排序
希尔排序
归并排序
堆排序(Heap Sort)
基数排序
快速排序
稳定性
稳定性的用处
初始状态的影响
topK 问题
python下划线
TF-IDF的计算
多进程代码示例
一些经典网络代码实现
SE-net
pandas和numpy
职业发展
个税申报
投资理财
面试总结
面试-基础
总结一下面试教训
这次北美找工作的经验
笔试做题和面试做题
拿到offer之后需要问的问题
System Design
Consistent Hashing 一致性哈希
Behavior Questions
MLE/AS 面试
参考资料
coding
ML design
ML knowledge
欠缺需补
knowledge_record
索引
索引