ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

【深度学习】杂记

2021-04-06 18:03:13  阅读:248  来源: 互联网

标签:https whl torch 学习 pytorch 杂记 install 深度 pip


中文NLP资源库:https://github.com/fighting41love/funNLP

语言开放典藏社区:https://languageresources.github.io/

百度大脑语料库:https://ai.baidu.com/broad/download

文本分类算法:SVM KNN(k-NearestNeighbor), 朴素贝叶斯(Native Bayes,NB),决策树(Decision Tree) 和 Rocchio

2020.5.10
terminnal
1..python 查看python版本信息 一定不要最新版本,因为可能不兼容3.7.6 pip 20.1
2.pip install --upgrade pip 更新pip
3.python -m pip install --upgrade pip
4.File ->settings->project :wgy_code->Project interpreter 项目解释器 点击➕可以添加库
下面的Manage Repositories 可以添加新的代里比如清华镜像源https://pypi.tuna.tsinghua.edu.cn/simple/
5.pytorch官网pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
的下载命令
下载过程中会出现中断问题vpn要使用上
Looking in links: https://download.pytorch.org/whl/torch_stable.html
Collecting torch==1.5.0+cu101
Downloading https://download.pytorch.org/whl/cu101/torch-1.5.0%2Bcu101-cp37-cp37m-win_amd64.whl (858.0MB)
0% | | 1.7MB 12kB/s eta 18:24:20
出现下载不动的情况可以先复制链接到迅雷然后下载,下载之后whl文件可以用pip

6.pip install numpy numpy是机器学习重要的包必须要下载,下载不动可以从清华镜像源添加
7.在pycharm 的terminnal终端可以输入cd ..返回目录上一层
第5步下载的torch库记住路径在这使用命令安装
pip install "torch-1.5.0+cu101-cp37-cp37m-win_amd64.whl"
pip install torch(按下tab键自动匹配)

8.多次输入官网复制的指令pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html
查看还有什么没下全,接下来复制链接到迅雷下载,或者使用清华镜像原加入,
最后就安装成功了

2020/9/23
pip install --upgrade pip
pip install -r requirements.txt
pip install -r --user requirements.txt
python -m pip install -r requirements.txt
error:No matching distribution found for torch==1.4.0 (from -r requirements.txt (line 1))
python -m pip install -r requirements.txt
因为我的python37权限有问题,删除了
安装conda
conda create py36 python=3.6
报了错误An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.
'http://mirrors.tuna,tsinghua.edu.cn/anaconda/cloud/pytorch/win-64'有个逗号
conda config --show channels显示所有channel
发现有错误网址
conda config --remove channels http://mirrors.tuna,tsinghua.edu.cn/anaconda/cloud/pytorch/win-64
conda create -n py36 python=3.6

python
Python 3.8.3 (default, Jul 2 2020, 17:30:36) [MSC v.1916 64 bit (AMD64)]
conda activate py36
进入py3.6模式
(py36) D:\python\wgy_code\GP-GNN>pip install torch===1.6.0 torchvision===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
Looking in links: https://download.pytorch.org/whl/torch_stable.html
在py36模式下对应代码路径中安装pytorch
conda deactivate

 

下载NLTK送的语料库

C:\Users\94302\AppData\Roaming\nltk_data\corpora

 

shell命令行中
# 激活 anaconda 环境
source activate
# 退出 anaconda 环境
source deactivate

 

我的电脑常用虚拟环境版本:

cuda 10.2.123
torch 1.6

 

使用Git维护Github库:

git add REMADE.md 添加到缓冲区
git status
git commit -m "你的信息"
git remote add origin https://github.com/SteinGate0/git-tutorial.git
git remote -v
git push -u origin main 推送 远端的链接和分支名字

 

语料的相关问题:

编者注:这里cased和uncased的意思是在进行WordPiece分词之前是否区分大小写。
uncased表示全部会调整成小写,且剔除所有的重音标记;
cased则表示文本的真实情况和重音标记都会保留下来。

 

服务器中部分显示详情的命令:

screen -ls
screen -r -d wgy
nvidia-smi

 

Jupyter notebook部分常用命令“

jupyter notebook shift+tab可以参看默认参数
蓝色代表命令模式,按x剪切,按d删除,按z恢复,按回车切换到编辑模式
绿色代表编辑模式,按esc表示切换到命令模式,

代码块按下M键,变成markdown单元格
按下Y变成代码单元格

命令模式按B键可以在下方创建代码块,按A在上方创建 below/above
crtl+回车,只运行当前代码块
alt+回车,执行当前代码块并在下方新建代码块
shift+v可以粘贴当前代码块

对于多行代码按L可以给代码标行数
C复制单元格 V可以复制一个新的单元格

 

Google Colab

 

找论文代码看
https://paperswithcode.com/sota
https://dblp.uni-trier.de/

 

.detach()脱离 将此计算节点和之前的计算阶段断开,做bp时,回溯到此步,只计算此步之后的梯度

 

F1计算过程中的问题:

FN:False Negative,被判定为负样本,但事实上是正样本。
FP:False Positive,被判定为正样本,但事实上是负样本。
TN:True Negative,被判定为负样本,事实上也是负样本。
TP:True Positive,被判定为正样本,事实上也是证样本

标签:https,whl,torch,学习,pytorch,杂记,install,深度,pip
来源: https://www.cnblogs.com/Harukaze/p/14623028.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有