关于谷歌官方tensorflow object detection API的内存使用问题 [问题点数:50分]

Bbs1
本版专家分:0
结帖率 50%
(Tensorflow之二十三)BATCH_SIZE的计算方法以及取值方法
一、BATCH_SIZE对计算参数的影响BATCH_SIZE的主要影响到loss以及反向传播时的递度计算;在同一批次的训练中,loss及反向传播梯度为单个loss及反向传播递度的平均值。二、BATCH_SIZE选取当BATCH_SIZE过小例,当BATCH_SIZE为1时,相邻的两个样本之间差异非常大,则会使梯度值过大,导致始终无法收敛; 当BATCH_SIZE过大一方面,计算机<em>内存</em>消耗大,可以无
tensorflow gpu训练objectdetectionapi 卡住不动了 gpu占满利用率0是什么原因
<em>tensorflow</em> gpu训练<em>object</em><em>detection</em>api 卡住不动了 gpu占满利用率0是什么原因
bazel编译tensorflow 遇到的各种问题(tensorflow模型量化压缩)
1/<em>tensorflow</em>源码版本<em>问题</em>。一开始下载的源码中发现没有<em>tensorflow</em>/contrib/quantization/tools:quantize_graph, 然后下载了<em>tensorflow</em>1.7.1 2/bazel版本<em>问题</em>。bazel build <em>tensorflow</em>/tools/quantization:quantize_graph执行报错Config value opt is ...
使用bazel从源代码编译tensorflow踩坑记录
文章目录
Tensorflow 源码分析-  从GPU OOM开始说Tensorflow的BFC内存管理
前言在平台上跑GPU训练,结果CUDA OOM了,错误提示E Internal: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimary CtxRetain: CUDA_ERROR_OUT_OF_MEMORY; total memory repor...
failed call to cuDevicePrimaryCtxRetain:CUDA_ERROR_INVALID_DEVICE
错误如下: 错误原因:利用CPU版本的<em>tensorflow</em>时调用了cuda,可能是因为服务器行装了cuda及cudnn 解决方案: 在脚本的开头添加如下代码: import os os.environ["CUDA_VISIBLE_DEVICES"]="-1" ...
tensorflow多GPU多进程占用问题
<em>问题</em>描述: import <em>tensorflow</em>之后, train model时报错; 报错信息:Internal: failed initializing StreamExecutor for CUDA device ordinal 3: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY; tot...
tensorflow 内存泄漏、内存不足
<em>tensorflow</em><em>内存</em>泄露
实现Tensorflow官方API的过程及遇到的坑
最近开始搞深度学习中的图像处理,首先想着实现一下Tensorflow<em>官方</em>给出的<em>API</em>,实现过程中遇到了不少的坑,最后终于实现了,总结一下,供大家参考。一、搭建环境        本来信心满满的想安装GPU版的Tensorflow,装完之后发现自己电脑的显卡型号并不支持,只好安装CPU版的了。        win10、Anaconda 3、Tensorflow 1.8二、下载Tensorflow官...
tensorflow内存暴涨问题
在用<em>tensorflow</em>实现一些模型的时候,有时候我们在运行程序的时候,会发现程序占用的<em>内存</em>在不断增长。最后<em>内存</em>溢出,程序被kill掉了。 这个<em>问题</em>,其实有两个可能性。一个是比较常见,同时也是很难发现的。这个<em>问题</em>的解决,需要我们知道<em>tensorflow</em>在构图的时候,是没有所谓的临时变量的,只要有operator。那么<em>tensorflow</em>就会在构建的图中增加这个operator所代表的节点。所以,...
解决tensorflowAPI训练模型出现的几个
参考了https://blog.csdn.net/csdn_6105/article/details/82933628博主的总结,在此感谢 1.数据准备,转换成TFR格式 2.开始训练,常见错误会有以下几个: (1)TypeError: can’t pickle dict_values <em>object</em>s” 这时需要打开main_lib.py,一般在413-414行,修改为如下,加list eval_...
TensorFlow Java API 学习笔记
之前写过一篇TensorFlow Java 环境的搭建 TensorFlow Java+eclipse下环境搭建,今天看看TensorFlow Java <em>API</em> 的简单说明 和操作。 TensorFlow是什么 由 Google 开源,是一个深度学习库, 是一套<em>使用</em>数据流图 (data flow graphics)进行数据计算的软件库(software library) 和应用接口(<em>API</em>),并以...
tensorflow 如何限制显存大小
  Python在用GPU跑模型的时候最好开多进程,因为很明显这种任务就是计算密集型的。   用进程池好管理,但是<em>tensorflow</em>默认情况会最大占用显存,尽管该任务并不需要这么多,因此我们可以设置显存的按需获取,这样程序就不会死掉了。 1. 按比例预留: tf_config = <em>tensorflow</em>.ConfigProto() tf_config.gpu_opti...
请问tensorflow如何查看一个神经网络运行时所占用的内存大小?
<em>tensorflow</em>有没有专门的函数可以查看神经网络运行时所占用的<em>内存</em>,如果没有的话有什么方法可以查看呢? 跪求大佬们的指导
利用tensorflow时gpu显存、利用率等的查看且预估
深度学习中 GPU 和显存分析 浅谈深度学习:如何计算模型以及中间变量的显存占用大小 <em>使用</em>Tensorflow或Keras时对GPU<em>内存</em>限制 <em>tensorflow</em> 多GPU编程 完全指南 <em>tensorflow</em>显存不够<em>使用</em>如何解决(windows系统) ...
TensorFlow Object Detection API 使用多个GPU
1.修改配置(faster_rcnn_resnet101.config): batch_size: 2 2.添加运行参数: --num_clones=2 --ps_tasks=1 CUDA_VISIBLE_DEVICES=0,1 python <em>object</em>_<em>detection</em>/train.py \ --logtostderr \ --pipeline_config_...
Google深度学习目标检测API模型比较
<em>谷歌</em>最新推出了一个目标检测<em>API</em>,其中利用经典的目标检测模型Faster-rcnn,SSD以及RFCN,并且选用了不同的CNN如resnet101,resnet-v2,mobilenet以及inceptionv2,训练了5个目标检测的模型。github地址如下。 Google目标检测<em>API</em> 为了在自己的项目中应用目标检测,实时性以及准确性的要求比较高,虽然<em>官方</em>给出了一个比较的列表如下: 但是
Windows10下使用object detection api遇到的问题
<em>使用</em><em>object</em> <em>detection</em> api遇到的<em>问题</em> 我<em>使用</em>的软件环境及其容易遇到的坑: Win10,gtx1060,python 3.6.8,cuda 9.2,cudnn 7.5.1.10,vs2015,<em>tensorflow</em>=&gt;1.12(必须),anconda,pycharm 基本按照官网给出的配置安装环境即可 不过有些包的版本<em>问题</em>可能会引起许多坑,如编译<em>问题</em>,版本不匹配等<em>问题</em> 主要是其...
Tensorflow+GPU做物体检测,CPU和内存都高占用?
如题, 我在用Tensorflow Object Detection做物体检测的时候, 用mobilenetV1模型, 然后在session运行的时候发现占用的CPU很高, i7的占到了80%, 很不解用到CPU做了什么, 请大神解答...
利用TensorFlow Object Detection API的mask-rcnn模型 训练自己的样本数据集
之前写过TensorFlow Object Detection <em>API</em>的部署方法,如何用样本标定工具标定自己的样本数据,以及用<em>tensorflow</em>/kereas版本mask-rcnn进行训练。 本文记录如何用 TensorFlow Object Detection <em>API</em> 和 <em>tensorflow</em>的预训练模型训练自己的样本。 目录 准备工作: 将标定样本生成为.record格式文件 转换代...
《TensorFlow实战Google深度学习框架》API整理(一)
最近在学习深度学习的相关知识,建议将学习吴恩达老师深度学习视频与学习《TensorFlow实战Google深度学习框架》一书结合起来交错进行。同时推荐一个学习吴恩达老师深度学习的GitHub地址,能够方便地对授课内容进行回顾总结,https://github.com/fengdu78/deeplearning_ai_books。这一系列笔记,主要是对《TensorFlow实战Google深度学习框...
GoogLeNet系列解读
本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1 Motivation Architectural Details GoogLeNet Conclusion GoogLeNet Inception V2 Introduction General Design Principles Factorizi
Tensorflow Object Detection API生成自己的mask_rcnn数据集
我<em>使用</em>的是labelme标注的json文件,简略版格式如下(主要就用了json文件中的这几个值) {"fillColor": [255, 0, 0, 128], "flag": {}, "imageData": "imagedata", "shapes": [{"points": [[236, 974], [244, 919], [268, 869], [297, 861], [341...
解决Tensorflow使用CPU而不用GPU的问题
 之前的文章讲过用Tensorflow的<em>object</em> <em>detection</em> api训练MobileNetV2-SSDLite,然后发现训练的时候没有利用到GPU,反而CPU占用率贼高(可能会有Could not dlopen library 'libcudart.so.10.0'之类的警告)。经调查应该是Tensorflow的GPU版本跟服务器所用的cuda及cudnn版本不匹配引起的。知道<em>问题</em>所在...
tensorflow object detection API multi-GPU采坑
<em>tensorflow</em> <em>object</em> <em>detection</em> <em>API</em> <em>使用</em>总结: 1. faster-rcnn 训练 训练脚本: python train.py \ --logtostderr \ --pipeline_config_path=&amp;amp;quot;PATH WHERE CONFIG FILE RESIDES&amp;amp;quot; \ --train_dir=&amp;amp;quot;PATH WHERE MODEL DIRECTORY RESIDE...
在训练Tensorflow模型(object_detection)时,训练在第一次评估后退出,怎么使训练继续下去?
当我进行ssd模型训练时,训练进行了10分钟,然后进入评估阶段,评估之后程序就自动退出了,没有看到误和警告,这是为什么,怎么让程序一直训练下去? 训练命令: ``` python <em>object</em>_<em>detection</em>/model_main.py --pipeline_config_path=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/pipeline.config --model_dir=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/saved_model --num_train_steps=50000 --alsologtostderr ``` 配置文件: ``` training exit after the first evaluation(only one evaluation) in Tensorflow model(<em>object</em>_<em>detection</em>) without error and waring System information What is the top-level directory of the model you are using:models/research/<em>object</em>_<em>detection</em>/ Have I written custom code (as opposed to using a stock example script provided in TensorFlow):NO OS Platform and Distribution (e.g., Linux Ubuntu 16.04):Windows-10(64bit) TensorFlow installed from (source or binary):conda install <em>tensorflow</em>-gpu TensorFlow version (use command below):1.13.1 Bazel version (if compiling from source):N/A CUDA/cuDNN version:cudnn-7.6.0 GPU model and memory:GeForce GTX 1060 6GB Exact command to reproduce:See below my command for training : python <em>object</em>_<em>detection</em>/model_main.py --pipeline_config_path=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/pipeline.config --model_dir=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/saved_model --num_train_steps=50000 --alsologtostderr This is my config : train_config { batch_size: 24 data_augmentation_options { random_horizontal_flip { } } data_augmentation_options { ssd_random_crop { } } optimizer { rms_prop_optimizer { learning_rate { exponential_decay_learning_rate { initial_learning_rate: 0.00400000018999 decay_steps: 800720 decay_factor: 0.949999988079 } } momentum_optimizer_value: 0.899999976158 decay: 0.899999976158 epsilon: 1.0 } } fine_tune_checkpoint: "D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/model.ckpt" from_<em>detection</em>_checkpoint: true num_steps: 200000 train_input_reader { label_map_path: "D:/gitcode/models/research/<em>object</em>_<em>detection</em>/idol/tf_label_map.pbtxt" tf_record_input_reader { input_path: "D:/gitcode/models/research/<em>object</em>_<em>detection</em>/idol/train/Iframe_??????.tfrecord" } } eval_config { num_examples: 8000 max_evals: 10 use_moving_averages: false } eval_input_reader { label_map_path: "D:/gitcode/models/research/<em>object</em>_<em>detection</em>/idol/tf_label_map.pbtxt" shuffle: false num_readers: 1 tf_record_input_reader { input_path: "D:/gitcode/models/research/<em>object</em>_<em>detection</em>/idol/eval/Iframe_??????.tfrecord" } ``` 窗口输出: (default) D:\gitcode\models\research>python <em>object</em>_<em>detection</em>/model_main.py --pipeline_config_path=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/pipeline.config --model_dir=D:/gitcode/models/research/<em>object</em>_<em>detection</em>/ssd_mobilenet_v1_coco_2018_01_28/saved_model --num_train_steps=50000 --alsologtostderr WARNING: The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: https://github.com/<em>tensorflow</em>/community/blob/master/rfcs/20180907-contrib-sunset.md https://github.com/<em>tensorflow</em>/addons If you depend on functionality not listed there, please file an issue. WARNING:<em>tensorflow</em>:Forced number of epochs for all eval validations to be 1. WARNING:<em>tensorflow</em>:Expected number of evaluation epochs is 1, but instead encountered eval_on_train_input_config.num_epochs = 0. Overwriting num_epochs to 1. WARNING:<em>tensorflow</em>:Estimator's model_fn () includes params argument, but params are not passed to Estimator. WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>tensorflow</em>\python\framework\op_def_library.py:263: colocate_with (from <em>tensorflow</em>.python.framework.ops) is deprecated and will be removed in a future version. Instructions for updating: Colocations handled automatically by placer. WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>object</em>_<em>detection</em>-0.1-py3.7.egg\<em>object</em>_<em>detection</em>\builders\dataset_builder.py:86: parallel_interleave (from <em>tensorflow</em>.contrib.data.python.ops.interleave_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.experimental.parallel_interleave(...). WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>object</em>_<em>detection</em>-0.1-py3.7.egg\<em>object</em>_<em>detection</em>\core\preprocessor.py:196: sample_distorted_bounding_box (from <em>tensorflow</em>.python.ops.image_ops_impl) is deprecated and will be removed in a future version. Instructions for updating: seed2 arg is deprecated.Use sample_distorted_bounding_box_v2 instead. WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>object</em>_<em>detection</em>-0.1-py3.7.egg\<em>object</em>_<em>detection</em>\builders\dataset_builder.py:158: batch_and_drop_remainder (from <em>tensorflow</em>.contrib.data.python.ops.batching) is deprecated and will be removed in a future version. Instructions for updating: Use tf.data.Dataset.batch(..., drop_remainder=True). WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>tensorflow</em>\python\ops\losses\losses_impl.py:448: to_float (from <em>tensorflow</em>.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>tensorflow</em>\python\ops\array_grad.py:425: to_int32 (from <em>tensorflow</em>.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. 2019-08-14 16:29:31.607841: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1433] Found device 0 with properties: name: GeForce GTX 1060 6GB major: 6 minor: 1 memoryClockRate(GHz): 1.7845 pciBusID: 0000:04:00.0 totalMemory: 6.00GiB freeMemory: 4.97GiB 2019-08-14 16:29:31.621836: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu devices: 0 2019-08-14 16:29:32.275712: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:984] Device interconnect StreamExecutor with strength 1 edge matrix: 2019-08-14 16:29:32.283072: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:990] 0 2019-08-14 16:29:32.288675: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1003] 0: N 2019-08-14 16:29:32.293514: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 4714 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1060 6GB, pci bus id: 0000:04:00.0, compute capability: 6.1) WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>object</em>_<em>detection</em>-0.1-py3.7.egg\<em>object</em>_<em>detection</em>\eval_util.py:796: to_int64 (from <em>tensorflow</em>.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>object</em>_<em>detection</em>-0.1-py3.7.egg\<em>object</em>_<em>detection</em>\utils\visualization_utils.py:498: py_func (from <em>tensorflow</em>.python.ops.script_ops) is deprecated and will be removed in a future version. Instructions for updating: tf.py_func is deprecated in TF V2. Instead, use tf.py_function, which takes a python function which manipulates tf eager tensors instead of numpy arrays. It's easy to convert a tf eager tensor to an ndarray (just call tensor.numpy()) but having access to eager tensors means tf.py_functions can use accelerators such as GPUs as well as being differentiable using a gradient tape. 2019-08-14 16:41:44.736212: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu devices: 0 2019-08-14 16:41:44.741242: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:984] Device interconnect StreamExecutor with strength 1 edge matrix: 2019-08-14 16:41:44.747522: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:990] 0 2019-08-14 16:41:44.751256: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1003] 0: N 2019-08-14 16:41:44.755548: I <em>tensorflow</em>/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 4714 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1060 6GB, pci bus id: 0000:04:00.0, compute capability: 6.1) WARNING:<em>tensorflow</em>:From C:\Users\qian\Anaconda3\envs\default\lib\site-packages\<em>tensorflow</em>\python\training\saver.py:1266: checkpoint_exists (from <em>tensorflow</em>.python.training.checkpoint_management) is deprecated and will be removed in a future version. Instructions for updating: Use standard file <em>API</em>s to check for files with this prefix. creating index... index created! creating index... index created! Running per image evaluation... Evaluate annotation type bbox DONE (t=2.43s). Accumulating evaluation results... DONE (t=0.14s). Average Precision (AP) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.287 Average Precision (AP) @[ IoU=0.50 | area= all | maxDets=100 ] = 0.529 Average Precision (AP) @[ IoU=0.75 | area= all | maxDets=100 ] = 0.278 Average Precision (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000 Average Precision (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.031 Average Precision (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.312 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 1 ] = 0.162 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets= 10 ] = 0.356 Average Recall (AR) @[ IoU=0.50:0.95 | area= all | maxDets=100 ] = 0.356 Average Recall (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000 Average Recall (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.061 Average Recall (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.384 (default) D:\gitcode\models\research>
tensorflow 运行时内存持续增长(溢出)
     <em>tensorflow</em> 训练部分代码几乎都采用循环,如果在循环中用到tf的op操作,就会导致节点越来越多,图的大小也不停的增大,故而<em>内存</em>会持续增长常见情况有几种1、sess.run(a+b)      写成sess.run(add_a_b)最好2、tf.train.Saver()    保存模型时候,不要直接写tf.train.Saver().save()/restore(),这样也会导致...
TensorFlow计算模型速度慢怎么破
各位大佬大牛们,初学TensorFlow: TF的模型计算在虚拟机上测试运行计算速度较慢 在执行: cls_prob, box_pred = sess.run(, feed_dict={input_i
全网最详细win10+anaconda+GPU+Tensorflow Object Detection API训练自己数据+新手教程+训练过程问题解决
参考链接: anaconda安装gpu-<em>tensorflow</em> <em>tensorflow</em> 在windows 下<em>使用</em>gpu 超详细的目标识别api训练教程 软硬件配置: cpu i7-6700hq -2.6GHz gpu gtx960M <em>内存</em>8G windows10操作系统 anaconda3,python3.5 cuda8.0 cudnn6.0 总效果: 输入一张图片(一...
运行 Tensorflow object_detection API - 例子
在 Object Detection <em>API</em> 的示例代码中包含了一个训练识别宠物的 Demo,包括数据集和相应的一些代码。虽然本课程中我们会自己准备数据和脚本来进行训练,但是在这之前还需要安装一些库、配置一下环境。在配置完成之后,运行一下这个训练宠物的 Demo,以便检查环境配置是否 OK,同时对训练过程先有个整体的了解,然后再准备自己的数据和训练脚本。 请确保已经安装好了 Python 2.7-...
TensorFlow Object Detection API 多GPU 卡平行计算,加速模型训练速度教学
本篇记录如何<em>使用</em>多张GPU 显示卡,加速TensorFlow Object Detection <em>API</em> 模型训练的过程。 虽然TensorFlow Object Detection <em>API</em> 已经有支援多张GPU 卡平行计算的功能,但是缺乏说明文件,所以我自己也不是非常确定该怎么用,以下只是我目前尝试出来的方式,仅供参考。 这里我们接续之前的TensorFlow Object Detectio...
深入理解卷积与模型大小问题,解决显存不足
目录 前言: GPU基础知识 卷积神经网络参数 参数的显存占用 梯度与动量的显存占用 输入输出的显存占用 节省显存的方法 减少卷积层的计算量 常用模型 显存/计算复杂度/准确率 建议 前言: 在训练自己的模型时常常出现显存不足等<em>问题</em>,这个时候我们常用的方法就是调参。一般常用的方法有以下几点: 模型压缩 网络参数调整,比如减小训练图像大小,降低FC output个数,使...
TensorFlow 显存使用机制
默认情况下,TensorFlow 会映射进程可见的所有 GPU 的几乎所有 GPU <em>内存</em>(取决于 CUDA_VISIBLE_DEVICES)。通过减少<em>内存</em>碎片,可以更有效地<em>使用</em>设备上相对宝贵的 GPU <em>内存</em>资源。 在某些情况下,最理想的是进程只分配可用<em>内存</em>的一个子集,或者仅根据进程需要增加<em>内存</em><em>使用</em>量。 TensorFlow 在 Session 上提供两个 Config 选项来进行控制。 (1)...
Ubuntu 16.04下安装TensorFlow Object Detection API(对象检测API)
TensorFlow对象检测<em>API</em>是一个建立在TensorFlow之上的开源框架,可以轻松构建,训练和部署对象检测模型。 github地址下载TensorFlow Model模型库TensorFlow 模型库包含了很多开源的模型,包括图像分类、检测、自然语言处理NLP、视频预测、图像理解等等,我们要学习的对象检测API也包括在这里面,可以用git checkout到本地,也可以直接在github下...
TensorFlow Object Detection API 超详细教程和踩坑过程(数据准备和训练)
1.准备数据     <em>object</em> <em>detection</em>的数据是需要tfrecord格式的,但是一般我们还是先制作voc格式的数据更加方便。     1.voc格式数据的准备:github上下载一个label-img:      然后选择VOC格式,开始漫长的数据标注过程,标注之后的数据会多一个xml文档,一般在标注之前就按照VOC2012的标准建立文件,你可以去下载VOC2012数...
使用tensorflow object_detection API训练自己的数据遇到的问题及解决方法
1.Windows下出现找不到<em>object</em>_<em>detection</em>包的<em>问题</em>。 解决方法   在Anaconda3\soft\Lib\site-packages新建一个pth文件,将PedestrianDetection文件夹和slim文件夹路径写入。 2.训练中出现的<em>问题</em> ① raise ValueError('First step cannot be zero.')ValueError: F...
Tensorflow-gpu 显存不会自动释放?
在jupyter上跑with tf.Session() as sess语句结束后,电脑变得很卡,打开任务管理器 显存占用3.2G,点了restart显存才能释放,我显存4G的,这是什么原因?为什么教学视频中用cpu 没这个<em>问题</em>
Tensorflow object detection API 源码阅读笔记:Mask R-CNN
"""The ground-truth label is 1 if the anchor is positive, and is 0 if the anchor is negative. An anchor is labeled as positive if: (a) the anchor is the one with highest IoU overlap with a ground-tru
Tensorflow 释放内存
我在做<em>tensorflow</em>开发的时候遇到如下的错误,我请教了深度学习社区q群中的大神,大神说这是运算图还在<em>内存</em>中,没有及时释放,需要restart一下kernel,但是由于我的代码不能停止执行,所以没办法用重新运行代码来解决释放<em>内存</em>运行图的<em>问题</em>。<em>问题</em>:with tf.Session() as sess:saver = tf.train.Saver() #保存运算图当我退出with并且立马执行se...
tensorflow内存问题
<em>tensorflow</em>在训练时默认占用所有GPU的显存,提示<em>内存</em>已满! 1. 动态分配<em>内存</em> 当allow_growth设置为True时,分配器将不会指定所有的GPU<em>内存</em>,而是根据需求增长 config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config) ...
[图解tensorflow源码] [转载] tensorflow设备内存分配算法解析 (BFC算法)
转载自http://weibo.com/p/1001603980563068394770 @ICT_吴林阳 <em>tensorflow</em>设备<em>内存</em>管理模块实现了一个best-fit with coalescing算法(后文简称bfc算法)。bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本。它具有<em>内存</em>分配、释放、碎片管理等基本功能。 关于dlmal...
FastMaskRCNN算法TensorFlow配置,训练
打开./libs/datasets/pycocotools,执行make 下载COCO数据集,放到./data目录下,格式如下 ./data ./coco ./annotations ./train2014 ./val2014 下载链接:train2014:http://msvocds.blob.core.windows.net/coco2014/train2014.zip v
目标检测 - Tensorflow Object Detection API
一. 找到最好的工具       “工欲善其事,必先利其器”,如果你想找一个深度学习框架来解决深度学习<em>问题</em>,TensorFlow 就是你的不二之选,究其原因,也不必过多解释,看过其优雅的代码架构和工程化实现之后,相信这个<em>问题</em>不会有人再提,这绝非 Caffe an so on 所能比拟的。       回到题头 - 目标检测,相信你一定看过这篇 Paper: Speed/accuracy trade
TensorFlow Object Detection API 实践
原文地址:https://mp.weixin.qq.com/s/eN41M1sMLxvQMEl0IhyC9w 官网地址: https://github.com/<em>tensorflow</em>/models/tree/master/research/<em>object</em>_<em>detection</em>1、<em>API</em>安装TF Object Detection <em>API</em> 安装步骤。 获取 TensorFlow Models 源码:#
有人开源了Mask R-CNN对象检测和分割的Keras和TensorFlow代码
有人在github上发布了何凯明的Mask R-CNN目标检测和对象分割Keras和TensorFlow的实现代码。这个实现基于Python 3、Keras和TensorFlow。模型对图片中的每个对象实例生成包围框(bounding boxes)和分割掩膜(segmentation masks)。基于特征金字塔网络(FPN)和ResNet101的主干(backbone)。 这个giuhub仓
Tensorflow Object Detection之Mask R-CNN
Tensorflow的目标检测<em>API</em>中除了提供基本的目标检测之外还提供了物体的实例分割。<em>API</em>中提供的实例分割算法是Mask R-CNN,网上很多关于该算法的讲解,这里就不献丑了,直接看看如何<em>使用</em>,上代码: import numpy as np import os import six.moves.urllib as urllib import sys import tarfil...
Tensorflow Mask-RCNN(二)——非实时 检测视频
代码参考:https://github.com/Tony607/colab-mask-rcnn具体安装请见上一篇博客分两步走:①把下载好的视频变成一帧一帧的,对每一帧进行<em>detection</em>,把框,label,scores都标在图上,保存成图片② 把保存好的一帧一帧的图片,合成视频有些同学可能不太懂怎么获取摄像头下面的代码是一个小demo——如何获取摄像头或者获取本地视频,并显示在当前窗口上impo...
Tensorflow Object Detection API之MaskRCNN-数据处理篇
TensorFlow官网介绍:Run an Instance Segmentation Model 要求将数据处理为PNG Instance Segmentation Masks格式 以下部分为处理单张Mask图片的方式: from PIL import Image, ImageDraw import io import numpy as np mask = Image.open('1a22ac5...
TensorFlow 报错 failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_INVALID_DEVICE
今天<em>使用</em>python virtualenv安装TensorFlow gpu版,一直报错 各种配置版本按官网来的https://www.<em>tensorflow</em>.org/ cuda8.0 cudnn5.1 错误如下 2017-06-16 13:53:53.632070: W <em>tensorflow</em>/stream_executor/cuda/cuda_driver.cc:523] A non-pri
请问tensorflow中程序运行完如何释放显存
在网上没检索到相关的代码。 已经掌握按比例/按需显存管理,现在想让模型在运行结束后自动释放显存,qing'wen'you'shen'me'ban'fa
TensorFlow内存管理bfc算法
1. 基本介绍 <em>tensorflow</em>设备<em>内存</em>管理模块实现了一个best-fit with coalescing算法(后文简称bfc算法)。 bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本。 它具有<em>内存</em>分配、释放、碎片管理等基本功能。 2. bfc基本算法思想1. 数据结构 整个<em>内存</em>空间由一个按基址升序排列的Chunk双向链表来表示,它们的直接前趋和后继必须在
tensorflow训练时内存持续增加并占满
记录一次小白的<em>tensorflow</em>学习过程,也为有同样困扰的小白留下点经验。先说我出错和解决的过程。在做风格迁移实验时,<em>使用</em>预加载权重的VGG19网络正向提取中间层结果,结果因为代码不当,在遍历图片提取时<em>内存</em>持续增长,导致提取几十个图片的特征<em>内存</em>就满了。原因是在对每一张图片正向传播结束后,都会在留下中间信息。具体地说是在我将正向传播的代码与模型的代码分离了,在每次遍历图片时都会正向传播,在tens...
tensorFlow分布式内存消耗OOM
https://stackoverflow.com/questions/51175837/<em>tensorflow</em>-runs-out-of-memory-while-computing-how-to-find-memory-leaks/51183870#51183870 https://github.com/<em>tensorflow</em>/<em>tensorflow</em>/issues/15518
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私有的数
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考<em>官方</em>文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个<em>问题</em>我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个<em>问题</em>,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。 补充 有不少读者留言说本文章没有用,因为天气预报直接打开手机就可以收到了,为何要多此一举发送到邮箱呢!!!那我在这里只能说:因为你没用,所以你没用!!! 这里主要介绍的是思路,不是天气预报!不是天气预报!!不是天气预报!!!天气预报只是用于举例。请各位不要再刚了!!! 下面是我会用到的两个场景: 每日下
Python 植物大战僵尸代码实现(2):植物卡片选择和种植
这篇文章要介绍的是: - 上方植物卡片栏的实现。 - 点击植物卡片,鼠标切换为植物图片。 - 鼠标移动时,判断当前在哪个方格中,并显示半透明的植物作为提示。
死磕YOLO系列,YOLOv1 的大脑、躯干和手脚
YOLO 是我非常喜欢的目标检测算法,堪称工业级的目标检测,能够达到实时的要求,它帮我解决了许多实际<em>问题</em>。 这就是 YOLO 的目标检测效果。它定位了图像中物体的位置,当然,也能预测物体的类别。 之前我有写博文介绍过它,但是每次重新读它的论文,我都有新的收获,为此我准备写一个系列的文章来详尽分析它。这是第一篇,从它的起始 YOLOv1 讲起。 YOLOv1 的论文地址:https://www.c
知乎高赞:中国有什么拿得出手的开源软件产品?(整理自本人原创回答)
知乎高赞:中国有什么拿得出手的开源软件产品? 在知乎上,有个<em>问题</em>问“中国有什么拿得出手的开源软件产品(在 GitHub 等社区受欢迎度较好的)?” 事实上,还不少呢~ 本人于2019.7.6进行了较为全面的 回答 - Bravo Yeung,获得该<em>问题</em>下回答中得最高赞(236赞和1枚专业勋章),对这些受欢迎的 Github 开源项目分类整理如下: 分布式计算、云平台相关工具类 1.SkyWalk
记一次腾讯面试:进程之间究竟有哪些通信方式?如何通信? ---- 告别死记硬背
有一次面试的时候,被问到进程之间有哪些通信方式,不过由于之前没深入思考且整理过,说的并不好。想必大家也都知道进程有哪些通信方式,可是我猜很多人都是靠着”背“来记忆的,所以今天的这篇文章,讲给大家详细着讲解他们是如何通信的,让大家尽量能够理解他们之间的区别、优缺点等,这样的话,以后面试官让你举例子,你也能够顺手拈来。 1、管道 我们来看一条 Linux 的语句 netstat -tulnp | gr...
20行Python代码爬取王者荣耀全英雄皮肤
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅<em>使用</em>20行Python代码即可完成。 准备工作 爬取皮肤本身并不难,难点在于分析,我们首先得得到皮肤图片的url地址,话不多说,我们马上来到王者荣耀的官网: 我们点击英雄资料,然后随意地选择一位英雄,接着F12打开调试台,找到英雄原皮肤的图片
网络(8)-HTTP、Socket、TCP、UDP的区别和联系
TCP/IP协议是传输层协议,主要解决数据如何在网络中传输,而HTTP是应用层协议,主要解决如何包装数据。 一、TCP与UDP的不同 1. 是否需要建立连接。 UDP在传送数据之前不需要先建立连接;TCP则提供面向连接的服务; 2. 是否需要给出确认 对方的传输层在收到UDP报文后,不需要给出任何确认,而 TCP需要给出确认报文,要提供可靠的、面向连接的传输服务。 3.虽然UDP不提供可靠交...
简明易理解的@SpringBootApplication注解源码解析(包含面试提问)
欢迎关注文章系列 ,关注我 《提升能力,涨薪可待》 《面试知识,工作可待》 《实战演练,拒绝996》 欢迎关注我博客,原创技术文章第一时间推出 也欢迎关注公 众 号【Ccww笔记】,同时推出 如果此文对你有帮助、喜欢的话,那就点个赞呗,点个关注呗! 《提升能力,涨薪可待篇》- @SpringBootApplication注解源码解析 一、@SpringBootApplication 的作用是什
防劝退!数据结构和算法难理解?可视化动画带你轻松透彻理解!
大家好,我是 Rocky0429,一个连数据结构和算法都不会的蒟蒻… 学过数据结构和算法的都知道这玩意儿不好学,没学过的经常听到这样的说法还没学就觉得难,其实难吗?真难! 难在哪呢?当年我还是个小蒟蒻,初学数据结构和算法的时候,在忍着枯燥看完定义原理,之后想实现的时候,觉得它们的过程真的是七拐八绕,及其难受。 在简单的链表、栈和队列这些我还能靠着在草稿上写写画画理解过程,但是到了数论、图...
西游记团队中如果需要裁掉一个人,会先裁掉谁?
2019年互联网寒冬,大批企业开始裁员,下图是网上流传的一张截图: 裁员不可避免,那如何才能做到不管大环境如何变化,自身不受影响呢? 我们先来看一个有意思的故事,如果西游记取经团队需要裁员一名,会裁掉谁呢,为什么? 西游记团队组成: 1.唐僧 作为团队teamleader,有很坚韧的品性和极高的原则性,不达目的不罢休,遇到任何<em>问题</em>,都没有退缩过,又很得上司支持和赏识(直接得到唐太宗的任命,既给
开挂的人生!那些当选院士,又是ACM/IEEE 双料Fellow的华人学者们
昨日,2019年两院院士正式官宣,一时间抢占了各大媒体头条。 朋友圈也是一片沸腾,奔走相告,赶脚比自己中了大奖还嗨皮! 谁叫咱家导师就是这么厉害呢!!! 而就在最近,新一年度的IEEE/ACM Fellow也将正式公布。 作为学术届的顶级荣誉,不自然地就会将院士与Fellow作比较,到底哪个含金量更高呢? 学术君认为,同样是专业机构对学者的认可,考量标准不一,自然不能一概而论。 但...
聊聊C语言和指针的本质
坐着绿皮车上海到杭州,24块钱,很宽敞,在火车上非正式地聊几句。 很多编程语言都以 “没有指针” 作为自己的优势来宣传,然而,对于C语言,指针却是与生俱来的。 那么,什么是指针,为什么大家都想避开指针。 很简单, 指针就是地址,当一个地址作为一个变量存在时,它就被叫做指针,该变量的类型,自然就是指针类型。 指针的作用就是,给出一个指针,取出该指针指向地址处的值。为了理解本质,我们从计算机模型说起...
Python语言高频重点汇总
Python语言高频重点汇总 GitHub面试宝典仓库——点这里跳转 文章目录Python语言高频重点汇总**GitHub面试宝典仓库——点这里跳转**1. 函数-传参2. 元类3. @staticmethod和@classmethod两个装饰器4. 类属性和实例属性5. Python的自省6. 列表、集合、字典推导式7. Python中单下划线和双下划线8. 格式化字符串中的%和format9.
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观
代码详解:如何用Python快速制作美观、炫酷且有深度的图表
全文共12231字,预计学习时长35分钟生活阶梯(幸福指数)与人均GDP(金钱)正相关的正则图本文将探讨三种用Python可视化数据的不同方法。以可视化《2019年世界幸福报告》的数据为例,本文用Gapminder和Wikipedia的信息丰富了《世界幸福报告》数据,以探索新的数据关系和可视化方法。《世界幸福报告》试图回答世界范围内影响幸福的因素。报告根据对“坎特里尔阶梯<em>问题</em>”的回答来确定幸...
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个<em>问题</em>。其实不止是“烦不烦”,还有很多读者问过我类似这样的<em>问题</em>。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外
(经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路
今年正式步入了大四,离毕业也只剩半年多的时间,回想一下大学四年,感觉自己走了不少弯路,今天就来分享一下自己大学的学习经历,也希望其他人能不要走我走错的路。 (一)初进校园 刚进入大学的时候自己完全就相信了高中老师的话:“进入大学你们就轻松了”。因此在大一的时候自己学习的激情早就被抛地一干二净,每天不是在寝室里玩游戏就是出门游玩,不过好在自己大学时买的第一台笔记本性能并不是很好,也没让我彻底沉...
如何写一篇技术博客,谈谈我的看法
前言 只有光头才能变强。 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y 我一直推崇学技术可以写技术博客去沉淀自己的知识,因为知识点实在是太多太多了,通过自己的博客可以帮助自己快速回顾自己学过的东西。 我最开始的时候也是只记笔记,认为自己能看得懂就好。但如果想验证自己是不是懂了,可以写成技术博客。在写技术博客的...
字节跳动面试官这样问消息队列:分布式事务、重复消费、顺序消费,我整理了一下
你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群,欢迎Star和完善 前言 消息队列在互联网技术存储方面<em>使用</em>如此广泛,几乎所有的后端技术面试官都要在消息队列的<em>使用</em>和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸...
面试还搞不懂redis,快看看这40道面试题(含答案和思维导图)
Redis 面试题 1、什么是 Redis?. 2、Redis 的数据类型? 3、<em>使用</em> Redis 有哪些好处? 4、Redis 相比 Memcached 有哪些优势? 5、Memcache 与 Redis 的区别都有哪些? 6、Redis 是单进程单线程的? 7、一个字符串类型的值能存储最大容量是多少? 8、Redis 的持久化机制是什么?各自的优缺点? 9、Redis 常见性...
大学四年自学走来,这些珍藏的「实用工具/学习网站」我全贡献出来了
知乎高赞:文中列举了互联网一线大厂程序员都在用的工具集合,涉及面非常广,小白和老手都可以进来看看,或许有新收获。
互联网公司的裁员,能玩出多少种花样?
裁员,也是一门学问,可谓博大精深!以下,是互联网公司的裁员的多种方法:-正文开始-135岁+不予续签的理由:千禧一代网感更强。95后不予通过试用期的理由:已婚已育员工更有责任心。2通知接下来要过苦日子,让一部分不肯同甘共苦的员工自己走人,以“兄弟”和“非兄弟”来区别员工。3强制996。员工如果平衡不了工作和家庭,可在离婚或离职里二选一。4不布置任何工作,但下班前必须提交千字工作日报。5不给活干+...
【设计模式】单例模式的八种写法分析
网上泛滥流传单例模式的写法种类,有说7种的,也有说6种的,当然也不排除说5种的,他们说的有错吗?其实没有对与错,刨根问底,写法终究是写法,其本质精髓大体一致!因此完全没必要去追究写法的多少,有这个时间还不如跟着宜春去网吧偷耳机、去田里抓青蛙得了,一天天的....
《面试宝典》:检验是否为合格的初中级程序员的面试知识点,你都知道了吗?查漏补缺
欢迎关注文章系列,一起学习 《提升能力,涨薪可待篇》 《面试知识,工作可待篇》 《实战演练,拒绝996篇》 也欢迎关注公 众 号【Ccww笔记】,原创技术文章第一时间推出 如果此文对你有帮助、喜欢的话,那就点个赞呗,点个关注呗! 《面试知识,工作可待篇》-Java笔试面试基础知识大全 前言 是不是感觉找工作面试是那么难呢? 在找工作面试应在学习的基础进行总结面试知识点,工作也指日可待,欢...
关于研发效能提升的思考
研发效能提升是最近比较热门的一个话题,本人根据这几年的工作心得,做了一些思考总结,由于个人深度有限,暂且抛转引入。 三要素 任何生产力的提升都离不开这三个因素:人、流程和工具,少了其中任何一个因素都无法实现。 人,即思想,也就是古人说的“道”,道不同不相为谋,是制高点,也是高层建筑的基石。 流程,即方法,也是古人说的“法”。研发效能的提升,也就是要提高投入产出比,既要增加产出,也要减...
微博推荐算法简述
在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法。有这样一些<em>问题</em>:推荐系统适用哪些场景?用来解决什么<em>问题</em>、具有怎样的价值?效果如何衡量? 推荐系统诞生很早,但真正被大家所重视,缘起于以”facebook”为代表的社会化网络的兴起和以“淘宝“为代表的电商的繁荣,”选择“的时代已经来临,信息和物品的极大丰富,让用户如浩瀚宇宙中的小点,无所适从。推荐系统迎来爆发的机会,变得离用户更近: 快...
GitHub 标星 1.6w+,我发现了一个宝藏项目,作为编程新手有福了!
大家好,我是 Rocky0429,一个最近老在 GitHub 上闲逛的蒟蒻… 特别惭愧的是,虽然我很早就知道 GitHub,但是学会逛 GitHub 的时间特别晚。当时一方面是因为菜,看着这种全是英文的东西难受,不知道该怎么去玩,另一方面是一直在搞 ACM,没有做一些工程类的项目,所以想当然的以为和 GitHub 也没什么关系(当然这种想法是错误的)。 后来自己花了一个星期看完了 Pyt...
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 <em>使用</em>的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要<em>使用</em>pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信<em>官方</em>推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca
恕我直言,牛逼哄哄的MongoDB你可能只会30%
MongoDB 闪亮登场自我介绍MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于...
一文带你看清 HTTP 所有概念
上一篇文章我们大致讲解了一下 HTTP 的基本特征和<em>使用</em>,大家反响很不错,那么本篇文章我们就来深究一下 HTTP 的特性。我们接着上篇文章没有说完的 HTTP 标头继续来介绍(此篇文章会介绍所有标头的概念,但没有深入底层) HTTP 标头 先来回顾一下 HTTP1.1 标头都有哪几种 HTTP 1.1 的标头主要分为四种,通用标头、实体标头、请求标头、响应标头,现在我们来对这几种标头进行介绍 通用...
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口<em>问题</em>:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
web前端javascript+jquery知识点总结
Javascript javascript 在前端网页中占有非常重要的地位,可以用于验证表单,制作特效等功能,它是一种描述语言,也是一种基于对象(Object)和事件驱动并具有安全性的脚本语言 ,语法同java类似,是一种解释性语言,边执行边解释。 JavaScript的组成: ECMAScipt 用于描述: 语法,变量和数据类型,运算符,逻辑控制语句,关键字保留字,对象。 浏览器对象模型(Br
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是<em>问题</em>来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ......
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,<em>内存</em>的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个<em>问题</em> 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。   再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。   下文是原回答,希望能对你能有所启发。   如果我说,这个世界上人真的分三六九等,
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的<em>问题</em>,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在<em>使用</em>过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和<em>内存</em>相比 如何优化 设计
一条链接即可让黑客跟踪你的位置! | Seeker工具使用
搬运自:冰崖的部落阁(icecliffsnet) 严正声明:本文仅限于技术讨论,严禁用于其他用途。 请遵守相对应法律规则,禁止用作违法途径,出事后果自负! 上次写的防社工文章里边提到的gps定位信息(如何防止自己被社工或人肉) 除了主动收集他人位置信息以外,我们还可以进行被动收集 (没有技术含量) Seeker作为一款高精度地理位置跟踪工具,同时也是社交工程学(社会工程学)爱好者...
​每个数据分析师都该有自己的分析框架
0x00 前言 在文章《最近面了十多个数据分析师,聊一聊我发现的一些<em>问题</em>》发出后,很多朋友私聊或者在评论中希望居士能否提供一份文中提到的完善的分析框架。本来,居士认为这是一篇相对好写的文...
中兴WAP网关技术手册下载
中兴WAP网关技术手册,介绍关于WAP网关的方方面面,对研究移动互联网有一定帮助 相关下载链接:[url=//download.csdn.net/download/superwangyue/2079917?utm_source=bbsseo]//download.csdn.net/download/superwangyue/2079917?utm_source=bbsseo[/url]
C++折半查找代码实现下载
折半查找的C++代码实现,不需要积分下载啊 相关下载链接:[url=//download.csdn.net/download/s564654509/3228235?utm_source=bbsseo]//download.csdn.net/download/s564654509/3228235?utm_source=bbsseo[/url]
Visual C++ 6.0教程下载
Visual C++ 6.0教程<br>非常全的C++教程,也非常好。 相关下载链接:[url=//download.csdn.net/download/sTeVes/260832?utm_source=bbsseo]//download.csdn.net/download/sTeVes/260832?utm_source=bbsseo[/url]
相关热词 c#如何定义数组列表 c#倒序读取txt文件 java代码生成c# c# tcp发送数据 c#解决时间格式带星期 c#类似hashmap c#设置istbox的值 c#获取多线程返回值 c# 包含数字 枚举 c# timespan
我们是很有底线的