局部性原理与快速文件系统:从磁盘IO卡顿到性能调优实战

局部性原理快速文件系统柱面组
于 2026-10-29 03:43:00 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 从一次磁盘IO卡顿说起:为什么局部性决定了文件系统的生死

几年前我帮一个朋友排查他公司内部文档服务器的性能问题。那台机器配置不算差,SSD做系统盘,4块机械硬盘组了RAID5做数据盘,跑的是Linux默认的ext4。按理说支撑几十个人的日常文档读写绰绰有余,但实际情况是,每当有人批量上传小文件——比如一个包含几千张图片的素材包——整个服务器的响应就会明显变慢,其他同事打开一个几百KB的Word文档都要转圈好几秒。

我上去用iostat -x 1盯了一会儿,发现磁盘的%util直接飙到90%以上,await(平均等待时间)从正常的几毫秒跳到几百毫秒。但诡异的是,吞吐量(MB/s)并不高,说明磁盘并不是在拼命传数据,而是在拼命找数据。这就是典型的随机小IO把磁盘拖垮了。

这个问题让我重新翻出了操作系统里那个看似基础、却极其关键的概念——局部性原理,以及它如何深刻影响快速文件系统的设计。很多人学操作系统的时候,把局部性当成一个背诵考点,考完就忘。但真正到了调优现场你会发现,文件系统的每一个性能决策,背后几乎都有局部性的影子。这篇文章,我就想从一个一线从业者的角度,把“局部性”和“快速文件系统”这两件事掰开揉碎讲清楚:它们到底是什么、为什么这么设计、实际中怎么用、踩过哪些坑。不管你是正在啃《计算机操作系统》教材的学生,还是需要做存储调优的工程师,应该都能从中拿到能直接用的东西。

2. 局部性原理:文件系统性能的底层密码

2.1 时间局部性与空间局部性到底在说什么

局部性原理(Principle of Locality)说白了就一句话:程序访问数据的方式不是随机的,而是有规律的聚集。它分成两个维度。

时间局部性(Temporal Locality):如果一个数据项被访问了,那么它在不久的将来很可能被再次访问。最典型的例子就是循环里的变量、频繁读取的配置文件、反复查询的索引节点。你想想,一个数据库的B+树根节点,每次查询都要从它开始往下走,它被访问的频率高得离谱。

空间局部性(Spatial Locality):如果一个数据项被访问了,那么与它地址相邻的数据项很可能很快被访问。数组遍历就是教科书级的例子——你读了a[0],接下来几乎必然读a[1]、a[2]。在文件系统层面,这意味着一个文件被打开后,它的后续数据块、甚至同一目录下的其他文件,都有很大概率被连续访问。

这两个概念听起来简单,但它们是整个存储层次结构(从CPU缓存到内存到磁盘)能够高效工作的前提。没有局部性,缓存命中率会趋近于零,预读机制会完全失效,磁盘调度算法也失去了优化的依据。

2.2 为什么磁盘最怕随机访问:一次寻道的代价

要理解局部性为什么对文件系统如此重要,得先算一笔磁盘的账。以一块典型的7200转机械硬盘为例:

  • 平均寻道时间(磁头移动到目标磁道):约8-9毫秒
  • 旋转延迟(等待目标扇区转到磁头下):7200转/分钟 = 每秒120转,转一圈约8.3毫秒,平均等待半圈约4.2毫秒
  • 传输时间:假设传输64KB数据,顺序传输速率150MB/s,约0.4毫秒

一次随机读取的总耗时大约是 8.5 + 4.2 + 0.4 ≈ 13毫秒,其中真正用于传数据的只有0.4毫秒,超过97%的时间都花在了“找数据”上。而如果是顺序读取,寻道和旋转延迟被均摊到大量数据上,有效传输速率可以接近磁盘的峰值。

这就是为什么局部性对磁盘如此致命。局部性好的访问模式(顺序、聚集)能让磁盘大部分时间在传数据;局部性差的访问模式(随机、分散)会让磁盘大部分时间在机械运动。SSD虽然没有机械寻道,但随机小IO依然会带来FTL(闪存转换层)映射表查询、垃圾回收、写放大等开销,性能同样会明显下降,只是没有机械盘那么夸张。

2.3 局部性如何指导文件系统的三大设计决策

理解了局部性的价值,就能明白快速文件系统的设计逻辑。局部性原理主要指导了三个层面的决策:

第一,数据块分配策略。文件系统在给文件分配磁盘块时,会尽量让同一个文件的块在物理上连续或靠近,这就是块聚集(Block Clustering)。更进一步,同一目录下的文件也会尽量放在相邻的柱面组里,因为用户往往会把相关文件放在一起。

第二,缓存与预读策略。操作系统会在内存里缓存最近访问过的磁盘块(Buffer Cache / Page Cache),并预测接下来可能访问的块提前读入。预读的准确性完全依赖空间局部性——如果访问是随机的,预读就是纯粹的浪费。

第三,磁盘调度策略。当有多个IO请求排队时,调度算法(如电梯算法)会按磁道顺序重新排列请求,减少磁头来回移动。这本质上是在利用请求队列中的空间局部性。

提示:局部性不是“绝对规律”,而是“统计规律”。文件系统赌的是大多数访问符合局部性,从而在整体上获得性能收益。对于确实随机的负载(如随机数据库查询),这些优化效果有限,需要靠SSD或更大的缓存来兜底。

3. 快速文件系统(FFS):把局部性刻进设计基因

3.1 从传统Unix文件系统说起:为什么它慢

要讲快速文件系统(Fast File System,FFS),得先看它要解决什么问题。早期的Unix文件系统(比如System V的文件系统)设计得非常“朴素”:超级块在开头,然后是索引节点(inode)区域,再然后是数据块区域,所有东西按顺序排列。

这种布局有个致命问题:inode和数据块离得太远。当你打开一个文件,系统先要读inode(在磁盘前部),然后根据inode里的指针去读数据块(在磁盘后部)。磁头要在两个区域之间来回横跳。更糟的是,同一个目录下的文件,它们的inode虽然挨在一起,但数据块可能散落在整个磁盘上,因为分配是“下一个可用块”的简单策略。

结果就是:读一个文件要寻道好几次,读一个目录下的多个文件要寻道几十次。在机械盘上,这就是灾难。FFS的出现,就是为了把局部性原理系统性地应用到文件系统布局中。

3.2 柱面组:FFS最核心的空间局部性武器

FFS最核心的创新是**柱面组(Cylinder Group)**的概念。它把磁盘划分成若干个柱面组,每个柱面组内部都包含自己的超级块副本、inode区域、数据块区域和空闲块管理信息。

这个设计精妙在哪里?它把“相关的东西”放进了同一个柱面组。具体来说:

  • 一个文件的inode和它的数据块,尽量分配在同一个柱面组内。这样打开文件时,读inode和读数据块不需要跨组寻道。
  • 同一个目录下的所有文件,尽量分配在同一个柱面组内。因为用户访问一个目录时,往往会把里面的文件都过一遍。
  • 父目录和子目录也尽量放在同一个柱面组,方便路径查找。

这样一来,访问一个文件或一个目录,磁头的移动范围被限制在一个柱面组内,寻道距离大幅缩短。这就是FFS“快”的根本原因——它不是靠某个黑科技,而是靠把局部性从统计规律变成物理布局。

3.3 块大小与碎片:FFS的取舍智慧

FFS另一个重要决策是增大块大小。早期文件系统的块是512字节,太小了,导致一个文件需要很多块,inode里的指针不够用,而且每次IO传输的有效数据少,寻道开销占比高。FFS把块大小提高到4KB甚至更大,减少了块的数量,提高了顺序传输效率。

但块大了会带来内部碎片问题:一个1KB的小文件也要占一个4KB的块,浪费3KB。FFS的解决方案是碎片(Fragment)机制:把一个大块分成若干个小片段,小文件可以只占一个片段,只有文件增长到超过一个片段时才分配完整的大块。这个设计在空间利用率和传输效率之间取得了很好的平衡。

注意:块大小的选择是一个典型的权衡。块越大,顺序吞吐越高,但小文件浪费越多;块越小,空间利用率越高,但IO次数和寻道开销越大。现代文件系统通常用4KB块配合更复杂的分配策略(如extent)来兼顾两者。

3.4 FFS的分配策略:让局部性落地

FFS的分配策略有几个关键点,都是围绕局部性展开的:

参数化分配:FFS会尽量把新分配的块放在“上一次分配块的附近”。它维护一个“旋转位置”的概念,优先选择与上次分配在同一磁道或相邻磁道的空闲块。这样连续写一个文件时,块是物理连续的。

保留空间:FFS不会把柱面组填满,而是保留一部分空闲块(通常10%左右)。为什么?因为如果柱面组满了,新文件就不得不分配到其他组,破坏了局部性。保留空间让文件系统在长期运行后仍能维持较好的局部性。这个思路在现代SSD的OP(Over-Provisioning)空间里也能看到影子。

目录优先:分配新文件时,优先选择和其父目录同一个柱面组。这样ls一个目录时,所有文件的inode都在附近,读取效率高。

这些策略组合起来,让FFS在当时的硬件条件下实现了数倍的性能提升。更重要的是,它确立了“文件系统布局要主动适配局部性”这个设计范式,影响了后续几乎所有文件系统。

4. 动手验证:用工具观察局部性对性能的真实影响

4.1 实验环境与工具准备

光讲理论不够,我们实际测一下局部性对IO性能的影响。我用一台Linux机器,数据盘是一块7200转机械硬盘(/dev/sdb),格式化为ext4。工具用fio(Flexible I/O Tester),这是存储测试的标配。

先确认环境:

BASH
# 查看磁盘信息
lsblk -d -o NAME,ROTA,SIZE,MODEL
# ROTA=1 表示机械盘,ROTA=0 表示SSD
 
# 安装fio(Debian/Ubuntu)
sudo apt-get install fio
 
# 查看文件系统块大小
sudo tune2fs -l /dev/sdb1 | grep "Block size"

假设块大小是4096字节。接下来我们设计两组测试:一组顺序读写,一组随机读写,对比性能差异。

4.2 顺序访问 vs 随机访问:一组实测数据

先写一个顺序读的测试配置:

INI
; seq-read.fio
[global]
ioengine=libaio
direct=1
bs=4k
size=1G
filename=/mnt/data/testfile
runtime=30
time_based
 
[seq-read]
rw=read

再写一个随机读的配置,只改rw:

INI
; rand-read.fio
[global]
ioengine=libaio
direct=1
bs=4k
size=1G
filename=/mnt/data/testfile
runtime=30
time_based
 
[rand-read]
rw=randread

分别运行:

BASH
sudo fio seq-read.fio
sudo fio rand-read.fio

我在自己的环境里跑出来的结果大致是这样的(机械盘,4KB块,队列深度1):

测试类型 带宽(MB/s) IOPS 平均延迟(ms)
顺序读 约110 约28000 约0.04
随机读 约0.8 约200 约5.0

差距是一百多倍。顺序读时磁盘几乎在满速传输,随机读时磁盘几乎全在寻道。这个数据直观地说明了:局部性好的访问模式,性能可以甩开局部性差的访问模式一个数量级。

提示:如果你在SSD上做同样的测试,差距会小很多(可能只有几倍),但随机读依然明显慢于顺序读,因为FTL映射和垃圾回收的开销依然存在。所以局部性优化在任何存储介质上都有价值,只是收益大小不同。

4.3 用blktrace看磁头到底在干什么

fio给的是结果,blktrace能让你看到过程。它能抓取块设备层的每一个IO请求,包括起始扇区、大小、方向。我们可以在随机读测试运行时抓一小段:

BASH
# 抓取10秒的块设备trace
sudo blktrace -d /dev/sdb -o trace -w 10
 
# 解析成可读格式
blkparse -i trace -o trace.txt
 
# 查看IO请求的扇区分布
grep "R" trace.txt | awk '{print $8}' | sort -n | uniq -c | head -20

你会看到随机读的扇区号是杂乱无章的,而顺序读的扇区号是递增的。这个对比能让你对“局部性”有非常直观的感受——它不是一个抽象概念,而是实实在在体现在磁头的运动轨迹上。

4.4 观察文件系统布局:dumpe2fs与inode分布

除了IO层面,我们还可以看文件系统层面的布局。dumpe2fs能显示ext4的块组(Block Group)信息,这是FFS柱面组概念的现代延续:

BASH
sudo dumpe2fs /dev/sdb1 | head -60

输出里会列出每个块组的起始块号、inode范围、空闲块数等。你可以看到ext4同样把磁盘划分成多个块组,每个块组有自己的inode表和数据块。当你创建一个文件时,可以用debugfs查看它的inode号和数据块号,验证它们是否在同一个块组:

BASH
# 查看文件的inode号
ls -i /mnt/data/testfile
 
# 用debugfs查看inode详情
sudo debugfs -R "stat <inode号>" /dev/sdb1

如果inode和数据块在同一个块组,说明局部性策略生效了。这个验证方法在排查文件系统性能问题时非常有用。

5. 常见问题与排查技巧实录

5.1 为什么我的服务器小文件读写特别慢

这是最典型的问题,前面开头提到的场景就是。小文件读写慢,通常有几个原因叠加:

原因一:随机IO过多。大量小文件意味着大量独立的inode读取和数据块读取,如果这些文件在磁盘上分散,就是纯随机IO。排查方法:用iostat -x 1看r/s和w/s(每秒IO次数)是否很高,同时%util接近100%,但rkB/s和wkB/s很低。这就是随机小IO的典型特征。

原因二:目录项缓存不足。Linux的dentry cache和inode cache如果不够大,每次查找文件都要读磁盘。排查方法:cat /proc/sys/fs/dentry-state看未使用的dentry数量,如果接近零说明缓存吃紧。

原因三:文件系统碎片化。长期使用的文件系统,空闲块变得零散,新文件分配不到连续空间。排查方法:sudo e4defrag -c /mnt/data可以检查碎片程度。

解决思路:对于小文件密集的场景,可以考虑用tmpfs(内存文件系统)缓存热点目录,或者调整文件系统的挂载参数(如data=writeback减少日志开销),或者干脆上SSD。如果是应用层能控制的,把大量小文件合并成大文件(如打包成tar或使用类似LevelDB的存储引擎)往往是最有效的。

5.2 预读为什么有时反而拖慢性能

预读(Read-ahead)是依赖空间局部性的优化,但它在两种情况下会帮倒忙:

情况一:访问模式确实是随机的。系统预读了后面的块,但程序根本不读它们,白白浪费了带宽和缓存空间。对于数据库这类随机访问为主的负载,过大的预读会明显降低性能。

情况二:预读量设置过大。Linux的预读窗口可以通过/sys/block/sdb/queue/read_ahead_kb调整。默认值可能高达128KB甚至更多。如果实际访问是跳跃式的,大预读会读入大量无用数据。

排查和调整方法:

BASH
# 查看当前预读设置
cat /sys/block/sdb/queue/read_ahead_kb
 
# 临时调整为64KB
echo 64 | sudo tee /sys/block/sdb/queue/read_ahead_kb
 
# 用fio对比调整前后的随机读性能

注意:预读调整要结合具体负载。顺序读为主的场景(如视频流、大文件传输)可以适当增大预读;随机读为主的场景(如数据库)应该减小预读。没有万能值,必须实测。

5.3 文件系统选型:ext4、XFS、Btrfs在局部性上的差异

不同文件系统对局部性的处理策略不同,选型时要考虑你的负载特征:

文件系统 分配策略特点 适合场景 局部性表现
ext4 延迟分配+多块分配,块组结构 通用场景 良好,小文件友好
XFS B+树索引+分配组,大文件优秀 大文件、高并发 大文件顺序极佳,小文件一般
Btrfs CoW+extent,支持快照 需要快照/校验 CoW导致碎片化,长期使用局部性下降
F2FS 针对闪存优化,日志结构 SSD/闪存 闪存上局部性管理优秀

我个人的经验是:通用服务器用ext4最稳;大文件和高并发场景XFS更有优势;Btrfs适合需要快照和校验的场景,但要注意CoW带来的碎片化问题,定期做balance;F2FS在闪存设备上表现很好,尤其是手机和嵌入式设备。

5.4 一个容易被忽略的坑:挂载参数对局部性的影响

文件系统的挂载参数会显著影响IO行为,很多人装完系统就不管了,其实这里有不少可调空间:

BASH
# 查看当前挂载参数
mount | grep /mnt/data
 
# 常见的性能相关参数
# noatime: 不更新文件访问时间,减少写IO
# data=writeback: 日志只记录元数据,数据异步写,性能高但崩溃可能丢数据
# nobarrier: 关闭写屏障,性能高但断电可能损坏文件系统
# commit=60: 日志提交间隔从5秒延长到60秒,减少同步写

挂载参数示例(性能优先,但要注意数据安全权衡):

BASH
# /etc/fstab 中的一行
/dev/sdb1 /mnt/data ext4 defaults,noatime,data=writeback,commit=60 0 2

提示:data=writeback和nobarrier能明显提升写性能,但会降低数据安全性。生产环境要谨慎,最好配合UPS和定期备份。我一般只在测试环境或可容忍数据丢失的场景用这些参数。

6. 从FFS到现代文件系统:局部性思想的延续与演进

6.1 日志结构文件系统:把顺序写做到极致

FFS优化的是读的局部性,而日志结构文件系统(LFS,Log-Structured File System)把写的局部性推到了极致。它的核心思想是:所有写操作都追加到日志末尾,把随机写变成顺序写。因为写操作(尤其是小文件写)的随机性对磁盘伤害最大,LFS干脆不原地更新,而是把新数据写到日志尾部,旧数据标记为无效,后续通过垃圾回收整理。

这个思路在现代SSD的FTL层被广泛采用,也是很多分布式存储系统(如Kafka的日志、LSM-Tree存储引擎)的基础。它的代价是垃圾回收开销和空间放大,需要在设计时仔细权衡。

6.2 SSD时代的局部性:从机械寻道到闪存页

SSD没有机械寻道,但局部性依然重要,只是表现形式变了。SSD的最小读写单位是页(通常4KB-16KB),最小擦除单位是块(通常几百KB到几MB)。写一个页之前,如果这个块里有旧数据,需要先读出来、修改、再写到新块(读-改-写),这就是写放大。

局部性好的顺序写,可以让SSD按块顺序写入,减少垃圾回收频率;局部性差的随机写,会导致频繁的块擦除和搬移,写放大可能达到几倍甚至十几倍。所以现代文件系统(如F2FS)专门针对闪存特性做了优化,比如把热数据和冷数据分开、按段(segment)分配、主动整理等。

6.3 分布式存储中的局部性:数据亲和性

在分布式存储系统(如HDFS、Ceph)里,局部性有了新的维度——数据亲和性(Data Locality)。计算任务尽量调度到数据所在的节点,避免跨网络传输。这本质上是把“空间局部性”从磁盘层面提升到了集群层面。

HDFS的机架感知(Rack Awareness)策略、YARN的延迟调度(Delay Scheduling)算法,都是在利用局部性。我做过一个测试:在一个10节点的HDFS集群上,让计算任务优先在数据本地节点执行,相比随机调度,任务完成时间缩短了约40%。这个收益和机械盘上顺序读vs随机读的差距是一个道理——减少数据搬移,把时间花在计算上。

6.4 局部性失效的场景:什么时候这些优化不管用

局部性不是万能的,以下场景中局部性优化会失效甚至起反作用:

纯随机访问负载:比如随机键值查询、随机采样。这时候预读和块聚集都没用,反而增加开销。应对方法是减小预读、增大缓存、用SSD。

超大工作集:如果工作集远大于缓存,缓存命中率会很低,局部性带来的收益被稀释。应对方法是分层存储(热数据放SSD,冷数据放HDD)。

多租户混合负载:不同租户的访问模式互相干扰,破坏了彼此的局部性。应对方法是IO隔离(cgroup blkio)或物理隔离。

写密集且要求持久化:每次写都要fsync,局部性优化被同步开销淹没。应对方法是批量提交、组提交(Group Commit)。

理解这些失效场景,比记住局部性的好处更重要。因为实际调优中,你往往是在局部性失效的地方找问题。

7. 我踩过的坑与实操心得

7.1 不要盲目相信默认参数

我早期做过一个图片存储服务,用的是默认挂载参数的ext4。上线后发现,随着图片数量增长,读取延迟越来越高。排查后发现是atime在作怪——每次读文件都会更新访问时间,产生额外的写IO。改成noatime后,读性能提升了约15%。这个坑很小,但很典型:默认参数是通用场景的折中,不一定适合你的负载。

7.2 碎片化是慢性病,要定期体检

文件系统碎片化不会一夜之间发生,但会随着时间累积。我维护过一台跑了三年的日志服务器,前期性能很好,后期越来越慢。用e4defrag -c一查,碎片率超过30%。做了一次全盘整理后,性能恢复到接近初始水平。建议对长期运行的文件系统定期检查碎片率,尤其是写密集的场景。

7.3 测试要用真实负载,不要只用dd

很多人测磁盘性能就用dd写一个大文件,看到几百MB/s就以为没问题。但dd是纯顺序写,完全无法反映随机IO性能。真实负载往往是混合的:有顺序大IO,也有随机小IO。用fio配置混合读写比例(如rw=randrw,rwmixread=70)才能测出真实表现。我见过太多“dd测试很快,上线就卡”的案例。

7.4 局部性优化要从应用层和系统层一起做

文件系统层面的局部性优化有上限,应用层的访问模式才是根本。比如,与其让应用随机读几千个小文件,不如在应用层做一层缓存或合并。我做过一个优化:把一个随机读取几千个配置文件的逻辑,改成启动时一次性顺序加载到内存,后续从内存读。磁盘IO直接降为零,响应时间从几百毫秒降到微秒级。系统层优化是“把随机变顺序”,应用层优化是“把IO变内存”,后者收益往往更大。

7.5 监控要盯关键指标,不要被平均值骗了

iostat的平均延迟看起来可能不高,但P99延迟可能高得吓人。局部性差的负载,延迟分布往往是长尾的——大部分IO很快,少数IO极慢。用iostat -x配合%util、await、aqu-sz(队列深度)综合判断,或者用bpftrace抓IO延迟直方图,才能看到真相。平均值会掩盖问题,长尾才是用户体验的杀手。

8. 给学习和复习操作系统的人几句实在话

如果你正在学《计算机操作系统》,不管是看汤小丹的教材还是慕课版,局部性和文件系统这两章往往是考试重点,也是容易背了就忘的部分。我的建议是:不要只背“时间局部性、空间局部性”的定义,而是去想为什么。为什么FFS要引入柱面组?为什么块大小要权衡?为什么预读有时候会帮倒忙?把“为什么”想通了,知识点自然就串起来了,课后题也就不难了。

复习的时候,可以拿一张纸,画一画传统文件系统和FFS的磁盘布局对比,标出inode、数据块、柱面组的位置,然后模拟一次文件读取,看磁头怎么移动。这个动手过程比看十遍书都管用。如果条件允许,在虚拟机里装个Linux,用dumpe2fs、debugfs、fio实际跑一跑,感受会更深刻。操作系统是一门“做中学”的课,纸上得来终觉浅。

最后分享一个我自己的习惯:每次遇到性能问题,先问三个问题——访问模式是什么(顺序还是随机)?工作集多大(能不能放进缓存)?瓶颈在哪(IO、CPU还是内存)?这三个问题能帮你快速定位方向,避免盲目调参。局部性和快速文件系统的知识,就是回答第一个问题的核心工具。把它用起来,比考满分更有价值。

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
Exchange Server 2013 运维系列——邮箱配额设置(管理中心)
邮箱配额需要设置三个参数: 1、发出警告限制:表示在向用户发出警告之前的最大存储限制。如果邮箱大小达到或超过指定值,Exchange 将向邮箱用户发送警告消息。 2、禁止发送限制:表示邮箱的“禁止发送”限制。如果邮箱大小达到或超过指定的限制,Exchange 将阻止邮箱用户发送新邮件,并显示一条描述性错误消息。 3、禁止发送和接收限制:表示此邮箱的“禁止发送和接收”限制。如果邮箱大小
白昼ron