zfs创建、数据转存、硬盘替换、扩容
/dev/sda5 contains a filesystem of type 'ext4'
/dev/sdb5 contains a filesystem of type 'ext4'
/dev/sdc5 contains a filesystem of type 'ext4'
/dev/sdd6 contains a filesystem of type 'ext4'
之前新建过4个8T的ext4，现在想尝试zfs
zpool create ZFS raidz /dev/sda5 /dev/sdb5 /dev/sdc5 /dev/sdd6 -f
诶。。。其实有图形界面。。
在节点磁盘下的ZFS中可以直接添加相关的分区，不需要指令运行。。。
还是做raid 0吧。。。风险有点大
不加raidz创建的就是raid0
zpool create ZFS /dev/sda5 /dev/sdb5 /dev/sdc5 /dev/sdd6
转存到另外一个ZFS池中
后记：
fdisk默认是做成linux基础分区，PVE不带parted
fdisk 具体的硬盘
m查看操作指南
l找打 zfs是157
n一路默认下去
t将刚才新分区改成157
w保存
fdisk只是对分区表进行修改
然后操作下一个硬盘
按照zfs新建的分区因为没格式化在web界面中是识别不到的
zpool create pool1 raidz /dev/sda6 /dev/sdb6 /dev/sdc6
没错这次我想做个5了。。。因为上次的0因为sata接线的问题出现过崩盘。。好不容易才把数据重新写回答哦NTFS中去
然后就是复制zfs的问题了
复制之前先拍快照，因为经常用的直接发送没有权限因为经常用的基本上都是kernel挂载的
zfs snapshot -r ZFS@back
意思是ZFS池中左右的都拍快照，-r是递归
然后就是发送和接收
zfs send -R ZFS@back | zfs recv -F pool1
带进度的
zfs send -Rv ZFS@back | pv | zfs recv -F pool1
要删除数据中心中存储中添加的，不然发送会终端还不提醒具体错误！！！
如果没快照过就不用加-R了
复制下直接写入目录的内容，zfs在pve中只能做虚拟硬盘和tm的虚拟盘用
cp -r /ZFS /pool1/
其实没必要已经给ZFS整体拍了快照了。。。
最后删除原来的raid0存储池，
zpool destroy ZFS
把pool1改成原来的ZFS，这样虚拟机就不用一个个改硬盘位置了。。。
先去掉新的池
zpool export pool1
导入的时候后面加上新的名字就改名了
zpool import pool1 ZFS
这时候zpool list以下会看到改成什么样了
把快照撤掉
zfs destroy -R ZFS@back
用起来的话也就是以前get 属性的时候写着的是default现在是received
另外把pve装机时候的16G local删掉。。。毕竟这点容量真指望不上。。。
local dir可以删
但是local 没法删除，得去web编辑成为disable
删掉/etc/pve/storage.cfg中的配置也没用。。。
一堆废话：
pve做nas还是不太顺手。。。毕竟同步还是群晖的工具好用。。。主要是smb挂载的分区自带的群晖网盘读不到？？？
目前也不知道怎么让其被读到。。。volume1整个都是从lvs上挂载的。。。要是能搞明白存储池具体在黑裙中的设置就好了
说白了就是同步的问题，其实群晖的driver server也是一言难尽。。。就是什么好像都有了。。。就是不太好用。。。说不上好用
先下载了微力同步，支持的平台确实多不是没有99，只是有免费的freefilesync。而且我手机主要是通过vls看smb，电脑上只是把工作学习文档同步到网盘上。。。并且微力需要两端都要安装其软件。。。如果要用到freefilessync的捐赠版本功能就可以考虑微力同步的
但是群晖的虚拟性能真是一言难尽。。。并且安装nas的系统必然会把整个盘子的分区列表给删了。。。
当然也能先做到虚拟硬盘然后再改分区，再重做引导。。。总之纠结。。。目前已经重做了一个黑群引导USB
其实不用chipgenius也能查到vid和pid，windows自带的设备管理器--磁盘驱动器--详细信息中找父系中有
Ubuntu Manpage: zfs-destroy — Destroys the given dataset(s), snapshot(s), or bookmark.
How To Rename a ZFS Pool | TrueNAS Community
How to remove local (Directory) storage properly? | Proxmox Support Forum
Duplicating a zpool – Dan Langille's Other Diary
数据太多发送接收会等很久甲骨文官网给出来的指令加|pv|在发送和接收中间，但是pve默认没装pv。。。
或者用dry run，加nv指令，n是假跑，v是查看verbose啰嗦的意思，冗长。。。但是真跑的时候因为有管道符号显示不出来。。。pv目前版本138kb
Monitoring the Progress of ZFS Send Streams - Managing ZFS File Systems in Oracle® Solaris 11.2
今天又发现有个分区因为用diskginus的时候跟其他的磁盘分区列表有几个扇区的偏移
果断改
先fdisk /dev/sdd建立个zfs的分区，不装黑群晖了。。。又要倒腾数据。。。之前只是同步没有更好的选择
zpool replace ZFS sdc4 sdd5
zpool status
等待替换完成旧的sdc4被移除
然后就可以调整sdc4的分区列表了
进pe调整。。。毕竟后面的那个分区是ntfs的。。。linux没工具能调。。。
然后就是扩容问题了
现在有从3个分区的raidz要扩展到4个分区的
Adding Devices to a Storage Pool - Managing ZFS File Systems in Oracle® Solaris 11.3
要搞清楚add和attach是不一样的，简单的增加容量是add，但是并不会组到raidz里面去。。。
如果不小心add错。。。目前没有删除的办法。。。所以最好加checkpint。。。
要么就先转存到其他zfs再摧毁目前的。。。