Nvidia memory utilization.
#1
The introductory message from hashcat says only 1023/4095 MB allocatable for each GPU. When hashcat is running the nvidia-smi query of memory and utilization says one of the GPUs is using 98% of memory. What is the intro message trying to tell me? The wordlist has 8 words.


Code:
- Device #1: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU
- Device #2: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU
- Device #3: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU
- Device #4: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU



The work parameters are: N = 16384, R = 8, P = 1
The 'tmto' value autosets itself to a value of 6
Code:
WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 2, increasing...
WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 3, increasing...
WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 4, increasing...
WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 5, increasing...
SCRYPT tmto optimizer value set to: 6, mem: 2147483648


nvidia-smi -q -d MEMORY,UTILIZATION
Code:
==============NVSMI LOG==============


Driver Version                      : 352.63

Attached GPUs                       : 4
GPU 0000:05:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 2303 MiB
       Free                        : 1792 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 6 MiB
       Free                        : 250 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   Memory Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   ENC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:06:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 2296 MiB
       Free                        : 1799 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 4 MiB
       Free                        : 252 MiB
   Utilization
       Gpu                         : 100 %
       Memory                      : 98 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 100 %
       Min                         : 99 %
       Avg                         : 99 %
   Memory Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 100 %
       Min                         : 98 %
       Avg                         : 98 %
   ENC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:0C:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 2296 MiB
       Free                        : 1799 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 4 MiB
       Free                        : 252 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 100 %
       Min                         : 0 %
       Avg                         : 82 %
   Memory Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 69 %
       Min                         : 0 %
       Avg                         : 51 %
   ENC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:0D:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 2296 MiB
       Free                        : 1799 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 4 MiB
       Free                        : 252 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 100 %
       Min                         : 0 %
       Avg                         : 82 %
   Memory Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 70 %
       Min                         : 0 %
       Avg                         : 52 %
   ENC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 16.36 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

While idle:
Code:
==============NVSMI LOG==============


Driver Version                      : 352.63

Attached GPUs                       : 4
GPU 0000:05:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 22 MiB
       Free                        : 4073 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 4 MiB
       Free                        : 252 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 37.57 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   Memory Utilization Samples
       Duration                    : 37.57 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   ENC Utilization Samples
       Duration                    : 37.57 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 37.57 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:06:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 15 MiB
       Free                        : 4080 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 2 MiB
       Free                        : 254 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 39.08 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   Memory Utilization Samples
       Duration                    : 39.08 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   ENC Utilization Samples
       Duration                    : 39.08 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 39.08 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:0C:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 15 MiB
       Free                        : 4080 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 2 MiB
       Free                        : 254 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 38.24 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   Memory Utilization Samples
       Duration                    : 38.24 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   ENC Utilization Samples
       Duration                    : 38.24 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 38.24 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %

GPU 0000:0D:00.0
   FB Memory Usage
       Total                       : 4095 MiB
       Used                        : 15 MiB
       Free                        : 4080 MiB
   BAR1 Memory Usage
       Total                       : 256 MiB
       Used                        : 2 MiB
       Free                        : 254 MiB
   Utilization
       Gpu                         : 0 %
       Memory                      : 0 %
       Encoder                     : 0 %
       Decoder                     : 0 %
   GPU Utilization Samples
       Duration                    : 43.92 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   Memory Utilization Samples
       Duration                    : 43.92 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   ENC Utilization Samples
       Duration                    : 43.92 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
   DEC Utilization Samples
       Duration                    : 43.92 sec
       Number of Samples           : 99
       Max                         : 0 %
       Min                         : 0 %
       Avg                         : 0 %
#2
The 1/4 memory limit is because of OpenCL, which has some weird memory allocation rule. According to their specs: "Max size of memory object allocation in bytes. The minimum value is max (1/4th of CL_DEVICE_GLOBAL_MEM_SIZE, 128*1024*1024)"

Hashcat tries to workaround this for scrypt, where it is really needed. So the scrypt kernel is rewritten to work with 4 differen memory buffers.