㈠ batchsize=1时怎么利用多GPU进行计算
CPU可以并行计算，传统的计算阵列也是用CPU组建的。现在的GPU计算是因为单个GPU的多核心，重复计算能力强，通过低投入的GPU计算阵列就可以达到以往大型CPU阵列并行系统的效率。CPU计算在通用计算上的价值更大。。。比如说大量数据的重复运算就可以用并行计算的方式来进行，可利用GPU加速，而线性处理的时候GPU效率较低，此时CPU效率更高。因此现在全球超级计算机前几名的机器都采用了混合架构，也就是CPU-GPU混合架构。
㈡ 怎样操作GPU开始计算
GPU计算一般是面向大型的统一的数据，所谓统一就是数据类型都是一样的。就是固定类型，大小的数组。因为是SIMD/SIMT，适合做简单的计算。对每个数据单元的处理是一样的，不适合有复杂条件跳转的逻辑。所以GPU加速使用场景比较有限。
另外的SIMD指令加速，对于小型的数据，可以优先考虑。
因为GPU加速，可能需要内存拷贝，使用开销相对较大
用SIMD的话，直接就是用CPU的特殊指令MMX SSE AVX加速。Java应该会有对应的包，C++用Intrinsic头文件。
㈢ 请教关于多GPU并行计算的问题，困扰我好几天了
一般一个cpu线程控制一个gpu
所以多gpu使用多个cpu线程控制
使用cudaSetDevice（gpuid）设置当前操作的gpu即可
㈣ 用GPU做科学计算，要用多块显卡，请推荐系统配置！
没听说主板支持4个以上PCI-E X 16,现在都只有1个PCI-E X 16，其他的是PCI插口，插声卡之类的而已
最多用SLI能弄2个GTX295，但光电就吓死人
主板什么样关键看CPU什么样，看显卡看不出来，LZ还是现实一点吧
㈤ 如何使用Keras进行分布式/多GPU运算
如果你想在不同的GPU上训练同一个模型的不同副本，但在不同的副本中共享权重，你应该首先在一个设备上实例化你的模型，然后在不同的设备上多次调用该对象，
㈥ 台式电脑怎么安装双独立显卡呀有什么注意事项，安装步骤是什么
你这个问题，应该是AMD的双卡交火或者N卡的sli了。
AMD（ATI）Cross Fire:
要使用此技术，主板必需支持Cross Fire，以及需要两张ATI PCI Express接口的显示卡，要相同等级，并有可能需要购买主卡。例如：如果用户家有一片Radoen X850XT PE显示卡，必须额外购买一片Radeon X850 CrossFire Edition，才能达成CrossFire。但对X1600来说，只需购买两张一模一样的卡，即可达成CrossFire。
由于以往ATi的显示卡没有像nVidia般，预留协同运算。所以在第一代CrossFire,ATi采用Composting Engine和DMS Cable，来仿效nVidia的MIO接口。
Cross Fire各模式
Alternate Frame Rendering（交错帧）
把Frame以单双数分给不同的GPU处理，例如VGA 1负责（1,3,5,7,9），而VGA 2负责（2,4,6,8,10）。
Scissor(SplitFrame Rendering)（分割帧）
将画面分为上下半部，并各自由一颗GPU运算，然后再组合成同一个图面。
SuperTiling
把画面分割成很多小格，让两颗绘图核心梅花间竹地处理小格内的资料。这个方法效能最佳，但此模式只能支援于Direct 3D，不支援OpenGL。
Super AA
这模式能增加画面质素，让两个绘图核心同时执行AA运算，然后把结果组合。例如一同执行4x AA运算，结果会是8x AA 画质。
英伟达的SLI:
能在一块通过 SLI 认证的主板上组合多个 GeForce GPU。SLI 支持的应用程序达 1000 多种，Steam 上的多 GPU PC 有 94% 以上在使用SLI 技术，这是追求完美的游戏玩家超级理想的技术选择。
SLI 的 GPU 中内置有一个智能通信协议，有一个高速数字接口来促进两张显卡之间的数据流，有一整套软件提供动态负载平衡、高级渲染和合成，来确保当今新款游戏达到超级大兼容和超级高性能。
扩展
多亏有了 Fermi 的架构创新，SLI 扩展才前所未有的强大。 在多款流行的游戏中，通过增加一块 GPU，性能可以提高 80% 以上，有时甚至可以提高 100%。
特性
SLI 不仅能提高性能，也拥有诸多先进的特性。 对于 PhysX 游戏，SLI 能指定第二块 GPU 进行物理效果计算，实现逼真的流体、块粒和破坏等震撼的效果。 对于英伟达 CUDA 应用程序，第二块 GPU 可以用来进行?Folding@home?或视频译码等计算。 超级后，对于画质，两块 GPU 时SLI 抗锯齿可以高达 64xAA，三块 GPU 时高达 96xAA，四块 GPU 时高达 128xAA
以上是搜集到的技术信息。
不论是交火还是sli，都必须满以下条件:
一是主板必须支持这种技术，不是单单满足能插上。
二是想要有性能显着的提升，两张或以上的同性能中高端显卡。
三是游戏软件的支持。
㈦ 关于cpu和gpu的计算
双核心CPU对比单核心CPU，相同构架相同频率下，不能达到1+1=2，核心数量于性能的提升不成正比，1GHZ不是计量单位，仅仅只是频率而已，核心越多容错就越小。
此外你说的4核心GPU，这个概念你只指NV的SLI呢还是至AMD的CF呢？又或者指的是流处理器？CF于SLI是有本质区别的，怕也是解释不清楚，若单单只是说显卡的流处理器，那么流处理器在一个GPU上可以有2000多个。
最初的双路CF是将单边屏幕分开渲染,一边显卡负责其中一半画面
㈧ 有大神指点一下吗 在服务器上 用多GPU进行并行计算 应该怎么做啊
Nvidia的专业计算卡的话，官网上有专业的开发包之类的，你可以结合开发包修改程序。
㈨ 什么是 GPU 计算
GPU 计算通过将应用程序中计算量繁重的部分交给 GPU 处理，程序的剩余部分依然在 CPU 上运行，从而可实现前所未有的应用程序性能。 从用户的角度而言，应用程序只是运行速度比从前快了很多。
CPU + GPU 是一个强大的组合，因为 CPU 包含几个专为串行处理而优化的核心，而 GPU 则由数以千计更小、更节能的核心组成，这些核心专为提供强劲的并行性能而设计。 程序的串行部分在 CPU 上运行，而并行部分则在 GPU 上运行。
通过运用我们目录中所列的任意 GPU 加速应用程序，大多数客户能够立即享受到 GPU 计算的优势。 该目录重点列举了一百多款行业领先的应用程序。对开发者来说，GPU 计算拥有由各大软件开发商旗下工具和库所组成的巨大生态系统。
更快地运行你的 GPU 加速代码试用Tesla K20 GPU 加速器。
了解更多信息GPU 计算的历史 图形芯片最开始被用作固定函数的图形流水线。经过多年的发展，这些图形芯片的可编程性逐渐增强，从而使第一颗 NVIDIA�0�3 GPU 得以问世。 在 1999-2000 年间，计算机科学家和医学成像以及电磁学领域中的研究者开始使用 GPU 来加速一系列的科学应用。这就是所谓的“GPGPU”或GPU 通用计算运动
虽然用户取得了前所未有的性能 (在某些情形中实现了比 CPU 高 100 倍的性能)，然而难题是 GPGPU 需要使用 OpenGL 和 Cg 等图形编程 API 来对 GPU 进行编程。 这样便限制了人们利用 GPU 的强大处理能力来为科学加速。
所有NVIDIA�0�3 GPU GeForce、 NVIDIA�0�3 Quadro 以及 NVIDIA�0�3 Tesla) 均支持 GPU 计算和 CUDA�0�3 并行编程模型。开发者几乎在任意平台上均可运用 NVIDIA�0�3 GPU，这些平台包括最新的苹果MacBook Pro。 然而，我们建议使用 NVIDIA�0�3 Tesla GPU 来处理那些强调可靠性与整体性能的工作。 如需了解更多细节，敬请参阅“为什么选择 NVIDIA�0�3 Tesla”。
NVIDIA�0�3 Tesla GPU 完全专为加速科学技术计算工作而设计。最新的 NVIDIA�0�3 Tesla GPU 基于“Kepler 架构”中的诸多创新特性，与上一代架构相比，可提供三倍的性能，双精度浮点性能高达 1 Teraflops 以上，同时还大幅提升了可编程性和效率。Kepler 是世界上最快、最节能的高性能计算 (HPC) 架构。
NVIDIA�0�3 意识到了将这种性能提供给更广阔的科学界的潜力，因此投入力量修改 GPU，让开发者能够对 GPU 充分编程，使其能够无缝地运用 C、C++ 以及Fortran 等熟悉的语言。
GPU 计算的发展势头比以往任何时候都更加迅猛。现在，世界上一些最快的超级计算机仰仗 GPU 来加快科学探索，全球有 600 所大学已开设 NVIDIA�0�3 GPU 并行计算课程，积极运用 GPU 的开发者人数已达数十万计。 “GPU 已经发展到成熟阶段，可轻松执行现实生活中的各种应用程序，而且程序运行速度已远远超过使用多核系统时的情形。 未来计算架构将是并行核心 GPU 与多核 CPU 共同运行的混合型系统。” Jack Dongarra 教授 田纳西大学创新计算实验室主任
㈩ matlab中如何使用多GPU并行计算
Multiple GPUs on the desktop and computer clusters
using MATLAB workers in Parallel Computing Toolbox and MATLAB
Distributed Computing Server
如果你使用MATLAB的CPU并行应该知道matlabpool
当前，在matlab中如果调用多GPU那么需要开启多个pool，一个pool对应一个GPU，也就是一个CPU worker对应一块GPU，如
matlabpool 2
spmd
gpuDevice
end
spmd
if labindex ==1
gpuDevice(2);
end
end
spmd
gpuDevice
end
Lab 1:
ans =
CUDADevice with properties:
Name: 'Quadro FX 370'
Index: 2
ComputeCapability: '1.1'
SupportsDouble: 0
DriverVersion: 5.5000
ToolkitVersion: 5
MaxThreadsPerBlock: 512
MaxShmemPerBlock: 16384
MaxThreadBlockSize: [512 512 64]
MaxGridSize: [65535 65535 1]
SIMDWidth: 32
TotalMemory: 268435456
FreeMemory: NaN
MultiprocessorCount: 2
ClockRateKHz: 720000
ComputeMode: 'Default'
GPUOverlapsTransfers: 1
KernelExecutionTimeout: 1
CanMapHostMemory: 1
DeviceSupported: 0
DeviceSelected: 1
Lab 2:
ans =
CUDADevice with properties:
Name: 'Tesla K20c'
Index: 1
ComputeCapability: '3.5'
SupportsDouble: 1
DriverVersion: 5.5000
ToolkitVersion: 5
MaxThreadsPerBlock: 1024
MaxShmemPerBlock: 49152
MaxThreadBlockSize: [1024 1024 64]
MaxGridSize: [2.1475e+09 65535 65535]
SIMDWidth: 32
TotalMemory: 5.0330e+09
FreeMemory: 4.9166e+09
MultiprocessorCount: 13
ClockRateKHz: 705500
ComputeMode: 'Default'
GPUOverlapsTransfers: 1
KernelExecutionTimeout: 0
CanMapHostMemory: 1
DeviceSupported: 1
DeviceSelected: 1
更多内容可去matlabsky论坛上发帖分享http://www.matlabsky.com/forum-83-1.html